Perplexity משיקה את Photon: מנוע אחזור חדש ב-Rust שחותך את זמני התגובה בחיפוש

חברת Perplexity, שמפתחת מנוע חיפוש מבוסס AI, השיקה את Photon. זהו מנוע retrieval (אחזור מידע) ודירוג שהחברה פיתחה בעצמה, כתוב בשפת Rust. לפי נתוני החברה, Photon מוריד את זמן התגובה ב-p99 מ-800 מילישניות ל-65 מילישניות, כלומר שיפור של יותר מפי 12 במדד הזה.

מה בדיוק הוחלף

עד עכשיו התבססה תשתית החיפוש של Perplexity על fork של מנוע open source: עותק של קוד פתוח שהחברה לקחה והתאימה לצרכיה. Photon מחליף את העותק הזה. לפי הדיווח, המנוע החדש כבר מטפל באחזור ובדירוג של כל התעבורה בסביבת הייצור, ולא רק בניסוי מוגבל. הוא גם מפעיל מצב חדש בשם Fast Search ב-Perplexity Search API, הממשק שדרכו מפתחים חיצוניים משלבים את החיפוש של החברה במוצרים שלהם.

למה p99 הוא המספר שחשוב

המדד p99 מציין את זמן התגובה ש-99% מהבקשות עומדות בו. במילים אחרות, הוא מודד את "הזנב", כלומר את הבקשות האיטיות ביותר. ממוצע יכול להיראות טוב גם כשחלק מהמשתמשים מחכים הרבה זמן, ולכן מערכות בקנה מידה גדול נמדדות בדרך כלל לפי הזנב. ירידה מ-800 ל-65 מילישניות פירושה ככל הנראה שגם המשתמשים שהיו נתקלים בעיכוב המורגש ביותר יקבלו עכשיו תגובה כמעט מיידית.

חשוב להבין איפה המנוע הזה יושב. בחיפוש מבוסס AI, שלב האחזור מאתר את המסמכים הרלוונטיים לפני שמודל השפה (LLM) מנסח מהם תשובה. כל עיכוב בשלב הזה מצטבר לזמן הכולל שהמשתמש מחכה. כשסוכני AI מריצים כמה חיפושים ברצף כדי לענות על שאלה אחת, העיכובים האלה מצטברים מהר עוד יותר.

למה Rust

Rust היא שפת תכנות למערכות שמשלבת ביצועים קרובים לאלה של C ו-C++ עם הגנות מובנות מפני שגיאות זיכרון. אין בה garbage collector, מנגנון ניקוי זיכרון אוטומטי שעלול לגרום לעצירות קצרות ולא צפויות. הבחירה ב-Rust מתאימה ככל הנראה בדיוק למטרה של צמצום זמני הזנב, שבהם עצירות כאלה מורגשות במיוחד. המקור לא מפרט את השיקולים של Perplexity עצמה.

המשמעות: קרב הביצועים בחיפוש AI מתחדד

Perplexity מתחרה ישירות בגוגל ובשחקנים נוספים שמשלבים AI בחיפוש. המעבר מתשתית פתוחה ומותאמת למנוע שפותח בבית מלמד שהחברה רואה בתשתית האחזור יתרון תחרותי, ולא רכיב מדף. ההשקה של Fast Search ב-API מרמזת גם על המשך המאמץ למכור את החיפוש כשירות למפתחים ולחברות שבונות סוכני AI. בשוק הזה מהירות היא ככל הנראה שיקול מרכזי בבחירת ספק.

ראוי לזכור שכל הנתונים מגיעים מ-Perplexity עצמה. לא פורסמה עד כה השוואה בלתי תלויה, והשאלה אם השיפור יורגש באותה מידה אצל משתמשי הקצה עדיין פתוחה.