Architect משיקה את Liquid Inference: כל קריאה למודל שפה נמכרת במכרז בזמן אמת

חברת Architect Financial Technologies השיקה את Liquid Inference, שירות שמנתב בקשות למודלי שפה גדולים (LLM) ומקיים מכרז חי על כל בקשה. בכל פעם שמפתח שולח prompt, ספקי inference מתחרים על הזכות לשרת אותו. הלקוח משלם את ההצעה הזולה ביותר מבין אלה שעומדות בכללים שהגדיר מראש.

איך זה עובד

Inference הוא השלב שבו מודל שכבר אומן מקבל קלט ומחזיר תשובה, וזה החלק שעליו משלמים בכל קריאה ל-API. היום מפתחים בוחרים בדרך כלל ספק אחד, או כמה ספקים, ומשלמים לפי מחירון קבוע. Liquid Inference מציעה מודל אחר: זירת מסחר (marketplace) שבה הספקים מגישים הצעות מחיר לשרת כל prompt.

מהצד של הקונה, המנגנון מבוסס על כללים. הלקוח מגדיר את התנאים שבהם הבקשה חייבת לעמוד, והמערכת בוחרת את ההצעה הזולה ביותר שעומדת בהם. חומרי המקור לא מפרטים אילו כללים אפשר להגדיר. סביר להניח שמדובר בפרמטרים כמו המודל המבוקש, זמן התגובה או דרישות אחרות של הלקוח, אבל זו הערכה בלבד.

לפי הדיווח, החיבור למפתחים פשוט: מחליפים את כתובת הבסיס (base URL) שאליה הקוד שולח בקשות. ככל הנראה המשמעות היא שהשירות שומר על תאימות לממשקים קיימים, כך שלא צריך לשכתב את האפליקציה כדי לעבור אליו.

רעיון מוכר מעולם הפיננסים

השם של החברה, Architect Financial Technologies, מרמז מאיפה הרעיון מגיע. בשווקים פיננסיים, ובפרסום הדיגיטלי, מכרזים בזמן אמת הם שיטת תמחור מוכרת. בכל עסקה או חשיפה למודעה מוצמדים קונים ומוכרים לפי הצעות מחיר שמשתנות ללא הפסקה, במקום מחירון קבוע.

Liquid Inference מחילה את ההיגיון הזה על כוח מחשוב. השוק מתייחס ל-inference כמשאב שנמכר בכמויות גדולות, כמו סחורה, ולכן כל קריאה למודל הופכת ל"עסקה" קטנה שהמחיר שלה נקבע ברגע הבקשה. הבחירה במונח "Liquid" (נזיל) נשמעת כרמיזה למושג הנזילות מעולם המסחר, כלומר שוק שבו יש תמיד מספיק קונים ומוכרים כדי שעסקאות יתבצעו מהר.

למה זה חשוב

בשוק ה-inference פועלים כיום ספקים רבים, וחלקם מריצים את אותם מודלי open source במחירים ובביצועים שונים. מכרז על כל בקשה עשוי לחסוך למפתחים את הצורך להשוות מחירים ידנית ולהחליף ספקים, ולהפעיל לחץ תחרותי ישיר על המחירים.

עם זאת, הרבה שאלות עדיין פתוחות. חומרי המקור לא מפרטים אילו ספקים ומודלים משתתפים, איך החברה גובה עמלה, ואיך מובטחות עקביות התשובות ואבטחת הנתונים כשכל בקשה עשויה להגיע לספק אחר. מהתשובות לשאלות האלה ככל הנראה ייקבע אם המודל הפיננסי מתאים גם לעולם ה-AI, או שהוא יישאר ניסוי מעניין בשוליים.