PrismML מתאימה מודל שפה זעיר למשקפיים חכמים עם שבבי Qualcomm
בכנס Snapdragon Summit הציגה Qualcomm את Bonsai, מודל שפה של 1-bit מבית הסטארט-אפ PrismML, שרץ מקומית על משקפיים חכמים. המודל, בגודל 2 מיליארד פרמטרים, מבין גם תמונה וגם טקסט, והוא אמור לאפשר למי שמרכיב את המשקפיים לשאול בזמן אמת על מה שהוא רואה. עם זאת, עדיין לא הוכרזו משקפיים שמריצים אותו.
מעבדת ה-AI PrismML פיתחה גרסה של מודלי השפה הזעירים שלה למשקפיים חכמים שמבוססים על שבבי Snapdragon של Qualcomm. לפי TechCrunch, יצרנית השבבים הציגה ביום רביעי, בכנס Snapdragon Summit שלה, את Bonsai – מודל LLM של 1-bit מבית PrismML. המודל רץ מקומית, בלי חיבור לענן, על משקפי AI שבנויים על פלטפורמת Snapdragon AR1 Gen 1.
מה המודל עושה
הגרסה למשקפיים היא מודל בגודל 2 מיליארד פרמטרים (parameters, המשתנים הפנימיים שהמודל לומד באימון). הוא כוונן לעבודה עם תמונה וטקסט יחד, כך שמי שמרכיב את המשקפיים יכול לשאול בזמן אמת מה נמצא מולו. בהשוואה למודלים הגדולים שרצים במרכזי נתונים, מדובר במודל קטן מאוד. זה מה שמאפשר להריץ אותו על מכשיר שנשען על האף.
PrismML הוקמה בידי חוקרים מ-Caltech, ובין יועציה נמצא יון סטויקה (Ion Stoica) מאוניברסיטת ברקלי. כפי ש-TechCrunch דיווח בעבר, החברה מתמחה בכיווץ של מודלים גדולים. לדבריה, היא מקטינה אותם משמעותית, ובמקרה הזה פי 4, ושומרת כמעט על כל הביצועים שלהם במבחני benchmark מקובלים.
מה זה 1-bit, ולמה זה חשוב
מודלי שפה רגילים שומרים כל פרמטר במספר שתופס 16 או 32 ביטים. במודלים של 1-bit (או קרובים לכך) כל משקל מצטמצם לערכים בודדים, כמו 1 או -1. בדרך כלל זה מקטין מאוד את הזיכרון ואת צריכת החשמל שהמודל צריך. במכשיר כמו משקפיים, שיש בו מקום מועט לסוללה ולקירור, זה עשוי להיות ההבדל בין מודל שאפשר להריץ לבין מודל שלא. המחיר הוא בדרך כלל ירידה באיכות. לכן הטענה של PrismML ששמרה על כמעט כל הביצועים היא לב העניין. חשוב לזכור שזו טענה של החברה עצמה.
החזון: AI שנשאר על המכשיר
המטרה הרחבה של PrismML היא AI עם open weights (משקולות פתוחות, שכל אחד יכול להוריד ולהריץ). המודלים אמורים לרוץ על המכשירים עצמם ולנצל טוב יותר את כוח המחשוב שכבר יש בהם. החברה מציגה את הגישה הזו כחלופה לתלות בהבטחות הפרטיות של מעבדות AI קנייניות, ולצורך הבלתי נגמר שלהן בעוד כוח מחשוב.
במשקפיים חכמים לשאלת הפרטיות יש משקל מיוחד. מצלמה שמתעדת כל הזמן את מה שהמשתמש רואה היא מקור רגיש מאוד של מידע. כשהעיבוד נעשה על המכשיר, התמונות לא חייבות לצאת ממנו כדי לקבל תשובה.
הסתייגות אחת חשובה
המודל המותאם לשבב של Qualcomm הוא צעד לכיוון החזון של PrismML, אבל עדיין לא הוכרזו משקפיים חכמים שמריצים אותו. בינתיים מדובר בהדגמה של יכולת ולא במוצר שאפשר לקנות.
המשמעות
ככל הנראה, ההדגמה הזו מצטרפת למגמה רחבה בתעשייה: להוציא חלק מהעבודה של מודלי AI ממרכזי הנתונים אל המכשירים עצמם, כולל מכשירים קטנים וחלשים במיוחד. אם הטענות על שמירת הביצועים יתבררו כנכונות גם בשימוש יומיומי, המשמעות היא שעוזר חזותי בזמן אמת לא יצטרך בהכרח חיבור לענן. זה יכול לשפר את זמני התגובה ואת הפרטיות. השאלה שנשארת פתוחה היא אם, ומתי, יצרני משקפיים יאמצו את המודל במוצרים אמיתיים.