מאמר מחקרי חדש בשם 'Intelligence per Watt' מציע לבחון מודלים של בינה מלאכותית מקומית לא רק לפי ביצועים גולמיים, אלא לפי יעילות צריכת החשמל שלהם. הרעיון המרכזי: מודל 'חכם' שצורך אנרגיה רבה מדי עשוי להיות פחות שימושי בפועל ממודל צנוע יותר אך חסכוני.
מחקר חדש שעלה לאחרונה לפלטפורמת arXiv, תחת הכותרת "Intelligence per Watt: Measuring Intelligence Efficiency of Local AI", מציע זווית מדידה שונה מהמקובל בעולם הבינה המלאכותית: לא כמה 'חכם' מודל שפה גדול (LLM), אלא כמה חכם הוא ביחס לכמות החשמל שהוא צורך כדי להגיע לתוצאה הזו.
המאמר, שעורר עניין בקהילת ה-LocalLLaMA ברשת Reddit — פורום הידוע כבמה מרכזית לדיונים על הרצת מודלי AI באופן מקומי, על מכשירי הקצה של המשתמש ולא על שרתי ענן — מתמקד ככל הנראה במודלים המיועדים להרצה מקומית (local AI). זהו תחום שצובר תאוצה בשנה האחרונה, ככל שיותר משתמשים ומפתחים מעדיפים להריץ מודלים על המחשב או הטלפון שלהם, מטעמי פרטיות, עלות או עצמאות מספקי ענן.
הדירוגים המקובלים היום למודלי AI, כמו מבחני benchmark שונים, בוחנים בעיקר דיוק, מהירות תגובה או יכולת פתרון בעיות. צריכת האנרגיה נשארת לרוב מחוץ למשוואה — למרות שהיא נושא שעולה שוב ושוב בשיח הציבורי סביב הטמעת בינה מלאכותית בקנה מידה גדול, בין אם מדובר במרכזי נתונים ענקיים של חברות טכנולוגיה ובין אם במכשירים ניידים עם סוללה מוגבלת.
הצעת מדד כמו "אינטליגנציה לכל וואט" (Intelligence per Watt) משקפת ניסיון להביא את שאלת החשמל למרכז הדיון, בדומה לאופן שבו תחום הרכב עבר בעשורים האחרונים ממדידת הספק גולמי (כוח סוסים) למדידת יעילות — כמה קילומטרים לליטר דלק, או כיום, לקילוואט-שעה.
עבור מודלים המיועדים להרצה מקומית, לשאלת היעילות יש משמעות מעשית ומיידית: מכשיר נייד עם סוללה, מחשב נייד או אפילו רכיב חומרה ייעודי קטן, כולם מוגבלים בכמות האנרגיה הזמינה להם. מודל שמספק תשובות טובות אך דורש חשמל רב מדי עלול להיות פחות שימושי בפועל ממודל צנוע יותר בביצועיו הגולמיים, אך חסכוני משמעותית באנרגיה.
החומר הזמין על המחקר בשלב זה מוגבל לכותרת ולהפניה אליו דרך פוסט ברשת Reddit, ללא פירוט מלא של המתודולוגיה, המודלים שנבדקו בפועל או התוצאות המספריות שהתקבלו. בהיעדר נתונים אלה, אין אפשרות לקבוע אילו מודלים ספציפיים דורגו גבוה או נמוך במדד החדש, או כיצד בדיוק חושבה היחידה "אינטליגנציה לוואט".
גם בהיעדר פרטים מלאים, עצם הצעתו של מדד כזה מסמנת כיוון מחשבה שעשוי להשפיע על האופן שבו מפתחים ומשתמשים בוחרים מודלים בעתיד — במיוחד ככל שהרצת AI על מכשירי קצה הופכת נפוצה יותר. אם המדד יתקבל בקהילת המחקר, ייתכן שנראה בעתיד השוואות מודלים שכוללות לא רק טבלאות ביצועים, אלא גם נתוני צריכת חשמל, בדומה לתקני יעילות אנרגטית המוכרים לנו ממוצרי חשמל ורכבים.