מודל של גוגל השתווה לבני אדם במבחן הבנה מרחבית, אבל מדובר במבחן אחד בלבד
במבחן Blueprint-Bench 2 של Andon Labs, מודלים צריכים לשרטט תוכנית קומה של דירה מתוך תמונות. Gemini 4 Carbon של גוגל קיבל 0.586, ציון זהה לזה של קבוצת הביקורת האנושית. התוצאה מראה שיפור מהיר ביכולת המרחבית של מודלי AI, אבל היא מבוססת על מבחן אחד מגוף אחד, והציון האנושי נמדד רק על חלק מהדירות.
מודל ה-AI של גוגל, Gemini 4 Carbon, השיג ציון זהה לזה של בני אדם במבחן שבודק אם מודל יכול לשחזר את המבנה של דירה מתוך תמונות שלה. כך עולה מטבלת התוצאות של Blueprint-Bench 2, מבחן שפרסמה חברת Andon Labs. המודל קיבל 0.586, בדיוק כמו קבוצת הביקורת האנושית, והוא חולק איתה את המקום הראשון.
מה בודקים במבחן
המשימה נשמעת פשוטה: המודל מקבל כ-20 תמונות מתוך דירה, וצריך לשרטט תוכנית קומה דו-ממדית שמראה אילו חדרים יש בה, איך הם מחוברים זה לזה ומה הגודל היחסי שלהם. כל מודל עובר ברצף על 50 דירות. לרשותו עומד "פנקס" קבוע שנשמר בין דירה לדירה, ובו הוא יכול לרשום אסטרטגיות ולקחים. לפי Andon Labs, המודלים החזקים משתמשים בפנקס כדי לבנות לעצמם ידע מסודר על מבנים נפוצים של דירות.
לפי החברה, כדי להצליח המודל צריך לזהות את החדרים, להבין איך הם ממוקמים זה ביחס לזה, להעריך קנה מידה ולהפיק פלט שעומד בכללי פורמט נוקשים. הציון נקבע לפי השוואה בין "גרף הקישוריות" של התוכנית, כלומר איזה חדר מחובר לאיזה חדר, לבין המבנה האמיתי של הדירה. החלק המשמעותי ביותר בציון (50%) מודד עד כמה החיבורים בין החדרים נכונים. שאר הציון מורכב ממספר הדלתות בכל חדר, מצפיפות הקישוריות הכללית, ממספר החדרים, ממספר הדלתות הכולל ומהכיוון של התוכנית. הציונים מנורמלים כך ש-0 הוא ציון של ניחוש אקראי ו-1 הוא תוכנית מושלמת.
הטבלה
אחרי Gemini 4 Carbon מדורגים Gemini 4 Argon של גוגל (0.544), Claude Opus 5.5 של אנתרופיק (0.512) ו-GPT-6 Astra של OpenAI (0.497). חמישה מודלים, ביניהם Claude Haiku 4.5 ו-Gemini 3 Flash, קיבלו ציון שלא עולה על רמת הניחוש האקראי.
ממצא בולט אחד נוגע ל-Gemini Robotics-ER 1.6, מודל של גוגל שנבנה במיוחד להבנה מרחבית ולרובוטיקה. הוא נמצא בתחתית הטבלה עם ציון אפס. לפי Andon Labs, ההתמחות המרחבית שלו לא באה לידי ביטוי בשרטוט תוכניות קומה.
לפי החברה, כמעט כל המודלים מגיעים לכ-90% דיוק בספירת החדרים. ההבדל בין החזקים לחלשים הוא ביכולת להסיק איזה חדר מוביל לאיזה חדר. Andon Labs מביאה דוגמה: Gemini 3.1 Pro זיהה מכונת כביסה שמופיעה בשתי תמונות שונות, והשתמש בה כדי להבין לאיזה כיוון פונה המצלמה בכל אחת מהן. לדברי החברה, בגרסה הראשונה של המבחן התוצאות של המודלים היו "בעיקר רעש", ועכשיו רואים בפעם הראשונה סימנים של חשיבה מרחבית אמיתית.
כמה הסתייגויות
כמה פרטים מצמצמים את משמעות הכותרת. ראשית, הציון האנושי נמדד רק על 12 מתוך 50 הדירות, כך שההשוואה בין האדם למודל לא נעשתה על אותו סט נתונים. שנית, הציון האנושי עצמו עומד על 0.59 בלבד, כלומר גם בני אדם מתקשים במשימה. "שוויון לבני אדם" כאן הוא שוויון לביצועים בינוניים במשימה קשה, לא שליטה מלאה בה.
שלישית, יש פער בין הכותרות שהופצו ברשתות, שדיברו על "הבנה תלת-ממדית", לבין מה שהמבחן בודק בפועל: הפקת שרטוט דו-ממדי מתוך תמונות, ובעיקר שחזור נכון של החיבורים בין החדרים. מדובר במבחן אחד, שתכנן והריץ גוף אחד. Andon Labs מציגה מגמת שיפור של כ-0.04 נקודות בחודש בקרב המודלים המובילים, אבל זו התאמה סטטיסטית לנתוני העבר ולא הבטחה לעתיד.
ככל הנראה, המשמעות האמיתית של התוצאה היא הקצב. במבחן הקודם התוצאות של המודלים לא היו טובות בהרבה מניחוש, ועכשיו המודל המוביל מגיע לרמה של בני אדם. יכולת כזו רלוונטית לרובוטים שצריכים להתמצא בבית, לסוכני AI שפועלים בעולם הפיזי ולתחומים כמו נדל"ן ותכנון. כדי לקבוע שמודלים באמת "מבינים מרחב" כמו בני אדם, יהיה צורך במבחנים נוספים ובלתי תלויים שיאששו את התמונה.