גוגל משיקה את Guided Vision ב-Gemini Live: תיאור קולי בזמן אמת של טקסט, חפצים וסביבה

גוגל משיקה היום את Guided Vision, תכונה חדשה ב-Gemini Live, לפי דיווח ב-The Verge. התכונה זמינה במכשירי אנדרואיד תואמים. משתמשים משתפים את מצלמת הטלפון עם Gemini Live, והבינה המלאכותית של גוגל מתארת בקול ובזמן אמת את מה שהמצלמה רואה. היא יכולה להקריא טקסט קטן, לתאר את הסביבה, לעזור למצוא חפצים סביב המשתמש ולזהות אותם, ולפרט מה רואים על חפץ מסוים.

למי זה מיועד

גוגל מכוונת את Guided Vision לאנשים עיוורים, לבעלי לקות ראייה ולמי שזקוק לעזרה במצבים מסוימים. במובן הזה התכונה מזכירה את VoiceOver Live Recognition של אפל, שזמינה ב-iPhone וב-Vision Pro.

אפשר גם להמשיך לשאול על מה שמופיע מול המצלמה. למשל, אחרי ש-Gemini עזרה למצוא מוצר מסוים, המשתמש יכול לבקש ממנה להקריא את תאריך התפוגה שלו. ואם שואלים על משהו שלא נמצא בפריים, לפי גוגל Gemini תשמיע רמזים קוליים שיעזרו לכוון את המצלמה אליו.

לא רק באפליקציית Gemini

Guided Vision זמינה גם ב-Google TalkBack, קורא המסך של אנדרואיד (תוכנה שמקריאה בקול את מה שמופיע על המסך). במכשירים עם אנדרואיד 9 ומעלה אפשר גם להגדיר לה קיצור דרך בהגדרות הנגישות. גוגל הכריזה על התכונה לראשונה בסבב עדכונים אחרון למכשירי Pixel, ועכשיו היא מגיעה גם ל-Gemini Live.

כנראה שזו ההחלטה החשובה בהשקה. משתמשים עיוורים ובעלי לקות ראייה עובדים עם הטלפון בעיקר דרך קורא מסך, ולכן תכונה שזמינה מתוך TalkBack ומקיצור דרך במערכת נגישה להם הרבה יותר מתכונה שקבורה בתפריט של אפליקציה אחת.

האזהרה של גוגל

גוגל מציבה לתכונה גבול ברור. לדבריה, אין להסתמך על Guided Vision לניווט, להנחיות למעבר בטוח או לזיהוי מכשולים, והיא לא באה במקום מקל נחייה או אמצעי עזר אחר לניידות.

המשמעות היא ש-Guided Vision מיועדת למשימות סטטיות כמו קריאת תווית, חיפוש מוצר על המדף או זיהוי חפץ על השולחן, ולא להתמצאות במרחב. סביר להניח שהאזהרה משקפת את מגבלות המודלים הקיימים: מודל שפה שמתאר תמונה יכול לטעות או להחמיץ פרט, וכשמדובר בהליכה ברחוב, לטעות כזו יש מחיר.

למה זה חשוב

בשנים האחרונות תיאור קולי של העולם בעזרת AI הפך לאחד השימושים המעשיים הבולטים של מודלים שמבינים גם תמונה וגם שפה. מבחינת המשתמש, ההבדל בין הקראת טקסט פשוטה לבין שיחה רציפה עם עוזר שרואה דרך המצלמה מהותי. אפשר לשאול שאלת המשך, לבקש פרט ספציפי ולקבל הכוונה כשהמצלמה לא מכוונת נכון.

המהלך של גוגל ממקם את Gemini מול הפתרון של אפל באותו תחום. ככל הנראה, המאבק בין שתי החברות על הבינה המלאכותית בטלפון מגיע גם לתכונות נגישות, ולא רק לעוזרים כלליים. לאנשים עם לקות ראייה זה עשוי להיות אחד השימושים הממשיים והמוחשיים ביותר שהבינה המלאכותית בטלפון מציעה כרגע.