Vercel Labs משחררת בקוד פתוח כלי שמאפשר לסוכני AI להפעיל מחשב בלי צילומי מסך

Vercel Labs, זרוע הניסויים של חברת Vercel, שחררה את agent-desktop: כלי בקוד פתוח שנותן לכל סוכן AI יכולת "computer use", כלומר להפעיל תוכנות במחשב כמו שאדם עושה. לפי הדיווח ב-MarkTechPost, הכלי עובד על macOS, על Windows ועל Linux. ההבדל העיקרי מגישות אחרות הוא בדרך שבה הוא "רואה" את המסך: הוא לא מנתח פיקסלים בצילומי מסך, אלא קורא את עצי הנגישות (accessibility trees) של מערכת ההפעלה.

מה בדיוק שוחרר

agent-desktop הוא CLI, כלומר כלי שמפעילים משורת הפקודה. הוא כתוב בשפת Rust ומופץ ברישיון Apache-2.0, רישיון קוד פתוח מתירני שמאפשר גם שימוש מסחרי. לפי MarkTechPost, הכלי מיועד ל"כל סוכן AI", כלומר הוא לא קשור למודל שפה מסוים או לספק מסוים. הסוכן מקבל ממנו מבנה של הממשק ומבצע פעולות על "הפניות יציבות" (stable refs) לרכיבים, במקום על קואורדינטות במסך.

צילומי מסך מול עצי נגישות

כדי להבין למה זה משנה, צריך להכיר את השיטה הנפוצה. בגישת "computer use" הקלאסית, המודל מקבל צילום מסך, מזהה בו כפתורים ושדות, ומחליט לאן להזיז את העכבר ועל מה ללחוץ. השיטה הזאת גמישה, אבל יש לה מחיר: כל צעד דורש עיבוד של תמונה, וזיהוי שגוי של מיקום ישלח קליק למקום הלא נכון. גם שינוי קטן, כמו חלון שזז או ערכת נושא אחרת, עלול לבלבל את הסוכן.

עצי נגישות הם שכבה שמערכות ההפעלה מספקות מלכתחילה עבור קוראי מסך וטכנולוגיות מסייעות אחרות. הם מתארים את הממשק כמבנה היררכי של רכיבים: חלון, תפריט, כפתור עם שם, שדה טקסט עם ערך. סוכן שקורא את המבנה הזה יודע איזה רכיב לפניו בלי לנחש לפי פיקסלים. הוא יכול לפנות לכפתור לפי ההפניה שלו, גם אם הכפתור זז במסך.

למה זה חשוב

המשמעות המעשית היא ככל הנראה סוכנים אמינים יותר וחסכוניים יותר. טקסט מובנה קצר בדרך כלל בהרבה מתמונה, ולכן עיבודו צפוי לדרוש פחות משאבים. פעולה על הפניות יציבות אמורה גם להפחית את הטעויות שנובעות מזיהוי ויזואלי שגוי.

לגישה יש גם מגבלה סבירה: היא תלויה באיכות הנגישות של כל אפליקציה. תוכנות שלא חושפות מידע נגישות מלא עלולות להישאר עמומות בעיני הסוכן. החומרים שפורסמו לא מתייחסים לשאלה הזאת.

מבחינת Vercel, שמוכרת בעיקר מעולם פיתוח הווב, השחרור מצטרף ככל הנראה למאמץ רחב יותר למקם את החברה בשוק הכלים לסוכני AI. ההחלטה לשחרר את הכלי כקוד פתוח ברישיון מתירני ובלי תלות בספק מודלים מסוים עשויה להפוך אותו לרכיב שמפתחים ישלבו בסוכנים מכל סוג. זה ייבחן בשימוש בפועל.