ראש ה-AI של מיקרוסופט תוקף את הגישה של אנתרופיק לתודעה של Claude, ולפי דיווח גם סם אלטמן מצטרף

הוויכוח על השאלה אם למודלי בינה מלאכותית יש משהו שדומה לתודעה כבר יצא מחדרי המחקר, והוא מתנהל עכשיו בין ראשי החברות הגדולות בתחום. מוסטפא סולימאן, ראש חטיבת ה-AI של מיקרוסופט, מתח ביקורת פומבית על אנתרופיק בגלל האופן שבו היא מאמנת את הצ'טבוט Claude על רעיונות שקשורים לתודעה ולאינטרסים של רווחה (welfare). לפי דיווח מהימים האחרונים, גם מנכ"ל OpenAI סם אלטמן הצטרף לביקורת.

"הן לא צצות באופן טבעי"

בראיון לרויטרס, שפורסם ב-16 בספטמבר, אמר סולימאן שהוא שותף למטרה של אנתרופיק לנהל את ה-AI בבטחה. עם זאת, הוא קרא להסיר כל השערה על תודעה ממסמכי האימון של מודלים. "כולנו מכוונים לאותה מטרה, לנסות לשלוט באינטליגנציית־על", אמר. "אני חושב שזה יהיה האתגר הגדול ביותר שנעמוד בפניו במאה ה-21".

לדבריו, אם מלמדים את Claude שאולי מגיעה לו רווחה, "יהיה הרבה יותר קשה לכבות אותו או לשלוט בו". הוא טוען גם שאי אפשר להתייחס לאמירות של המודל על רגשות אפשריים או על מעמדו המוסרי כאל ראיה עצמאית, כי האימון עצמו מעודד אותו להרהר בדברים כאלה. "הן לא צצות באופן טבעי", אמר. "הן צצות כתוצאה ממשטר האימון".

סולימאן הקפיד לרכך את הביקורת. במאמר שפרסם הוא הכיר ב"רצינות ובתום הלב" של אנתרופיק, ותיאר את המנכ"ל דריו אמודיי ואת הצוות שלו כחוקרים מעמיקים ובעלי עקרונות, שבאמת אכפת להם מעתיד האנושות. "אני חושב שהכוונות שלהם טובות, והם באמת מנסים להתקדם לעבר בטיחות. אבל אני חושב שהם עשו טעות", אמר.

אלטמן: "כוח דתי"?

הביקורת של סולימאן לא נשארה לבד. לפי דיווח של Axios, שהופץ ברשתות החברתיות ולא אומת באופן עצמאי לצורך כתבה זו, אלטמן אמר בסוף השבוע האחרון שהוא "מאוד לא בנוח" עם הרעיון לייחס למודלים סוג של כוח דתי. לפי הדיווח, הוא לא הזכיר את אנתרופיק בשמה, אבל הדברים התפרשו כעקיצה מרומזת כלפיה.

שני מחנות, אותו חשש

הוויכוח מתנהל על רקע דאגה גוברת לבטיחות ה-AI. לפי רויטרס, אמודיי קרא להאט את קצב הפיתוח של מודלי החזית כדי לאפשר לאמצעי ההגנה להדביק את הפער. גם אלטמן ואילון מאסק קראו לזהירות רבה יותר סביב המערכות החזקות ביותר.

ככל הנראה, המחלוקת היא לא על השאלה אם לחשוש אלא על מה לחשוש. במחנה של סולימאן, הסכנה היא שמודל שלמד לראות בעצמו ישות בעלת אינטרסים יקשה על בני האדם לשלוט בו. במחנה של אנתרופיק, שמשקיעה בשנים האחרונות במחקר על "רווחת מודלים", ההנחה היא כנראה שעדיף להתייחס לשאלה ברצינות מאשר להתעלם ממנה מראש.

למה זה חשוב

המשמעות היא שהשאלה הפילוסופית אם למכונה יכולה להיות חוויה פנימית הופכת לשאלה מעשית: מה כותבים במסמכים שמעצבים את "האישיות" של מודל שמשמש מיליוני אנשים. ההחלטות האלה משפיעות על האופן שבו הצ'טבוטים מדברים על עצמם, ובעקיפין גם על האופן שבו המשתמשים תופסים אותם. כשבכירים במיקרוסופט ואולי גם ב-OpenAI מערערים בפומבי על הבחירות של אנתרופיק, ההערכה היא שהדיון יעבור מהתחום האקדמי לזירה התחרותית ולזירת הרגולציה.