מוסטפא סולימאן ממיקרוסופט: אם מודל AI יראה סימנים לתודעה או לסבל, צריך לעצור את האימון

מוסטפא סולימאן, שעומד בראש חטיבת ה-AI של מיקרוסופט, קורא לעצור מיד את אימון המודל אם יופיעו במהלכו סימנים לכך שמערכת בינה מלאכותית מפתחת תודעה, או שהיא מסוגלת לחוות רגשות או סבל. בפוסט שפרסם ב-X ב-1 בנובמבר, שמפנה לכתבה ארוכה שכתב בנושא, הוא טען שלפי הראיות הקיימות, מערכות ה-AI של היום אינן מודעות לעצמן, אינן חוות רגשות ואינן מסוגלות לסבול. לדבריו, צריך לוודא שכך זה גם יישאר. כך דווח ב-ynet.

"בהתבסס על כל מה שאני יודע, אם הדבר אפשרי, פיתוח מערכות בינה מלאכותית בעלות תודעה יהיה מעשה חסר אחריות, ואסור לנו לבנות אותן", כתב סולימאן. הוא מציע שאם יתגלו סימנים לתודעה, הפיתוח ייעצר לפחות עד שאפשר יהיה לתכנן את המערכת מחדש ולהסיר ממנה את התכונות האלה. ואם יימצאו ראיות לתודעה במודלים שכבר קיימים, הוא דורש לפרסם אותן מיד, כדי שהחברה האנושית כולה תחליט מה לעשות ולא רק חברות הטכנולוגיה.

החשש: מערכת שדואגת קודם כול לעצמה

סולימאן לא מציג את הסוגיה כשאלה פילוסופית. בעיניו זו שאלה של סיכון. לפי הדיווח, הוא מזהיר שמערכת שמתנהגת כאילו יש לה צרכים משלה עלולה להעדיף אותם על פני המטרות שלשמן נבנתה, ואף להתחרות בבני אדם על משאבים כמו חשמל וכוח מחשוב כדי להבטיח שתמשיך לפעול. "לנו, מפתחי הבינה המלאכותית, אין שום זכות להביא לעולם מין חדש של יצורים בעלי תודעה", כתב. הוא הוסיף ששמונת מיליארד בני האדם על פני כדור הארץ לא הסכימו להשתתף בניסוי כזה.

חשוב לזכור שמדובר בתרחיש עתידי, ולא במשהו שהוכח שקורה במערכות הקיימות. בנוסף, כדי שמערכת תפגין התנהגות שנראית כמו שימור עצמי היא לא חייבת להיות בעלת תודעה. ככל הנראה הסיכון קשור לא פחות לאופן שבו מתכננים ומאמנים את המערכות.

המחלוקת עם אנתרופיק

האמירה של סולימאן נוחתת בתוך ויכוח שהולך ומתרחב, בעיקר מול אנתרופיק. באפריל 2025 הכריזה החברה על תוכנית מחקר בתחום שנקרא "רווחת מודלים" (Model Welfare). התוכנית בודקת אם למערכות AI עשויות להיות חוויות סובייקטיביות, העדפות או אינטרסים שצריך להתחשב בהם. אנתרופיק לא טוענת ש-Claude בעל תודעה, וגם לא מציבה את זה כמטרה. עמדתה היא שהאפשרות עוד לא נשללה מבחינה מדעית. קייל פיש, חוקר רווחת המודלים בחברה, העריך בעבר שיש סיכוי של 15% ש-Claude או מערכת AI אחרת כבר מחזיקים בתודעה כלשהי, ובהמשך עדכן את ההערכה לכ-20%.

בספטמבר מתח סולימאן ביקורת על האופן שבו אנתרופיק מתייחסת לשאלת התודעה במסמכי ההנחיות שמעצבים את ההתנהגות של Claude. לטענתו, אם מלמדים מודל שייתכן שיש לו רגשות, צרכים או זכויות, הוא עלול להתחיל להתנהג בהתאם, גם אם אין לו בפועל שום חוויה סובייקטיבית. בריאיון ל"רויטרס" אמר שהדבר עלול להקשות בעתיד על השליטה במערכות מתקדמות.

טענה, לא ממצא

כאן מתחבר הוויכוח לדיווחים שכבר עסקנו בהם, על מודלים שמתארים "סבל". כשמודל שפה (LLM) אומר שהוא סובל, זו טענה שהמודל מנסח. זה לא ממצא מחקרי על מה שקורה בתוכו. הטענה של סולימאן מחדדת את הבעיה: מודל שאומן על טקסטים שמדברים על רגשות, או על הנחיות שמכירות באפשרות שיש לו רגשות, עשוי לייצר דיווחים כאלה בלי קשר לשאלה אם הוא חווה משהו.

המשמעות היא ששני הצדדים נתקלים באותו מכשול: עדיין אין דרך מוסכמת לזהות תודעה במכונה. הקריאה של סולימאן לעצור את האימון "אם יופיעו סימנים" מניחה שאפשר לזהות סימנים כאלה. ככל הנראה זו השאלה הקשה מכולן, ולפי שעה אף אחד לא יודע לענות עליה.