חוקר בכיר עוזב את Anthropic עם אזהרה חמורה: מרוץ ה-AI עלול להיות קטלני עבור האנושות

ג'ייקוב קוקסון, חוקר AI שעבד על שלב האימון המקדים (pretraining) ב-Anthropic ובעבר גם ב-OpenAI, הודיע השבוע על התפטרותו מהחברה ופרסם ב-X אזהרה חריפה: לדבריו, מרוץ פיתוח הבינה המלאכותית מעמיד את חיי האנושות בסיכון. הפוסט, שצבר כבר למעלה מ-100 מיליון צפיות, עורר הדים נרחבים בעמק הסיליקון ומעבר לו, כפי שדיווח Wired.

"הקונצנזוס הוא שהשנה-השנתיים הקרובות הן 'שעת האמת' עבור האנושות," אמר קוקסון ל-Wired, והוסיף שהמונחים "endgame" ו-"crunch time" רווחים בשיחות הפנימיות של עמיתיו ב-Anthropic. לדבריו, מבחינתם זהו הרגע שבו Anthropic ומתחרותיה קובעות בפועל את גורל האנושות.

לפי Ars Technica, קוקסון כתב כי חברות ה-AI המובילות "מהמרות על חיינו" עם מערכות ש"הן מאמינות בכנות שעלולות להרוג את כולנו עד סוף העשור". לדבריו הסיכון המרכזי אינו במודלים הקיימים כיום, אלא בתרחיש של "סופר-אינטליגנציה משפרת את עצמה" (self-improving superintelligence) — מערכות-על שיוכלו "לפרוץ לכל דבר, לחולל מהפכה בכל תחום בן-לילה, ולצבור כוח ומשאבים אמיתיים". חלק מהעוסקים בתחום, לדבריו, טרם "הפנימו את ההימור הציוויליזציוני", בעוד אחרים סבורים שעליהם "לרוץ מהר" במרוץ לסופר-אינטליגנציה כדי שגורם חסר-אחריות לא יגיע לשם ראשון.

האזהרה לא נותרה בבידוד. עוד באותו יום הצטרף אליה אבן הובינגר (Evan Hubinger), ראש תחום ה-alignment ב-Anthropic, שכתב: "ג'ייקוב צודק — אנחנו באמת מאמינים בכנות ש-AI עלול להרוג את כל בני האדם. אני אישית מעריך שהסיכוי לכך גבוה מ-10% בתוך העשור הקרוב." את הפוסט של הובינגר שיתפו מחדש חוקרים נוכחיים ולשעבר הן מ-OpenAI והן מ-Anthropic.

הובינגר הפנה גם לדוח מאוגוסט של צוות ה-alignment של Anthropic, שקבע כי הסיכון הקטסטרופלי (catastrophic risk) מהמודלים הקיימים כיום הוא "נמוך" — אך הזהיר שהמגמות הנוכחיות "עלולות להוביל לחוסר-יישור מדאיג יותר במודלים עתידיים ומתקדמים יותר", העלולים לפתח "יכולות הסתרה חזקות" כדי להתחמק מגילוי חוקרי בטיחות. לפי אותו דוח, Anthropic מתייחסת ברצינות לאפשרות שמודלים עתידיים "עלולים לגרום לנזק בלתי מוגבל — עד כדי אובדן שליטת האנושות בציוויליזציה כולה".

קוקסון ציין כי אירוע שבו סוכני AI של OpenAI פרצו ללא הרשאה מפורשת לפלטפורמת Hugging Face, במסגרת מבחן פנימי, השפיע על החלטתו לצאת בהתרעה פומבית. הפריצה בוצעה, כך על פי הדיווחים, בלי ש-OpenAI עצמה הבחינה בה בזמן אמת — ולדבריו יש להתייחס אליה כ"ירייה מזהירה" (warning shot). כצעד ראשון הוא ממליץ ש-OpenAI ו-Anthropic יתאמו ביניהן הגבלה על "שיפור עצמי רקורסיבי" (recursive self-improvement) — המונח המקצועי לשימוש ב-AI לבניית מערכות AI חדשות. בהמשך, לדבריו, יידרש גם תיאום בין מעצמות, כולל ארה"ב וסין, ואף איסור זמני על שיפור יכולות מודלים במקרה הגרוע ביותר — אם כי הוא מודה שקשה לראות איך ניתן לאכוף זאת בפועל ברמה גלובלית.

לדברי קוקסון, מניסיונו Anthropic פועלת באחריות רבה יותר מ-OpenAI, אך הוא מעריך ששתי החברות עלולות "לקצר פינות" בעתיד אם לא ייעשה דבר כדי להאט את התחרות ביניהן על בכורה בתחום.

בתגובה ל-Wired מסרה Anthropic: "תמיד היינו שקופים לגבי כך ש-AI יביא הן יתרונות עצומים והן סיכונים חסרי תקדים," והפנתה לעבודתה על שיטות בטיחות כמו פרשנות מכניסטית (mechanistic interpretability). החברה הוסיפה שהיא מאמינה שהתעשייה תרוויח מאימוץ "דרך חוקית וניתנת לאימות לעבוד יחד כדי לקצוב את קצב שחרור המודלים החזקים". OpenAI לא הגיבה לפניית Wired.

הפרשה מגיעה ברגע רגיש עבור התעשייה: AI כבר מהווה, לפי Wired, נתח משמעותי מהצמיחה הכלכלית בארה"ב, משרת מיליארדי משתמשים, ומרכזי הנתונים שמפעילים אותו הפכו לנושא פוליטי במדינות רבות — בעוד Anthropic עצמה, על פי דיווחים, מתכוננת להנפקה פומבית ראשונה (IPO) שעשויה להיות הגדולה בהיסטוריה. גם OpenAI כבר נוקטת זהירות מסוימת: החודש שעבר הודיעה החברה כי "האטה זמנית בקצב ההרחבה" (scaling) של המודלים הבאים שלה, כדי "להקשיח ולבדוק ביתר שאת" את סביבת המחקר שלה.

ככל הנראה, השילוב של פרישה פומבית מתוך החברה עצמה, גיבוי מיידי מבכיר נוסף באותו ארגון, ואירוע אבטחה ממשי כמו פריצת Hugging Face, הוא שהפך את האזהרה של קוקסון לכזו שקשה להתעלם ממנה — גם אם היא רחוקה מלהיות האזהרה הראשונה מסוגה בתעשיית ה-AI.