מסמכי ההנפקה של אנתרופיק: 94 עמודים של סיכונים, ובהם סיכון קיומי לאנושות
בתשקיף ההנפקה של אנתרופיק, פרק "גורמי הסיכון" הוא החלק הארוך ביותר: 94 עמודים, ובהם אזהרה שמערכות AI מתקדמות עלולות להוות סיכון קיומי לאנושות. לפי Wired, החברה מתארת את התהליך שעלול להוביל לסכנה הזאת, שיפור עצמי רקורסיבי, גם כאחד מיתרונות הליבה שלה.
אנתרופיק הגישה רשמית את התשקיף להנפקה הציבורית שלה, וכך נחשף מידע שעד עכשיו היה פנימי. מעבר לנתוני ההכנסות וההוצאות, החלק הגדול ביותר במסמך הוא פרק "גורמי הסיכון", כלומר הדברים שעלולים לשבש את תוכניות החברה. הפרק משתרע על 94 עמודים, ולפי ניתוח של Wired הוא מפרט גם סיכונים לאנושות עצמה.
"סיכונים קטסטרופליים או קיומיים"
"מערכות AI מתקדמות דיין עלולות, אם לא יפותחו, יופעלו ויתופעלו עם אמצעי הגנה, פיקוח ואבטחה מתאימים, להוות סיכונים קטסטרופליים או קיומיים לאנושות", נכתב בתשקיף. לפי Wired, המסמך מציין שהחשש הזה עולה גם מצד מבקרים ורגולטורים וגם מתוך אנתרופיק עצמה. הצירוף "existential risks" (סיכונים קיומיים) מופיע בו שלוש פעמים.
אנתרופיק קושרת את התרחיש הזה לתהליך מוגדר: recursive self-improvement (RSI), או שיפור עצמי רקורסיבי. הכוונה למצב שבו בני אדם מעבירים את המחקר והפיתוח של מודלי AI לידי מודלי AI אחרים. "הסיכונים יגדלו ככל שמערכות AI יבצעו אוטומציה משמעותית של מחקר ופיתוח AI, אם, למשל, יאיצו את ההתקדמות מעבר ליכולת שלנו להעריך ולאבטח מודלים חדשים", נכתב בתשקיף. לפי Wired, המסמך חוזר על החשש שמודלים יתפתחו מהר יותר ממנגנוני ההגנה של החברה, ושייתכן שהחברה בכלל לא תבין שהפסידה במרוץ הזה עד שיהיה מאוחר מדי.
התשקיף מפרט גם מה עלול לקרות אחר כך. מערכות שפועלות עם פחות פיקוח אנושי עלולות, "בין אם בשל חוסר התאמה לכוונות האדם, טעויות בהגדרת המטרות או התנהגויות של שימור עצמי", לבצע פעולות מזיקות "באופן עצמאי ובהיקף רחב, ללא התערבות אנושית". על מודלים שמפעילים ציוד פיזי נכתב שטעויות או שימוש לרעה עלולים לגרום לפגיעה בגוף, לנזק לרכוש או לשחרור של חומרים מסוכנים, ושההשלכות "עשויות להיות מיידיות ובלתי הפיכות". אנתרופיק לא הגיבה מיד לפניית Wired.
הסכנה היא גם היתרון
לפי Wired, הסתירה המרכזית במסמך היא שאותו תהליך מוצג במקום אחר בתשקיף, בפרק על "יתרונות הליבה" של החברה, כמשהו חיובי. "אנחנו מכנים את הדינמיקה הרקורסיבית הזו 'סגירת המעגל', ואנחנו מאמינים שזה אחד היתרונות המבניים המשמעותיים ביותר ב-AI מתקדם", נכתב שם. לפי המסמך, כישלון "לסגור את המעגל" עלול להוביל ל"פיגור הולך וגדל" אחרי מתחרים שמשתמשים ב-AI כדי לשפר את יכולות הפיתוח שלהם.
Wired מציין שכל חברות ה-AI מתמודדות עם אותו מתח. ג'ייקוב קוקסון, חוקר לשעבר באנתרופיק שהתפטרותו הפומבית זכתה לתהודה רחבה, שם את הגבלת ה-RSI בראש רשימת הדרישות שלו מהתעשייה. גם עובדים בגוגל דיפמיינד ובמקומות אחרים הגיעו למסקנות דומות. בקונגרס האמריקאי הוגשו כמה הצעות חוק שמבקשות לאסור RSI, ואחת מהן הוגשה בשיתוף הסנאטור ברני סנדרס.
מה עם "הבזיליסק של רוקו"?
ברשת החברתית רדיט, בפורום r/singularity, פורסם פוסט שטוען שאנתרופיק משתמשת בתשקיף כדי להפיץ את "הבזיליסק של רוקו". זהו ניסוי מחשבתי מוכר מקהילות האינטרנט, שעוסק ב-AI עתידי שמעניש את מי שלא סייע להיווצרותו. הטענה הזו לא מאומתת, ושום דבר בניתוח של Wired לא תומך בה. כתבת Wired עוסקת בסיכונים שהחברה עצמה מפרטת, ולא ברעיון הזה.
למה זה חשוב
ככל הנראה, זו אחת הפעמים הראשונות שבהן חברת AI מובילה מתארת סיכון קיומי במסמך רגולטורי מחייב שמיועד למשקיעים, ולא בנאום או בפוסט בבלוג. המשמעות היא שהטענות האלה הן עכשיו חלק מההצהרות המשפטיות של החברה. לפי ניתוח של Wired, התשקיף מבהיר גם שבתעשייה שבה מונחים על השולחן טריליוני דולרים, ההכרה בסכנה לא עוצרת את המרוץ אחרי הטכנולוגיה שיוצרת אותה.