יותר מ-20 חוקרי AI בכירים, ובהם הינטון ובנג'יו, מזהירים: מערכות AI שמאיצות את המחקר על עצמן עלולות להוביל ל"פיצוץ אינטליגנציה"

יותר מ-20 חוקרי בינה מלאכותית מובילים פרסמו מאמר מחקר חדש, ובו הם מזהירים מפני "פיצוץ אינטליגנציה" (intelligence explosion): מצב שבו מערכות AI משפרות את עצמן, וקצב ההתקדמות יוצא משליטה. בין המחברים נמצאים Geoffrey Hinton ו-Yoshua Bengio, שניים מהשמות המוכרים ביותר בתחום, וגם Jakub Pachocki, מוביל המחקר של OpenAI.

"אף שעדיין יש אי-ודאות רבה, אוטומציה של המחקר והפיתוח ב-AI עלולה להצית פיצוץ כזה בקרוב", כותבים המחברים.

כשהמכונה כותבת את הקוד של עצמה

הטיעון המרכזי במאמר נשען על מה שכבר קורה עכשיו. לפי המחקר, מערכות AI כבר כותבות את רוב הקוד בחברות שמפתחות אותן, ובתוך שנים הן עשויות להפוך לאוטומטי את כל שרשרת המחקר והפיתוח של AI. במצב כזה, להערכת החוקרים, התקדמות שבדרך כלל נמשכת שנים עלולה להתרחש בתוך חודשים.

הרעיון של "פיצוץ אינטליגנציה" אינו חדש. בגרסתו הקלאסית, מערכת שמסוגלת לשפר את עצמה בונה גרסה חכמה יותר, וזו משתפרת מהר עוד יותר, וכך הלאה. החידוש במאמר הוא שהחוקרים כבר לא מציגים את התרחיש כניסוי מחשבתי רחוק. הם מחברים אותו למגמה שאפשר לראות כבר היום בתוך מעבדות ה-AI עצמן.

שלושה סיכונים עיקריים

המחברים מצביעים על שלוש סכנות:

• החברה לא תעמוד בקצב: מוסדות, רגולציה ושוק העבודה עלולים לא להספיק להסתגל לשינויים מהירים כל כך.
• אובדן שליטה: השליטה במערכות AI שעולות על יכולות האדם (superhuman AI) עלולה לחמוק מידינו.
• ערעור מאזני הכוח: היחסים בין מדינות, חברות וממשלות עלולים להתערער.

כדי להתמודד עם הסיכונים האלה, החוקרים קוראים לקובעי המדיניות לקבל שקיפות רבה הרבה יותר על האופן שבו מחקר ה-AI הופך לאוטומטי. המשמעות המעשית ככל הנראה: פיקוח חיצוני על מה שמתרחש בתוך המעבדות, ולא רק על המוצרים שהן משחררות לציבור.

לא האזהרה הראשונה

המאמר מצטרף לשורה של אזהרות דומות. לפי The Decoder, לאחרונה קראו 42 מתמטיקאים מובילים להקדיש יותר תשומת לב לסיכונים קיומיים מ-AI, וכמה עובדים במעבדות AI הביעו חשש שהטכנולוגיה עלולה להשמיד את האנושות. Pachocki עצמו אמר ששום מעבדה לא פתרה את בעיית ה-alignment (התאמת ערכי המערכת לכוונות האדם) מספיק טוב כדי "להמשיך להגדיל את המודלים באחריות ובמהירות מרבית לאורך זמן רב יותר". עוד דווח שכמה מעובדי אנתרופיק כבר מחפשים מקומות מבטחים למקרה שה-AI יצא משליטה. זהו דיווח שלא אומת באופן עצמאי.

למה זה חשוב

הבולט ביותר ברשימת המחברים הוא Pachocki. מדובר באדם שמוביל את המחקר באחת החברות שמפתחות את המערכות המתקדמות בעולם. כשמי שעומד בראש המאמץ מזהיר מפני הקצב שהוא עצמו מוביל, קשה לבטל את האזהרה כחשש של מבקרים מבחוץ.

המאמר לא קובע שפיצוץ אינטליגנציה בלתי נמנע, והמחברים מודים באי-ודאות רבה. אבל אם הם צודקים שהכלים שבונים את ה-AI הולכים ונעשים אוטומטיים, ייתכן שהזמן שנותר לקביעת כללים קצר ממה שנהוג לחשוב.