אנתרופיק מזהירה במסמכי ההנפקה: ה-AI עלול להתקדם מהר יותר ממנגנוני הבטיחות
בעדכון למסמך ה-S-1/A שהגישה לרשות ניירות הערך האמריקנית לקראת ההנפקה, אנתרופיק מודה שבעבר לא זיהתה בזמן אמת האצה משמעותית בקצב הפיתוח שלה. החברה מזהירה שהשימוש הגובר ב-Claude במחקר ובפיתוח עלול לגרום ליכולות המודלים להתקדם מהר יותר מאמצעי הבטיחות.
אנתרופיק, החברה שמפתחת את Claude, מודה במסמך רשמי שלא תמיד הבחינה בזמן אמת בהאצה בקצב הפיתוח של עצמה. ההודאה מופיעה בפרק גורמי הסיכון בעדכון למסמך S-1/A. את המסמך הגישה החברה ביום שני לרשות ניירות הערך האמריקנית (SEC), במסגרת ההכנות להנפקה המתוכננת שלה, כך דווח ב-Ynet. בנוסף, החברה מזהירה שהשימוש הגובר ב-AI לפיתוח מודלים חדשים עלול להוביל לקפיצה חדה ביכולות, ושמנגנוני הבטיחות לא יספיקו להדביק את הקצב.
מה כתוב במסמך
"השימוש ההולך וגובר שלנו במערכות בינה מלאכותית כדי להאיץ את המחקר והפיתוח שלנו עלול לגרום לכך שיכולות המודלים שלנו יתקדמו מהר יותר מהיכולת שלנו לפתח, לאמת וליישם אמצעי בטיחות, התאמה ואבטחה", נכתב במסמך, לפי התרגום של Ynet.
בהמשך החברה כותבת: "לא הצלחנו בעבר לזהות האצה משמעותית בקצב הפיתוח שלנו בזמן התרחשותה, וייתכן שגם בעתיד לא נזהה האצה כזו אלא רק לאחר שכבר התרחשה". אנתרופיק לא מפרטת מתי זה קרה. היא גם לא טוענת שכל האצה כזו נגרמה בהכרח על ידי AI. לפי המסמך, ככל שהמודלים יהיו מעורבים יותר במחקר, יהיה קשה יותר לצפות מראש את קצב השיפור שלהם.
לפי ההערכות הפנימיות של החברה, ייתכן שמודלים עתידיים שלה יגיעו בקרוב מאוד לרף שהיא קבעה במדיניות הפיתוח האחראי שלה (Responsible Scaling Policy). מדובר ברף של "התקדמות מואצת באופן דרמטי המיוחסת לבינה מלאכותית". החברה מדגישה שאף אחד מהמודלים הנוכחיים שלה לא הוגדר עדיין כמי שחצה את הרף הזה, ושהיא ממשיכה לבחון את הנתונים.
Claude כבר עוזר לבנות את הדור הבא שלו
המסמך מתאר כיצד Claude כבר משתתף בעבודת הפיתוח של אנתרופיק: הוא משתתף בניסויים, יוצר ומעבד נתוני אימון, משתתף בבדיקות בטיחות וכותב וסוקר קוד. לדברי החברה, כל דור חדש של Claude עוזר להאיץ את פיתוח הדור שאחריו.
מאחורי האזהרה עומד רעיון שנקרא "שיפור עצמי רקורסיבי" (Recursive Self-Improvement, או RSI). הכוונה היא למערכות AI שמשתתפות בפיתוח של עצמן, כך שכל דור עוזר ליצור דור מתקדם יותר. התומכים רואים בזה דרך להאיץ מחקר מדעי ופיתוח תרופות. המבקרים חוששים ממערכת שמשתפרת כל כך מהר שבני אדם כבר לא יכולים להבין אותה, לחזות מה היא תדע לעשות או לוודא שהיא פועלת לפי המטרות שהוגדרו לה.
כפי שמציינת Ynet, אין כיום הגדרה מוסכמת ל-RSI. אין גם הסכמה איך קובעים שמערכת הגיעה לשלב הזה. יש הבדל גדול בין מודל שעוזר לחוקרים לכתוב קוד ולתכנן ניסויים לבין מערכת שמפתחת מודלים חדשים לבד, בלי מעורבות אנושית. אנתרופיק לא טוענת שהגיעה לשלב השני. מהמסמך עולה שהשלב הראשון כבר הפך לחלק מרכזי בעבודה שלה.
למה זה חשוב
רוב תשומת הלב סביב מסמכי ההנפקה הופנתה עד כה לנתונים הפיננסיים, שמראים צמיחה בהכנסות לצד הוצאות גבוהות מאוד. פרק גורמי הסיכון הוא בדרך כלל החלק המשפטי והיבש של מסמכים כאלה. הפעם הוא כולל הודאה של חברה שהיא לא תמיד מבינה בזמן אמת עד כמה מהר היא עצמה מתקדמת.
ייתכן שחלק מהניסוח נובע מהחובה המשפטית לחשוף למשקיעים כל סיכון אפשרי. גם כך, לטענה הזו יש משקל כשהיא מופיעה במסמך רשמי לרגולטור ולא בבלוג או בראיון. הבעיה שאנתרופיק מתארת אינה רק השאלה אם המודלים ישתפרו מהר מדי. היא נוגעת גם לשאלה אם מי שבונה אותם יבחין בזה מספיק מוקדם. כך או כך, הסוגיה כבר לא נשארת רק בדיונים של חוקרי בטיחות: היא חלק מהמידע שמשקיעים יקבלו לפני שיחליטו אם לקנות מניות של אנתרופיק.