Trillium Labs: מעבדת AI חדשה מתכוונת לפרסם בגלוי גם מחקר בתחומים רגישים

שני חוקרים מהתעשייה, נתן למברט וטום זיק, השיקו את Trillium Labs, ארגון ללא כוונת רווח שיחקור בינה מלאכותית בשקיפות רבה יותר. המחקר יכלול גם תחומים שנחשבים בעייתיים, כמו שיפור עצמי רקורסיבי (RSI) ו-agents. לפי WIRED, בפועל המשמעות היא פרסום פרטי הניסויים, כך שמדענים מבחוץ יוכלו לבחון ולשחזר אותם.

שתי גישות לסיכון

הגישה של Trillium הפוכה לזו של חלק מהחברות הגדולות. שם ההנחה היא שאם רק מעטים יקבלו גישה למודלים, הם יגרמו פחות נזק בעולם האמיתי בזמן שהחוקרים לומדים מה הם מסוגלים לעשות. המודלים החזקים ביותר, למשל של OpenAI ושל אנתרופיק, זמינים רק דרך אפליקציה או API. לרוב זה בא על חשבון שקיפות לגבי האופן שבו המודל נבנה ואיך הוא מתנהג.

"במשך אלפי השנים האחרונות האנושות החזיקה בארגז הכלים שלה את השיטה המדעית, כדרך לצמצם נזקים ולבנות עתיד טוב יותר", אמר למברט ל-WIRED. "המסלול הסגור הנוכחי של פיתוח AI בחזית מחזיר אותנו צעד אחורה". לדבריו, הסודיות של מעבדות הפרונטיר פוגעת ביכולת של הקהילה לבחון רעיונות ולתרום גישות חדשות.

הוויכוח מתחדד ככל שהמודלים מתחזקים. כיום הם מסוגלים לגלות באופן אוטומטי חולשות תוכנה חדשות ולפרוץ למערכות, וגלי פריצה שזכו לתהודה הגבירו את הפיקוח. התומכים בגישה מוגבלת טוענים שיש לשמור את הכוח הזה בידי מעטים ומהימנים. המחנה של למברט וזיק טוען שהבנה משותפת של הסיכונים טובה לכולם.

הם לא לבד. חברות אחרות, בעיקר בסין, מציעות מודלים חזקים יחסית שאפשר להוריד ולהריץ על חומרה פרטית. שיאומי, למשל, פרסמה לאחרונה בזמן אמת פרטים על הרצת אימון גדולה של אחד המודלים שלה, ובסטנפורד מאמנים את המודל Marin בגלוי.

מי עומד מאחורי המעבדה

למברט עבד בעבר ב-Ai2, מעבדת מחקר שמפרסמת לצד המודלים גם את הנתונים ושיטות האימון, ולפני כן ב-Hugging Face. הוא מפעיל בלוג טכני פופולרי ויזם את American Truly Open Models, יוזמה שמעודדת חברות אמריקאיות לשחרר יותר מודלים פתוחים. זיק עבדה באוניברסיטת הרווארד וסייעה ל-Charles Schwab לגבש מדיניות של "AI אחראי". השניים הכירו בזום בתקופת הקורונה, כששניהם היו סטודנטים לתארים מתקדמים ב-UC Berkeley.

הרעיון נולד מהפער שנפתח בין המחקר בתעשייה לבין האקדמיה. לדברי למברט, פרופסורים וסטודנטים לרוב לא מצליחים לשחזר את העבודה שנעשית במעבדות של החברות הגדולות, כי אין להם את המשאבים הדרושים.

על מה יעבדו

לדברי זיק, בשלב הראשון המעבדה תתמקד ב-post-training, כלומר כוונון מודלים גדולים אחרי שנבנו. תחום מרכזי נוסף יהיה RSI, תהליך שבו AI תורם בעצמו למחקר שמוביל למודלים חדשים. האפשרות שההתקדמות הזו תימשך ללא הגבלה ותוביל לאובדן שליטה אנושית מדאיגה חוקרים רבים. הנושא עלה לכותרות מוקדם יותר החודש, כשחוקר עזב את אנתרופיק והזהיר ש-RSI עלול להוות איום קיומי על האנושות.

המעבדה תחקור גם reinforcement learning, למידה בחיזוקים שמתגמלת את המודל על תוצאות טובות ומענישה אותו על תוצאות רעות. השיטה הפכה את ה-agents ליכולים הרבה יותר, אבל גם לנוטים יותר לפעולות לא צפויות. החוקרים יבדקו איך היא מעצבת את האופי וההתנהגות של מודלים, למשל כשמודל נעשה חנפני מדי. "כדי להבין משהו כמו האופן שבו reinforcement learning מתרחב ב-post-training, צריך כוח מחשוב משמעותי והרבה ניסויים זהירים", אמרה זיק.

הכסף

המעבדה גייסה סכום שלא נחשף מ-Schmidt Sciences, מ-Halcyon Futures וממשקיעים נוספים. המייסדים מתכוונים לגייס בסך הכול 40 עד 100 מיליון דולר, ולהוציא 30 מיליון דולר על אימון במהלך 18 החודשים הקרובים. טים פיסט, מנהל מדיניות טכנולוגיות מתפתחות במכון המחקר Institute for Progress, אמר ל-WIRED: "אני תומך נלהב בהרבה יותר שקיפות ממה שיש לנו היום במחקר ופיתוח".

למה זה חשוב

הסכומים קטנים בהרבה מאלה שמושקעים במעבדות הפרונטיר, ולכן Trillium כנראה לא תתחרה בהן ביכולות. הערך שלה עשוי להיות במקום אחר: היא תיתן לקהילת המחקר הפתוחה נתונים ושיטות בנושאים שעד היום נחקרו בעיקר מאחורי דלתות סגורות. אם המודל יצליח, ייתכן שהוא יחזק את הטענה שאפשר לחקור סיכונים של AI בגלוי בלי להגדיל אותם, ויגביר את הלחץ על המעבדות הגדולות לפתוח יותר מהעבודה שלהן.