OpenAI בודקת: עד כמה סוכני AI מתמודדים עם המדע של המעבדה הרטובה?
OpenAI הציגה את BioBasicsBench, מדד של 100 משימות שבוחן כמה טוב סוכני AI מפרשים נתוני ניסוי גולמיים ומתמודדים עם המדע היומיומי של המעבדה הרטובה. המהלך עשוי להסיט את תשומת הלב ממבחני ידע תיאורטי אל השאלה אם AI יכול להועיל בעבודת המחקר השוטפת.
OpenAI הציגה את BioBasicsBench, מדד (benchmark) חדש הכולל 100 משימות. המדד נועד לבחון עד כמה סוכני AI מצליחים לפרש נתוני ניסוי גולמיים ולהתמודד עם המדע היומיומי של המעבדה הרטובה.
מה זו מעבדה רטובה, ולמה קשה למדוד אותה
"מעבדה רטובה" (wet lab) היא הכינוי למעבדה שבה חוקרים עובדים עם חומרים ביולוגיים וכימיים ממשיים, כמו דגימות, תאים ותמיסות. היא נבדלת מ"מעבדה יבשה", שבה המחקר נעשה בעיקר במחשב. סוכן AI, לעומת צ'אטבוט רגיל, הוא מערכת שלא רק עונה על שאלה אלא מבצעת סדרת צעדים כדי להשלים משימה.
החיבור בין השניים אינו מובן מאליו. ידע ביולוגי מתוך ספרי לימוד ומאמרים הוא דבר אחד, ועבודה מול תוצאות של ניסוי אמיתי היא דבר אחר. נתונים גולמיים מגיעים לרוב בלי הפרשנות שמלווה אותם במאמר מוגמר: הם עשויים לכלול רעש, ערכים חריגים ותוצאות שאינן חד-משמעיות. חוקר מנוסה יודע לזהות מתי ניסוי השתבש ומה אפשר להסיק ממנו, וזו מיומנות שנרכשת בדרך כלל בעבודה מעשית.
המעבר מידע תיאורטי למלאכה היומיומית
ההתמקדות של OpenAI בנתונים גולמיים ובעבודה יומיומית מעידה, ככל הנראה, על שינוי בשאלה שהתעשייה שואלת. במקום לבדוק אם מודל יודע לענות על שאלות בביולוגיה, המדד מנסה לבדוק אם סוכן מסוגל להתמודד עם החומר שחוקרים פוגשים בפועל. גם שם המדד, שכולל את המילה Basics, מרמז שהמוקד הוא ביסודות של העבודה ולא בפריצות דרך מדעיות.
למה זה חשוב
מדדים הם הסרגל שבאמצעותו התעשייה משווה בין מודלים, ולכן הבחירה מה למדוד משפיעה לעתים קרובות גם על הכיוון שאליו מתקדם הפיתוח. המשמעות האפשרית של מדד כזה היא שמעבדות מחקר יוכלו להעריך בצורה מסודרת יותר אם סוכן AI מועיל להן בעבודה השוטפת, ולא להסתמך רק על הדגמות מרשימות.
יש כאן גם צד רגיש יותר. יכולות ביולוגיות של מודלים הן נושא מרכזי בדיון על בטיחות AI, משום שידע מעשי במעבדה עשוי לשרת גם שימושים מזיקים. מדידה מסודרת של היכולות הללו יכולה, להערכתנו, לסייע גם בהבנת הסיכונים ולא רק ביתרונות.
עם זאת, כדאי לקרוא תוצאות של כל מדד בזהירות. ציון טוב במבחן אינו מבטיח הצלחה במעבדה אמיתית, והפרשנות שלו תלויה בשאלות כמו אילו מודלים נבדקו, מול איזה קו בסיס אנושי הושוו, ועד כמה המשימות מייצגות את העבודה בשטח. ובכל מקרה, פירוש נתונים הוא רק חלק ממלאכת המחקר. התכנון, הביצוע הפיזי של הניסוי ושיקול הדעת המדעי נשארים, לפחות בשלב זה, בידי החוקרים.