מאמר חדש: מודלי שפה מתקשים לחצות את קו הידע הקיים וליצור השערות מדעיות פורצות דרך

מאמר מחקר חדש, המיוחס לחוקרים מ-DeepMind ומופיע בפלטפורמה האקדמית OpenReview, מעלה טענה מרכזית: מודלי שפה גדולים (LLMs) אינם מסוגלים לייצר השערות הסבריות חדשניות באמת. הכותרת שניתנה למאמר בפוסט שהופץ ברשת - "LLMs can't jump" - מרמזת על הרעיון המרכזי: המודלים מתקשים לבצע את הקפיצה המושגית הנדרשת כדי לחרוג מעבר לידע הקיים כבר בנתוני האימון שלהם וליצור רעיונות שלא היו קיימים קודם.

המאמר עלה לדיון בקהילת r/LocalLLaMA ברשת רדיט, שם משתמשים העוסקים בטכנולוגיית בינה מלאכותית דנים לעיתים קרובות במחקרים אקדמיים חדשים בתחום. עצם הפרסום בפלטפורמת OpenReview - המשמשת לרוב להגשת מאמרים לכנסים אקדמיים בתחום למידת מכונה - מלמד כי ככל הנראה המאמר נמצא בשלבי בחינה על ידי הקהילה המדעית, ופרטים נוספים על המתודולוגיה והממצאים המדויקים טרם התבררו במלואם.

השאלה שבבסיס המחקר נוגעת בוויכוח מתמשך בתחום הבינה המלאכותית: האם מודלי שפה, שמאומנים לחזות את המילה הבאה על סמך כמויות עצומות של טקסט קיים, מסוגלים בעיקרון לחצות את גבולות הידע שעליו הם הוכשרו - או שהם מוגבלים במהותם לשילוב ורקומבינציה של רעיונות קיימים, מבלי ליצור פריצות דרך מושגיות אמיתיות. זו שאלה שמלווה את השיח האקדמי סביב LLMs מאז עלייתם לבמה המרכזית בתעשיית הטכנולוגיה, בעיקר בהקשר לשימוש הפוטנציאלי שלהם כעוזרים למחקר מדעי.

המשמעות המעשית של טענה כזו, ככל שתאושר ותתקבל בקהילה המדעית, עשויה להיות משמעותית: חברות טכנולוגיה רבות, כולל DeepMind עצמה, משקיעות משאבים ניכרים בפיתוח כלי בינה מלאכותית שמיועדים לסייע למדענים בתהליכי מחקר, מהאצת גילוי תרופות ועד ניסוח תיאוריות פיזיקליות. אם אכן קיימת מגבלה עקרונית ביכולתם של LLMs לייצר השערות חדשניות אמיתיות ולא רק לשלב מידע קיים, הדבר עשוי להשפיע על הציפיות מכלים אלה בתפקיד של 'שותפים יצירתיים' במחקר המדעי, ולא רק ככלי עזר לניתוח וסיכום מידע קיים.

יש לציין כי בשלב זה מדובר במאמר יחיד, שככל הנראה טרם עבר ביקורת עמיתים מלאה, וטרם התפרסמו פרטים מלאים על שיטות המחקר, היקף הניסויים שנערכו או האופן המדויק שבו הוגדרה ונמדדה 'חדשנות' השערתית במחקר. ההערכות לגבי המשמעות הרחבה יותר של הממצאים יתבררו ביתר דיוק ככל שהמאמר יעבור בחינה מדעית נוספת ויתפרסם במלואו.