OpenAI מנסה לשפר את ChatGPT בשפות תכנות נדירות, כולל הערכות חדשות ל-SQLite ול-COBOL

OpenAI פרסמה עבודה חדשה על שיפור היכולות של ChatGPT בשפות תכנות "דלות משאבים" (low-resource programming languages). אלה שפות שיש עליהן מעט קוד ותיעוד ציבורי, ולכן גם מעט חומר לאמן עליו מודלים. לפי החברה, העבודה כוללת הערכות חדשות (evaluations), כלומר מבחנים שבודקים כמה טוב המודל מבצע משימה מסוימת, בשלושה תחומים: הנדסת תוכנה, SQLite ומיגרציה של קוד COBOL.

למה שפות "דלות משאבים" הן בעיה

מודלי שפה גדולים (LLM) לומדים לתכנת בעיקר מכמויות עצומות של קוד שזמין ברשת. בשפות נפוצות כמו Python או JavaScript יש מיליוני דוגמאות, שאלות ותשובות בפורומים ומאגרי open source (קוד פתוח). בשפות ותיקות או נישתיות יש הרבה פחות חומר כזה. התוצאה, ככל הנראה, היא פער ביכולות: מודל שכותב קוד סביר בשפה פופולרית יכול להתקשות יותר בשפה שכמעט לא ראה בזמן האימון.

הבחירה ב-COBOL מעניינת במיוחד. זו שפה מסוף שנות ה-50, ועליה עדיין רצות מערכות ליבה בבנקים, בחברות ביטוח ובגופים ממשלתיים. ארגונים רבים מחפשים כבר שנים דרך להעביר את המערכות האלה לטכנולוגיות חדשות, אבל זה תהליך יקר ומסוכן, וגם מתכנתי COBOL הולכים ומתמעטים. הערכה שמודדת דווקא מיגרציה, ולא רק כתיבת קוד חדש, מרמזת ש-OpenAI מכוונת לשוק הארגוני ולבעיה שיש לה ערך כלכלי ממשי.

SQLite, מסד נתונים קטן שמוטמע בתוך אפליקציות, דפדפנים ומכשירים, הוא דוגמה מסוג אחר. הוא נפוץ מאוד, אבל העבודה איתו דורשת היכרות עם הדקויות של המימוש הספציפי שלו. נראה שזה המבחן: האם המודל באמת מבין מערכת מסוימת לעומק, או רק מחקה דפוסים כלליים.

מה חסר בתמונה

כדאי לקרוא את הפרסום בזהירות. זה פוסט של OpenAI על המוצר שלה, והוא מציג בעיקר את השיפורים שהחברה עצמה מדווחת עליהם. ההערכות חדשות ופותחו בידי החברה, ועדיין לא ברור כמה הן משקפות עבודה אמיתית בארגון, למשל מיגרציה של מערכת COBOL ישנה עם עשרות שנות קוד, תלויות לא מתועדות וכללים עסקיים שהוטמעו בה לאורך השנים. עד שגורמים חיצוניים יבדקו את התוצאות או ישחזרו אותן, אלה טענות של היצרן ולא ממצאים מאומתים.

למה זה חשוב

אם השיפורים יחזיקו מעמד גם מחוץ למבחנים של החברה, המשמעות עשויה להיות משמעותית דווקא בפינות הפחות זוהרות של עולם התוכנה: מערכות ותיקות שעדיין מחזיקות חלקים חשובים מהכלכלה, ושמעט אנשים יודעים לתחזק. עבור ארגונים, כולל בנקים וגופים ציבוריים בישראל שעדיין מפעילים מערכות ליבה ותיקות, כלי שמסייע במיגרציה יכול לקצר תהליכים ארוכים ויקרים. עם זאת, ההחלטה אם להפקיד בידי מודל העברה של מערכת קריטית תלויה בראיות מהשטח, ולא רק בהערכות שמפרסמת החברה שמוכרת את הכלי.