אנתרופיק: Claude הפיק הוכחות מתמטיות לנכונות של קוד ב-123 ספריות קוד פתוח, ומצא מאות באגים בדרך
צוות של אנתרופיק, יחד עם החברה Theorem, הפעיל את Claude כדי להוכיח מתמטית שקוד קיים עובד כמו שצריך. בתוך כמה שבועות המודל כתב כ-180 מיליון שורות של קוד הוכחה עבור 123 ספריות קוד פתוח, ותוך כדי כך מצא מאות באגים שבדיקות רגילות לא תפסו. אנתרופיק רוצה שאימות פורמלי בעזרת AI יהפוך לשגרה, כמו בדיקות תוכנה רגילות. עם זאת, ההוכחות תקפות רק בתנאים מוגדרים ומצומצמים.
אנתרופיק השתמשה ב-Claude כדי להוכיח מתמטית שקוד תוכנה קיים עושה את מה שהוא אמור לעשות. לפי הדיווח ב-The Decoder, צוות ה-Frontier Red Team של החברה עבד עם השותפה Theorem, ו-Claude כתב בתוך כמה שבועות כ-180 מיליון שורות של קוד הוכחה עבור 123 ספריות קוד פתוח. תוך כדי העבודה נתקל המודל במאות באגים שבדיקות רגילות החמיצו. היעד של אנתרופיק הוא שאימות פורמלי בעזרת AI יהיה שגרתי כמו בדיקות תוכנה רגילות.
למה הוכחה ולא בדיקה
בדיקות תוכנה רגילות מריצות את הקוד על מספר מסוים של תרחישים ובודקות שהתוצאה תקינה. אימות פורמלי (formal verification) שואף ליותר: הוכחה מתמטית שהקוד מתנהג נכון בכל מצב שנמצא בתוך הגדרות מסוימות. עד היום השיטה הייתה יקרה מאוד. לפי הכתבה, צוות של מומחים השקיע 20 שנות אדם רק כדי לאמת את seL4, ליבת מערכת הפעלה קטנה. לכן השיטה נשמרה למקרים קיצוניים, כמו תוכנות האוויוניקה של איירבוס.
איך זה עבד
Claude לא כתב בפרויקט הזה קוד חדש. הוא אימת קוד קיים. נקודת המוצא הייתה תוכניות הבדיקה של 123 ספריות שמשתתפות ב-OSS-Fuzz, פרויקט האבטחה של גוגל. המודל תרגם את בדיקות הקריסה לבעיות מתמטיות, ניתח את קוד המכונה המהודר (compiled), כלומר הקוד שהמעבד מריץ בפועל, וכתב את ההוכחות. תוכנה נפרדת בשם Rocq בודקת אוטומטית אם ההוכחות תקינות. לפי אנתרופיק, התהליך כמעט לא דורש בודקים אנושיים. החוקרים מתארים אותו כהפקת הוכחות "אוטונומית לחלוטין", אבל הכלים והיסודות הפורמליים נבנו בידי אנשים ב-Theorem.
באגים שנים של בדיקות לא מצאו
כשהמודל נתקל בבאג במהלך ההוכחה, הוא הורשה לתקן אותו בעצמו. לדברי החוקרים, רבים מהבאגים האלה היו כנראה חומקים מבדיקות רגילות, כי הם מופיעים רק בתנאים מאוד ספציפיים, למשל קובץ קלט גדול במיוחד או רצף מסוים של פעולות. בניסיון לאמת קורא PDF נפוץ מצא הצוות בשבוע אחד מספר באגי אבטחה שדומה למספר שמדווח בדרך כלל על התוכנה הזו בשנה שלמה. בתוכנה אחרת Claude זיהה שגיאה לוגית שלא התגלתה יותר מעשור. לפי אנתרופיק, גם כשהוכחה מלאה נכשלת, הניסיון עצמו עדיין חושף באגים אמיתיים.
המגבלות
אנתרופיק עצמה מודה ש"מאומת פורמלית" לא אומר "נקי משגיאות". ההוכחות תקפות רק בתנאים מחמירים: ארכיטקטורת מעבד מסוימת, תוכניות שרצות ב-thread יחיד (בלי עיבוד מקבילי) וקלטים שקטנים מ-64MB. בעולם האמיתי הספריות האלה רצות על חומרה אחרת ובתצורות אחרות. גם עלות המחשוב גבוהה: הוכחות בודדות צרכו מאות מיליוני טוקנים. אנתרופיק לא פרסמה את העלות הכוללת של הפרויקט.
בניסוי קטן יותר נמצא שאפשר לעשות שימוש חוזר בהוכחות, ושהמודלים החדשים יעילים יותר: Opus 5.5 פותר מחצית מההוכחות עם כ-40% פחות טוקנים מ-Opus 5.
המשמעות
ככל הנראה, החשיבות כאן גדולה יותר מהבאגים שנמצאו. אחת השאלות הפתוחות לגבי קוד שנכתב בידי AI היא כמה אפשר לסמוך עליו. אם מודל יכול גם להוכיח שהקוד נכון, לפחות בתנאים מוגדרים, מפתחים יוכלו להשקיע פחות זמן בבדיקה ידנית שלו. לפי הערכת The Decoder, השאלה משתנה מ"האם AI יודע לתכנת?" ל"האם AI יכול להוכיח שהקוד שכתב בטוח?".
אנתרופיק צופה שאימות פורמלי בעזרת AI יהיה בקרוב מעשי כמו בדיקות רגילות. מפת הדרכים של Theorem כבר מכוונת לתשתיות קריטיות כמו glibc, OpenSSL ו-cURL. אלה רכיבים שעליהם נשענת חלק גדול מהתוכנה בעולם. אם המגבלות הנוכחיות, בעיקר העלות והתנאים הצרים, יצטמצמו, המשמעות יכולה להיות שינוי בדרך שבה נבדקת תוכנה קריטית.