מחקר: סוכני קוד מייצרים יותר קוד, אבל לא יותר תוכנה

סוכני קוד מבוססי בינה מלאכותית אכן גורמים למפתחים לכתוב יותר קוד, אבל לא בהכרח לשחרר יותר תוכנה. זה הממצא המרכזי של מחקר חדש שעליו דיווח האתר Ars Technica. לפי המחקר, שיפור היעילות בכתיבת הקוד "נבלע" ב"צוואר הבקבוק" של הבדיקה האנושית, כלומר בשלב שבו אדם צריך לקרוא את הקוד, להבין אותו ולאשר אותו לפני שהוא נכנס למוצר.

מה זה סוכן קוד, ולמה זה משנה

בשנים האחרונות התפתחו כלי AI לתכנות מעבר להשלמה אוטומטית של שורות קוד. סוכני קוד הם מערכות שמבוססות על מודלי שפה גדולים (LLM), והן מסוגלות לבצע משימות שלמות: לכתוב פונקציות, לתקן באגים, להריץ בדיקות ולהציע שינויים רחבים בבסיס הקוד. חברות הטכנולוגיה הגדולות משווקות אותם כמנוף משמעותי לפריון של צוותי פיתוח.

המחקר מציע לבחון את ההבטחה הזאת בזהירות. שורות קוד הן תוצר ביניים, ומה שמעניין ארגון הוא תוכנה שעובדת, נבדקה ונמצאת בידי משתמשים. לפי הדיווח, הפער בין שני המדדים האלה הוא בדיוק המקום שבו הרווח מסוכני הקוד הולך לאיבוד.

צוואר הבקבוק האנושי

ברוב ארגוני התוכנה, קוד לא נכנס למוצר בלי שמפתח אחר עובר עליו בתהליך שנקרא code review. התהליך הזה נועד לאתר שגיאות, בעיות אבטחה וקוד שקשה לתחזק. המשמעות של ממצאי המחקר, ככל הנראה, היא שכאשר מכונה מייצרת קוד מהר יותר, הלחץ פשוט עובר לשלב הבא בשרשרת. הבודקים האנושיים לא נעשים מהירים יותר, ובמקרים מסוימים הם עשויים להידרש לעבודה רבה יותר, למשל כשצריך להבין קוד שאף אדם בצוות לא כתב.

זו תופעה מוכרת מעולם ניהול התפעול: האצה של שלב אחד בתהליך לא מאיצה את התהליך כולו אם השלב האיטי ביותר נשאר כמו שהיה. לפי המחקר, במקרה של סוכני הקוד השלב האיטי הוא האדם שצריך לאשר את העבודה.

למה זה חשוב

הממצא רלוונטי במיוחד לתעשיית ההייטק הישראלית, שבה ארגונים רבים בוחנים כעת כמה כלי AI יכולים להחליף או להגדיל את כוח העבודה ההנדסי. אם הרווחים נבלעים בשלב הבדיקה, ייתכן שמדדים כמו "כמות קוד שנכתבה" או "מספר שינויים שהוגשו" מציגים תמונה אופטימית מדי של התועלת.

ככל הנראה, המשמעות המעשית היא שארגונים שרוצים ליהנות מסוכני קוד יצטרכו לחשוב מחדש גם על תהליכי הבדיקה, ולא רק על שלב הכתיבה. זה יכול לכלול בדיקות אוטומטיות טובות יותר, חלוקה של שינויים ליחידות קטנות שקל יותר לבדוק, או הקצאה מחדש של זמן מהנדסים מכתיבה לסקירה. בלי שינוי כזה, ההבטחה של סוכני הקוד עלולה להישאר בגדר יותר טיוטות שממתינות לאישור, ולא יותר מוצרים מוגמרים.