כשסוכני AI פותרים את כל תרגילי הבית בקורס: מרצה למדעי המחשב העביר את הבדיקה לשיחות, מבחנים והדגמות וידאו

כריסטיאן קסטנר, מרצה שמלמד בשנים האחרונות קורס מתקדם בשם Machine Learning in Production, שינה את רוב דרכי ההערכה בקורס. הסיבה: סוכני AI מסוגלים היום לפתור את כל המטלות בו. בפוסט שפרסם ב-23 בספטמבר הוא מסכם את השיטה במשפט אחד: לא לבדוק יותר הבנה דרך שום דבר שנעשה בבית. במקום זה ההערכה נשענת על שיחות עם מתרגלים (TA), על מבחנים ועל הדגמת וידאו.

חמש שנים של אזהרה מוקדמת

קסטנר מספר שכבר בסביבות 2021, לפני ההשקה של ChatGPT, עמיתו וינסנט הלנדורן הציע לו לבדוק את GPT-3 על בחני הקריאה בקורס. המודל כתב תשובות משכנעות שעמדו במחוון הבדיקה, בלי שבכלל ראה את המאמר שהסטודנטים היו אמורים לקרוא. באותו זמן קסטנר לא שינה דבר. חמש שנים אחר כך, הוא כותב, סוכני AI כבר פותרים את כל המטלות, ורוב שיטות ההערכה בקורס עוצבו מחדש.

הקורס עוסק בבניית תוכנה מוכנה לסביבת ייצור סביב מודלים של למידת מכונה, עם דגש על MLOps (הכלים והתהליכים להפעלה ולתחזוקה של מודלים לאורך זמן). בדרך כלל לומדים בו 100 עד 170 סטודנטים. לדברי קסטנר, מטרות הלמידה כמעט לא השתנו, כי הן לא עוסקות בכתיבת קוד או בכלי מסוים. הן עוסקות בשקילת פשרות הנדסיות, בזיהוי סיכונים ובעבודת צוות. הוא מעריך שבקורס מבוא, או בקורס הנדסת תוכנה מסורתי, השינוי במטרות הלמידה היה גדול בהרבה.

הסטודנטים רשאים להשתמש ב-AI בכל שלב ובכל צורה, בלי לציין זאת, חוץ מבמבחנים בכתב ובעל פה. בהרבה מקרים הקורס אפילו מעודד את השימוש. קסטנר כותב שהוא לא חושב שאפשר לאכוף איסור על AI, ושבכל מקרה הסטודנטים צריכים ללמוד להשתמש בטכנולוגיה באחריות.

מחיר פדגוגי

החלק המעניין בפוסט הוא ההודאה של קסטנר: לדבריו, AI מחליש כמה שיטות הוראה מבוססות-מחקר. המחקר מעדיף הערכות תכופות ב"סיכון נמוך", כלומר שיעורי בית ובחנים קצרים עם משוב, על פני מעט מבחנים שמשקלם גבוה. אבל כשאפשר להעביר תרגול לבית ל-AI, המערכת נדחפת חזרה למבחנים.

גם רשת הביטחון שהוא נתן לסטודנטים, אפשרות להגיש מחדש מספר מוגבל של מטלות ולהחזיר נקודות שהפסידו, נוצלה לרעה. לפי תיאורו, חלק מהסטודנטים הגישו פתרון שנוצר ב-AI בלי לחשוב עליו, ורק אחרי הבדיקה התייחסו להערות לקראת הגשה חוזרת. בתגובה, הגשה חוזרת גוררת עכשיו קנס של 10%. הוא ראה גם קבוצות סטודנטים שהעבירו למודל את שאלות הדיון בכיתה. הגשות בעט ונייר היו יכולות לפתור את זה, אבל לדבריו הן היו מגדילות את עומס הבדיקה, מעלות את הלחץ על הסטודנטים ומעכבות את המשוב.

למרות זאת, קסטנר כותב שהוא נוטה לשמור על אינטראקציות חוזרות בסיכון נמוך, גם במחיר ניצול לרעה. חלק מהסטודנטים יעברו את הקורס בלי למידה עמוקה, אבל לדבריו הסביבה הזו טובה יותר למי שרוצה ללמוד. הוא לא רוצה לחזור למודל שהכיר מלימודיו בגרמניה: שיעורי בית שרובם רשות, ומבחן אחד בסוף הסמסטר שקבע 100% מהציון. לדבריו, השיטה הזו התאימה לסטודנטים עם מוטיבציה עצמית, אבל שיעורי הכישלון והנשירה בה הגיעו ל-50 עד 80 אחוז.

מרפלקציה כתובה לשיחה של רבע שעה

בפועל, קסטנר ויתר על כל חלקי המטלות שדרשו תשובה כתובה. הוא עדיין מבקש דוחות שמתארים את הפתרון ומקשרים לקטעי הקוד הרלוונטיים, אבל רק כדי לנווט בעבודה, ודוח כזה יכול להיכתב ב-AI מבחינתו. לעומת זאת, מסמכי רפלקציה ("מה היה מאתגר?", "איך הייתם משפרים את עבודת הצוות?") ושאלות ניתוח בבחני הקריאה איבדו לדבריו את הטעם. במקומם באות שיחות של 15 דקות.

למה זה חשוב

השאלה איך בודקים הבנה כשמודל שפה פותר כל מטלה כתובה עולה כמעט בכל מוסד להשכלה גבוהה. הניסיון של קסטנר מראה שהתשובה כנראה לא תהיה רק טכנולוגית, כמו כלים לזיהוי טקסט שנוצר ב-AI. היא תחייב גם בחירות פדגוגיות, ולפעמים ויתור מודע על שיטות שהמחקר ממליץ עליהן. ייתכן שהלקח העיקרי הוא ההבחנה שהוא עושה: קורס שמלמד שיקול דעת הנדסי יכול להתאים את עצמו יחסית בקלות, בעוד שקורסי מבוא, שמלמדים בדיוק את המיומנויות ש-AI מבצע היטב, יצטרכו כנראה לשנות גם את מה שהם מלמדים.