גוף פיקוח בריטי שוקל לבדוק את השימוש של משרד הפנים ב-GPT-4 בטיפול בבקשות מקלט
גוף הפיקוח על הגבולות וההגירה בבריטניה שוקל לבדוק שני כלי AI שמשרד הפנים מפעיל כדי לסכם ראיונות ומידע מדיניות בבקשות מקלט. הכלים מבוססים על GPT-4 של OpenAI. חוקרים וחברי פרלמנט מעלים חשש לגבי הדיוק של הכלים, לגבי הטיה תרבותית ולגבי החשאיות סביב אופן השימוש בהם.
גוף פיקוח ממשלתי בבריטניה שוקל לפתוח בבדיקה של השימוש שעושה משרד הפנים הבריטי (Home Office) בכלי בינה מלאכותית יוצרת לטיפול בבקשות מקלט. כך דיווח המגזין WIRED. הבדיקה האפשרית עולה אחרי שחברי פרלמנט וחוקרים הטילו ספק בפומבי בדיוק של הכלים ומתחו ביקורת על החשאיות שבה הממשלה עוטפת את השימוש בהם.
מי בודק, ומה ידוע
לפי הדיווח, המפקח הראשי העצמאי על הגבולות וההגירה (ICIBI), שמפקח על ניהול הגבולות, ההגירה והמכס במשרד הפנים, פנה לארגון זכויות הדיגיטל Open Rights Group (ORG) וביקש ממנו מידע נוסף על הכלים. את הפנייה הוא עשה בזמן שהוא מגבש את רשימת הנושאים שייבדקו בשנה הבאה. כך מסרה ל-WIRED שרה אלשריף, פעילה בארגון. הממצאים של ORG הם תוצאה של תחקיר שנמשך שישה חודשים. במסגרתו הוגשו 11 שאילתות פרלמנטריות, שני מכתבים לשרים ועשר בקשות לפי חוק חופש המידע, כל זאת מול משרד שמסרב לחשוף פרטים על הכלים.
ב-ICIBI אמרו ל-WIRED שאינם יכולים לאשר אילו נושאים נבחנים לפני פרסום סדרי העדיפויות השנתיים לביקורת. עם זאת הם ציינו שהם מודעים לחששות, והפנו לממצא מהשנה שעברה, שלפיו "האפקטיביות והאמינות" של אחד הכלים "השתנו" ממקרה למקרה.
שני כלים, מודל אחד
לפי מסמכים שהשיג ORG, משרד הפנים מפעיל שני כלים: ACS (Asylum Case Summarisation), שמסכם תמלילים של ראיונות עם מבקשי מקלט, ו-APS (Asylum Policy Search), עוזר חיפוש שמאתר ומסכם מידע על המצב בארצות המוצא של המבקשים. שני הכלים בנויים על מודל השפה GPT-4 של OpenAI מ-2023 ועל פלטפורמת Microsoft Foundry של מיקרוסופט.
את הפיילוט התחילו בסוף 2024, כשממשלת הלייבור ניסתה לחסל צבר של כ-100 אלף תיקי מקלט ובמקביל לעמוד בעשרות אלפי הבקשות החדשות שמגיעות לבריטניה מדי שנה. לפי הערכות הממשלה, השימוש המשולב בשני הכלים חסך בפיילוט כשעה לכל תיק. מספר הממתינים להחלטה ראשונית אכן ירד בחצי בשנה שהסתיימה ביוני, אבל מספר הערעורים על ההחלטות זינק.
שאלת הדיוק
לפי ORG, שיעור הסיכומים של ACS שנמצאו לא כשירים לשימוש, לרוב בגלל טעויות עובדתיות או הצגה מעוותת של הדברים, גבוה במידה ניכרת משיעור השגיאה של 9% שפורסם בהערכת הפיילוט. לסיכומים של APS, לפי הארגון, אין בקרת איכות בכלל. ביולי האשים שופט בריטי את משרד הפנים בכך שהסתמך על מסמך ש"הוזה על ידי AI" כדי לדחות את בקשת המקלט של אישה ממרוקו ושל ילדה, בנימוק שהחזרה לארץ מוצאה בטוחה.
"אנחנו עוסקים בחיים של אנשים", אמרה ל-WIRED חברת הפרלמנט בל ריביירו-אדי מהלייבור. "אני פשוט לא חושבת שזה ראוי שמכונות עושות את זה". ריביירו-אדי, אלשריף וארגון Public Law Project, שחוקר את הכלים בנפרד, חוששים גם מ"הטיה תרבותית" מתועדת במודלי GPT. לדבריהם היא עלולה לגרום לפערי שפה ולאובדן ניואנסים תרבותיים בסיכומים, ובסופו של דבר להחלטות מפלות.
תגובות
דובר משרד הפנים מסר כי "החלטות מקלט מתקבלות על ידי עובדי תיקים מיומנים", וכי כלי ה-AI משמשים רק לניווט ברישומי הראיונות ובמידע המדיניות, "אינם מקבלים החלטות" ואינם מחליפים את מקבלי ההחלטות האנושיים. לדבריו, המשרד מנטר את ביצועי הכלים והתחייב לפרסם הערכות מעודכנות. דובר OpenAI הצביע על עבודה מתמשכת לשיפור הדיוק של המודלים, וציין שהחברה תוציא את GPT-4 משימוש בינואר.
למה זה חשוב
המקרה ממחיש פער מוכר בין ההבטחה של AI לייעל את עבודת הממשלה לבין הדרישה לשקיפות בהחלטות שגורליות. ה-"AI Playbook" הבריטי מחייב משרדי ממשלה לפרסם מידע על כלים אלגוריתמיים שמשמשים בקבלת החלטות. העובדה שנדרש תחקיר של חצי שנה כדי לחלץ פרטים בסיסיים מעידה, ככל הנראה, על פער בין הכלל הזה לבין האופן שבו הוא מיושם בפועל. ההודעה של OpenAI על הוצאת GPT-4 משימוש מעלה שאלה נוספת: על מה יתבססו הכלים מכאן והלאה, ואיך ייבדקו מחדש.