מחקר: AI משפר מיד את עבודתם של עורכי פטנטים זוטרים, אבל עלול לעכב את התפתחותם המקצועית

כלי בינה מלאכותית משפרים מיד את איכות העבודה של עורכי פטנטים זוטרים, אבל ייתכן שהם לא עוזרים להם לפתח מיומנות שנשארת גם בלי הכלי. כך עולה מניסוי שדה אקראי ומבוקר שנמשך שלושה חודשים, ובו השתתפו 133 עורכי פטנטים מ-11 משרדי קניין רוחני בארצות הברית. כשהכלי נלקח מהם, רק העורכים הבכירים שמרו על היתרון שצברו.

איך נבנה הניסוי

המחקר פורסם כנייר עבודה של NBER, ארגון מחקר כלכלי אמריקאי ללא מטרות רווח, וגוגל מימנה אותו. שני שלישים מהמשתתפים קיבלו גישה ל-InFlow, עוזר AI של Google Labs שטרם שוחרר לציבור. השליש הנותר עבד בלי AI בכלל.

המשתתפים ביצעו שלוש משימות. בשתי משימות של ניסוח תביעות פטנט, רק קבוצת הניסוי יכלה להשתמש ב-InFlow. במשימה השלישית, redlining (בדיקה ביקורתית של טיוטת פטנט קיימת וסימון תיקונים), כל המשתתפים עבדו בלי AI. לפי החוקרים, משימות הניסוח מודדות ביצועים בעזרת AI, וה-redlining מודד שיקול דעת מקצועי שהעורכים הפנימו. זו גם משימה שעורכי פטנטים מבצעים בשגרה בלי שום כלי.

את כל התוצרים בדקו עורכי פטנטים ממשרד עצמאי, שלא ידעו לאיזו קבוצה שייך כל משתתף. הציונים ניתנו בחמש קטגוריות: אכיפוּת, דיוק טכני, עמימות אסטרטגית, שלמות ובהירות.

בניסוח: הזוטרים הרוויחו הכי הרבה

במשימות הניסוח, קבוצת ה-AI עקפה בבירור את קבוצת הביקורת, גם אחרי 10 ימים וגם אחרי 90 יום, ובכל חמש הקטגוריות. השיפור נבע בעיקר ממיעוט ציונים נמוכים ומריבוי ציונים בינוניים. בציונים הגבוהים כמעט לא היה שינוי.

השיפור היה גדול בהרבה אצל זוטרים, כלומר עורכים עם פחות משבע שנות ניסיון. החוקרים מציינים שהממצא מתיישב עם מחקרים קודמים, שמצאו ש-AI מצמצם פערים בין עובדים מנוסים לפחות מנוסים בכתיבה, בשירות לקוחות ובפיתוח תוכנה.

בלי הכלי: היתרון נשאר רק אצל הבכירים

ב-redlining התמונה התהפכה. קבוצת הניסוי קיבלה בממוצע ציונים טובים יותר, אבל כל היתרון הגיע מהבכירים. הזוטרים, שהרוויחו הכי הרבה בניסוח עם AI, לא הרוויחו כאן דבר.

הציונים של הזוטרים בקבוצת הניסוי גם התפזרו: היו פחות ציונים בינוניים, ובמקומם יותר ציונים נמוכים ויותר ציונים טובים. החוקרים מפרשים זאת כסימן לכך שאצל חלק מהזוטרים ה-AI האיץ את רכישת המיומנות, ואצל אחרים הוא החליף אותה. הניסוי לא מסביר למה. מכאן הם מעריכים שייתכן שנדרשת מומחיות בסיסית כדי שעבודה עם AI תהפוך ליכולת שנשארת לאורך זמן.

ניתוח טקסט משלים מציע הסבר אפשרי אחד. עורכים בכירים נטו לבנות מחדש את הטיוטה הפגומה ולבסס את השינויים על עקרונות משפטיים. זוטרים זיהו לא פעם פגמים חמורים אבל לא תיקנו אותם, והשאירו הערות שנשמעו כמו הוראות לעוזר AI. ההתנהגות הזו הופיעה גם בקבוצת הביקורת, ולכן החוקרים לא מייחסים אותה להרגל שנוצר משימוש ב-AI. לדעתם זה פער בסיסי אצל זוטרים, שה-AI לא סגר.

למה זה חשוב

החוקרים עצמם מציינים כמה מגבלות: מדגם קטן (בין השאר בגלל התעריפים הגבוהים של עורכי פטנטים בכירים), משרדים שאינם מייצגים את עולם השירותים המקצועיים כולו, היעדר מדידה של רמת המיומנות לפני הניסוי, ותקופה של שלושה חודשים, שהיא קצרה לעומת השנים שנדרשות לבניית מומחיות בפטנטים.

ובכל זאת, הם טוענים שהמתח בין שיפור מיידי לבין בניית מיומנות יישאר רלוונטי כל עוד עבודה מקצועית דורשת שיקול דעת בלי AI, וככל הנראה זה יימשך עוד זמן רב. גם אם AI יתמוך יום אחד ב-redlining, סביר שהוא לא יהיה זמין בזמן אמת בפגישות עם לקוחות או באולם בית המשפט, שם הסיכון גבוה וההחלטות מתקבלות במקום.

המשמעות למשרדים, ככל הנראה, היא שהשאלה איננה רק אם לתת לעובדים צעירים כלי AI. השאלה היא איך לוודא שהם לומדים את המקצוע גם כשהכלי עושה חלק מהעבודה בשבילם.