אנתרופיק פרסמה ניסוי שבו מודלי קלוד תכננו חלבונים המיועדים לשמש בסיס לתרופות, תוך הרצה עצמאית של כל שרשרת התוכנות המקצועיות בתחום. שיעור ההצלחה שנמדד במעבדות חיצוניות היה גבוה משמעותית מהממוצע המדווח בתעשייה, אך החברה מדגישה שמדובר בתוצאות ראשוניות ללא ביקורת עצמאית.
חברת אנתרופיק פרסמה שני ניסויים שבהם מודלי השפה שלה, קלוד, ביצעו משימות משלב מוקדם בתהליך פיתוח תרופות. בניסוי המרכזי תכננו המודלים Mythos Preview ו-Opus 4.8 "מיניביינדרים" (minibinders) — חלבונים קטנים שנועדו להיצמד בחוזקה לחלבון מטרה ולחסום או לשנות את פעולתו. עיקרון זה עומד בבסיסן של תרופות רבות, וכאשר החלבון מתוכנן מאפס במחשב ולא מאותר בטבע, מדובר בשיטה המכונה "עיצוב דה-נובו".
לפי הדוח הטכני של החברה, תהליך כזה דורש בדרך כלל סדרת החלטות של מומחים וימים של תיאום בין תוכנות ייעודיות ומשאבי מחשוב. במקום זאת, המודלים תכננו חלבונים מול 16 חלבוני מטרה, כאשר ב-15 מהם התקבלו תוצאות מדידה שמישות. קלוד הצליח ב-14 מתוך ה-15. מתוך 1,320 עיצובים שנבדקו במעבדה, 354 אכן נקשרו למטרה שלהם — שיעור הצלחה של 26.8 אחוזים. כשבודקים רק את העיצובים שקלוד עצמו דירג ראשונים ברשימה, שיעור ההיקשרות עלה ל-49 אחוזים. כאשר מודל אחד התמקד במטרה בודדת בלבד, עם תקציב מחשוב גדול פי 2.8, שיעור ההצלחה הגיע ל-35.1 אחוזים. לצורך השוואה, אנתרופיק מציינת כי הטווח המקובל בתעשייה, לפי מסדי נתונים ציבוריים, נע בין 10 ל-15 אחוזים.
החידוש המרכזי אינו בטכנולוגיית עיצוב החלבונים עצמה — תחום שכבר התבסס עם כלים כמו AlphaFold, RFdiffusion ו-BindCraft — אלא בשכבה שמעליה. אנתרופיק לא בנתה מודל חלבונים משלה; קלוד התקין והריץ בעצמו תוכנות קוד פתוח קיימות בתחום, ביניהן PXDesign, RFdiffusion3, Genie 3, FreeBindCraft ו-BoltzGen ליצירת השלד המרחבי של החלבון, ו-SolubleMPNN לחישוב שרשרת חומצות האמינו. לסינון ודירוג המועמדים שימשו כלי חיזוי כמו ESMFold2 ו-Protenix v2. משקלי AlphaFold-3, Rosetta ו-ESM3 הוצאו מהתהליך מטעמי רישוי.
ההנחיה שקיבל הסוכן כללה כ-16,000 מילים, כאשר רק כשליש מהן עסק בהנחיה מדעית עצמה, והשאר בניהול לוחות זמנים, האצלת סמכויות לתת-סוכנים, בקרת איכות ומשמעת תקציבית. תקציב המחשוב עמד על 50,000 דולר לקמפיין רב-מטרות ו-10,000 דולר למטרה בודדת, בהרצה על שירותי הענן של Modal. בני אדם בחרו את חלבוני המטרה, כתבו את ההנחיה הראשונית, הזמינו את הסינתזה הביולוגית ופירשו את נתוני המדידה בסוף התהליך — אך לא נגעו בהחלטות עיצוב בודדות.
האימות בוצע במעבדות חיצוניות בתשלום, Adaptyv Bio ו-Twist Bioscience, שייצרו את החלבונים ומדדו באופן עצמאי את חוזק ההיקשרות (ערך KD, כאשר מספר נמוך יותר מעיד על היקשרות הדוקה יותר וחשוב לתרופה שתפעל במינון נמוך). התוצאות השתנו מאוד בין המטרות: עבור קולטן החיסון TREM2 נקשרו 72 מתוך 90 עיצובים, ועבור גורם הגדילה VEGF-A — 54 מתוך 90.
המקרה הבולט ביותר נגע לחלבון RBX1. בתחרות עיצוב פתוחה קודמת נקשרו רק 9 מתוך 245 מועמדים חדשים לחלבון זה, בעוד שקלוד הגיע ל-28 מתוך 90. אנתרופיק אף בדקה את העיצוב המנצח מהתחרות באותה מדידה ישירות מול עיצוב של קלוד: העיצוב המתחרה נקשר ב-45 ננומולר, לעומת 3.9 ננומולר בעיצוב הטוב ביותר של קלוד — היקשרות הדוקה פי עשרה בקירוב.
עבור TNFα, שליח מערכת חיסון הנחשב למטרה קשה במיוחד ומשמש בסיס לתרופות מאושרות כמו הומירה, קלוד הפיק 12 חלבונים קושרים מתוך 150 עיצובים — כולם ממודל Opus 4.8. עם זאת, אנתרופיק מציינת כי 12 העיצובים מבוססים על ארבעה שלדים בלבד, ולכן הם פחות עצמאיים זה מזה ממה שהמספר עשוי לרמז.
לא כל התוצאות היו חיוביות. מול BBF-14, חלבון מלאכותי שאינו קיים בטבע וללא היסטוריה אבולוציונית שממנה ניתן ללמוד, נמצאו רק שלושה עיצובים בעלי היקשרות חלשה. מול MBP, חלבון עם משטח חלק שקשה להיאחז בו, אף אחד מ-90 העיצובים לא נקשר. אנתרופיק מציינת כי ציוני הביטחון של כלי החיזוי לא סימנו כישלון צפוי במקרים אלה — ציון קלוד לעיצובים הכושלים היה כמעט זהה לציון שקיבלו עיצובים מוצלחים.
בניסוי נוסף, מודל Opus 5 פירש נתונים גולמיים משתי בדיקות מעבדה סטנדרטיות — ספקטרוסקופיית NMR וכרומטוגרפיה נוזלית עם ספקטרומטריית מסה (LC-MS) — שנועדו לבדוק אם חומר שיוצר במעבדה אכן זהה למבוקש ומהי רמת הטוהר שלו. קלוד סיפק תוצאות תוך 19 עד 23 דקות, ועבור קובץ ה-LC-MS אף פענח בעצמו את הפורמט הקנייני כשלא מצא תוכנת קריאה מתאימה, ושחזר במדויק את הערכים שנשמרו במכשיר עבור 2,664 נקודות מדידה.
אנתרופיק עצמה מציינת מגבלות מרכזיות: לא נערך קמפיין מקביל של מומחים אנושיים לצורך השוואה, כך שאין טענה שהעיצובים של קלוד טובים יותר ממה שמומחים היו משיגים עם אותם כלים ותקציב. בנוסף, עבור ארבע מתוך שש מטרות התחרות, תוצאות התחרות עצמן נכללו בחומרי הקריאה שקיבל קלוד מראש — עובדה שעשויה להשפיע על הפרשנות. כמו כן, מה שנמדד בפועל הוא רק יכולת ההיקשרות, ולא הצורה המרחבית המדויקת של החלבונים ולא היעילות הביולוגית שלהם בפועל. בדיקה עצמאית של הממצאים, מחוץ לאנתרופיק, טרם התפרסמה.