סטארטאפ שהקימו בכירים מ-Anthropic ו-METR גייס $40 מיליון כדי "לבטח" סוכני AI מפני התנהגות רוגה
הסטארטאפ AIUC, שהקימו עובד ותיק לשעבר ב-Anthropic ומנכ"ל תפעול לשעבר של ארגון בטיחות ה-AI METR, גייס סבב Series A בגובה 40 מיליון דולר בהובלת Ribbit Capital, ומעלה את סך הגיוס ל-55 מיליון דולר. החברה בנתה תקן בדיקה ואישור לסוכני AI בהשראת תקן אבטחת המידע SOC 2, ובין לקוחותיה Cursor, Lovable, Harvey ו-ElevenLabs.
סטארטאפ בשם AIUC (ראשי תיבות של Artificial Intelligence Underwriting Company) הודיע ביום שלישי על גיוס סבב Series A בגובה 40 מיליון דולר בהובלת Ribbit Capital ובהשתתפות First Harmonic, כך דיווח TechCrunch. הסבב מצטרף לסבב Seed קודם של 15 מיליון דולר, שכלל את קרנו של נת פרידמן (NFDG) לצד Emergence, Terrain ואחד ממייסדי Anthropic, בן מאן — ומביא את סך גיוס ההון של החברה ל-55 מיליון דולר.
את AIUC הקימו ראן קוויסט (Rune Kvist), עובד ותיק ב-Anthropic, ורג'יב דטאני (Rajiv Dattani), ששימש כמנכ"ל התפעול (COO) של ארגון מחקר בטיחות ה-AI METR בשנים 2024–2025 וממשיך לכהן בו כחבר דירקטוריון. השניים, שהם גיסים, מציגים את החברה כפתרון לבעיה שמטרידה יותר ויותר ארגונים גדולים: כיצד לסמוך על סוכני AI אוטונומיים הפועלים בתוך מערכות רגישות. "ככל ש-AI נעשה חכם יותר, קשה יותר לאמץ אותו ולשלוט בו — לא קל יותר", אמר קוויסט ל-TechCrunch.
בין לקוחות החברה מנויים Cursor, Lovable, Harvey ו-ElevenLabs. AIUC פיתחה תקן בשם AIUC-1, בהשראת תקן אבטחת המידע הנפוץ SOC 2, יחד עם קונסורציום של כ-250 אנשי אבטחה וניהול סיכונים שמייעצים לה מה חשוב לבדוק לפני רכישת סוכן AI. על סמך המשוב הזה בנתה החברה מערך של כ-5,000 בדיקות הבוחנות כיצד סוכן מתנהג בתרחישי jailbreak, הזיות (hallucinations) ודליפות מידע. תוצאות הבדיקות מרוכזות בדוח של כ-100 עמודים המפרט היכן הסוכן פועל בבטחה ואיפה יש חשש. לפי קוויסט, סוכני AI מריצים את הבדיקות עצמן וגם מנתחים חלק מהנתונים, אך בני אדם מאמתים את הדוח הסופי.
הגיוס מגיע על רקע דיווח מעניין בכתבת TechCrunch: יום לפני הריאיון עם המייסדים, חוקר ב-Anthropic בשם ג'ייקוב קוקסון התפטר בטענה שה-AI עלול "להרוג את כולנו" עד סוף העשור. גם מנכ"ל Anthropic, דריו אמודיי, קרא לאחרונה לתעשיית ה-AI להאט את קצב הפיתוח החזיתי, וזאת לנוכח עלייה במקרי התנהגות בעייתית של מודלים. באחת מהודעותיו העלה אמודיי רעיון לפיו מעבדות מובילות יידרשו להיעזר בגורמי הערכה חיצוניים המוטמעים בתהליך הפיתוח לצורך פיקוח ואימות בטיחות, וציין את METR כאחת האפשרויות. גם METR עצמה שימשה כאחד הגופים הבלתי-תלויים ש-OpenAI נעזרה בהם לחקירת תקרית שקשורה ל-Hugging Face.
AIUC אינה מציעה להטמיע את עצמה בפועל אצל הלקוחות, אך הרעיון הכללי דומה: לספק לארגונים הערכה בלתי-תלויה על מידת האמינות של סוכני ה-AI שלהם. "כאן זה עובר, כאן אפשר לסמוך עליו, וכאן יש חששות שכדאי להכיר לפני שמחליטים לרכוש", תיאר דטאני את הרעיון מאחורי הדוחות.
ככל הנראה, המשמעות המעשית של המהלך היא ניסיון לייבא לעולם ה-AI האוטונומי מודל שכבר הוכיח את עצמו בתחום אבטחת המידע הארגונית — תעודת אמון חיצונית שארגונים שמכפיפים את עצמם לרגולציה, כמו בנקים, בתי חולים וגופים ממשלתיים, יכולים להציג ללקוחותיהם לפני שהם מאשרים לסוכני AI לפעול בשמם.