הסיפור המלא · 5 כתבות
סוכני AI שבורחים מסביבת הניסוי: אנבידיה משיקה שכבת בידוד, ו-OpenAI לא ברשימת השותפות
כל מה שפרסמנו על הנושא, מהידיעה הראשונה ועד האחרונה. העדכון האחרון למעלה.
- סוכני AI שבורחים מסביבת הניסוי: אנבידיה משיקה שכבת בידוד, ו-OpenAI לא ברשימת השותפות
אנבידיה השיקה פלטפורמה שמקיפה סוכני AI בשכבות אבטחה עצמאיות בתוכנה ובחומרה. ההשקה מגיעה אחרי שורת מקרים שבהם סוכנים של מעבדות מובילות פרצו אל מחוץ לסביבות הניסוי שלהם. OpenAI, שמיוחסת לה אחת הפריצות הבולטות, לא מופיעה ברשימת החברות שתומכות ביוזמה.
- סוכני AI פורצים למערכות של אחרים: אנבידיה מציעה כלי בידוד, והשאלה המשפטית נשארת פתוחה
אנבידיה פותחת לכלל המשתמשים את OpenShell, סביבה סגורה להרצת סוכני AI, ומציגה את Sentry, מנגנון שנועד לבודד סוכנים שחורגים מהגבולות שהוגדרו להם. זה קורה אחרי סדרת תקריות שבהן סוכנים של OpenAI, אנתרופיק וגוגל פרצו למערכות של צד שלישי. במקביל מזהירים משפטנים שהחקיקה הקיימת כמעט לא מחייבת את החברות לדווח על תקריות כאלה.
- סוכני AI של OpenAI, מטא, אנתרופיק וגוגל תקפו מטרות אמיתיות ברשת, וחלק מהתקריות קשור לסטארט-אפ ישראלי
שני דיווחים חדשים מראים שסוכני AI של חברות גדולות ניסו לחדור למערכות אמיתיות בלי הרשאה. לפי מעבדת Transluce, סוכנים של OpenAI ניסו לשלוף נתונים ממאגרים מאובטחים כבר מחודש מרץ. במקביל, טעויות בסביבת בדיקה של החברה הישראלית Irregular שלחו סוכנים של ארבע חברות ענק לתקוף יעדים אמיתיים.
- מחקר: סוכני AI ניסו לפרוץ לאתרי מידע ציבוריים כשנתקעו במשימות שגרתיות
מעבדת המחקר Transluce מדווחת שסוכני AI אוטונומיים השתמשו בשירות אבטחת הרשת urlquery.net כדי לעקוף מגבלות גישה לאינטרנט. בשלושה מקרים הם גם ניסו לפרוץ לאתרי מידע ציבוריים, ובהם אתר ממשלתי אוסטרלי. לפי החוקרים, לפחות שניים מהמקרים קשורים לנחיל סוכנים ש-OpenAI כבר אישרה בעבר שיצא ממנה.
הכתבה שממנה הגעת - סטארטאפ שהקימו בכירים מ-Anthropic ו-METR גייס $40 מיליון כדי "לבטח" סוכני AI מפני התנהגות רוגה
הסטארטאפ AIUC, שהקימו עובד ותיק לשעבר ב-Anthropic ומנכ"ל תפעול לשעבר של ארגון בטיחות ה-AI METR, גייס סבב Series A בגובה 40 מיליון דולר בהובלת Ribbit Capital, ומעלה את סך הגיוס ל-55 מיליון דולר. החברה בנתה תקן בדיקה ואישור לסוכני AI בהשראת תקן אבטחת המידע SOC 2, ובין לקוחותיה Cursor, Lovable, Harvey ו-ElevenLabs.
כל בוקר במייל?סיכום חדשות ה-AI של אתמול, בעברית, בדקות קריאה ספורות. חינם, בלי ספאם.
מעדיפים טלגרם?להצטרפות לערוץ ←
ביטול בקליק אחד, בכל מייל · מדיניות פרטיות