אמזון מוסיפה ל-SageMaker AI חמישה כלים להכנת נתוני אימון, כולל תיוג בידי חבר מודלים
אמזון הרחיבה את SageMaker AI בחמש יכולות להכנת נתונים לאימון ולהערכת מודלים: תיוג אוטומטי, בדיקה אנושית, יצירת נתונים סינתטיים, בדיקת איכות והמרת פורמטים. הכלים מופעלים מקוד דרך Python SDK או דרך סוכן קוד, והם מכוונים לשלב שלדברי אמזון גוזל לא פעם ממדעני נתונים שבועות. מחירים לא פורסמו בהודעה.
אמזון הוסיפה ל-SageMaker AI, פלטפורמת פיתוח המודלים של AWS, חמש יכולות חדשות להכנת datasets לאימון ולהערכת מודלים: תיוג אוטומטי, בדיקה אנושית, יצירת נתונים סינתטיים, בדיקת איכות והמרת נתונים. כך עולה מההודעה בבלוג של AWS. כל היכולות מופעלות מקוד, דרך Python SDK, ואפשר להשתמש בכל אחת בנפרד או לשרשר אותן לתהליך אחד.
הנימוק של אמזון: הכנת הנתונים היא לרוב החלק האיטי ביותר בפרויקט. דוגמאות מתויגות נדירות או יקרות, כללי פרטיות מגבילים את מה שמותר להשתמש בו, ובעיות איכות כמו כפילויות, תיוגים שגויים ו"דליפת תשובות" מתגלות רק אחרי שריצת אימון מאכזבת. לדברי החברה, מדעני נתונים מבלים שבועות בסידור נתונים במקום בבניית מודלים.
מה כוללות היכולות
תיוג אוטומטי. המשתמש מתאר את המשימה במפרט קצר, והמפרט נבדק מול דוגמאות שלו לפני שכל ה-dataset מתויג. אפשר להתחיל מנתונים לא מתויגים, מסט קטן של דוגמאות מתויגות או בלי תיוגים בכלל. סוגי המשימות המובנים הם סיווג, זיהוי ישויות (named entity recognition), מענה על שאלות מתוך טקסט, דירוג בסולם וסיכום, ואפשר להגדיר משימות מותאמות. במשימות שיש להן מספר סגור של תשובות אפשריות, כמו סיווג, כמה מודלים מתייגים כל שורה כ"חבר מושבעים", ומידת ההסכמה ביניהם הופכת לציון הביטחון של אותה שורה.
בדיקה אנושית. שורות שציון הביטחון שלהן נמוך מהסף שקבע המשתמש עוברות לתור בדיקה ב-SageMaker Studio, שמבוסס על Label Studio Community Edition, כלי open source לתיוג. גם מומחי תוכן מחוץ לארגון יכולים להיכנס לאפליקציית הבדיקה דרך קישור. התיקונים של הבודקים חוזרים למנגנון התיוג האוטומטי, ואפשר להפיק מדדי הסכמה ודוחות תיוג.
נתונים סינתטיים. השירות מייצר נתוני אימון, הערכה ובדיקה לפי מפרט, ואפשר לעגן אותם בנתונים ובמסמכים של הארגון. התוצר אינו רק הנתונים: השירות מייצר pipeline בקוד, שאפשר לקרוא, לשנות, להפעיל שוב ולהרחיב.
בדיקת איכות. בודקים את ה-dataset מול כללים עסקיים של הארגון, מדדים מובנים ומדדים שבהם LLM משמש שופט. הכלי מאתר כפילויות וכפילויות-כמעט, ומציף גם בעיות שהמשתמש לא חשב לבדוק.
המרת נתונים. ניקוי ועיצוב מחדש של הנתונים לפורמט שדורשת שיטת האימון. אפשר לתאר את השינוי בשפה טבעית ולקבל קוד, להשתמש בפעולות מובנות כמו הסרת כפילויות, מיזוג, פיצול וסינון, או להריץ קוד Python משלכם בהיקף גדול.
גם דרך סוכן קוד
מי שלא רוצה לכתוב את הקריאות בעצמו יכול לתת לסוכן הקוד שלו את ה-AI-ML skill של AWS, לתאר מה הוא צריך, והסוכן יבחר ויפעיל את היכולת המתאימה. זה עובד ב-JupyterLab של SageMaker Studio, ב-Kiro או בסביבת פיתוח מקומית עם עוזר קוד כלשהו.
הלקוח שמצוטט בהודעה הוא Splunk, חברה בבעלות סיסקו, שהשתמשה ביצירת הנתונים הסינתטיים כדי לאמן מודלי הערכה למוצר Agent Observability שלה. יאש שת', מנהל הנדסה ב-Splunk, אמר כי הצוות הצליח "לייצר datasets סינתטיים מייצגים סטטיסטית, באופן אמין ומהיר, תוך שמירה על הדפוסים שהמודלים שלנו תלויים בהם".
ההודעה משתלבת בטענה שאמזון מציגה בפתח הדברים: במשימות צרות ומוגדרות היטב, מודל קטן שהותאם על נתונים נקיים וממוקדים יכול לעיתים קרובות להשתוות בדיוק למודל כללי גדול או לעלות עליו, בעלות נמוכה יותר לכל הרצה. המשמעות היא ככל הנראה שאמזון מנסה להקל על ארגונים לבחור במסלול הזה, שמתבצע כולו על התשתית שלה.
כל בוקר במייל?סיכום חדשות ה-AI של אתמול, בעברית, בדקות קריאה ספורות. חינם, בלי ספאם.
מעדיפים טלגרם?להצטרפות לערוץ ←
ביטול בקליק אחד, בכל מייל · מדיניות פרטיות