בייטדאנס מאמנת מודל ענק בן 10 טריליון פרמטרים בניסיון להתחרות באנתרופיק

בייטדאנס, החברה הסינית שבבעלותה אפליקציית TikTok, נמצאת בשלב מוקדם של אימון מודל בינה מלאכותית בגודל של עד 10 טריליון פרמטרים, כך דיווח Ars Technica המבוסס על דיווח מקורי של Financial Times. מדובר במודל שגודלו עשוי להתקרב לזה של Mythos 5, המודל המתקדם ביותר של אנתרופיק, המוערך בכ-8 טריליון פרמטרים לפי הערכות בתעשייה. אנתרופיק עצמה אינה חושפת רשמית את גודל המודלים שלה.

לפי שלושה אנשים המכירים את הנושא, גודל המודל של בייטדאנס יהיה גדול פי שלושה מזה של Kimi K3 של Moonshot, המודל הסיני הגדול ביותר שפורסם עד כה. המודל נמצא כעת בשלב ה-pre-training, שלב שנמשך בדרך כלל בין שלושה לשישה חודשים, ולפני שיעבור כוונון עדין ופרסום - בהנחה שהתהליך יצליח. גודלו הסופי ייקבע רק בשלב מאוחר יותר.

חשוב להבהיר: מספר הפרמטרים קובע את קיבולת הזיכרון והמידע שהמודל יכול לאחסן, אך היכולות בפועל תלויות גם באיכות הנתונים ובשיטות האימון - כך שגודל בלבד אינו מבטיח ביצועים טובים יותר.

מרוץ שמתרחב

המהלך של בייטדאנס מגיע על רקע התקדמות מואצת של מעבדות סיניות נוספות. בשבועות האחרונים הציגו מודלים של Moonshot ו-Alibaba ביצועים חזקים במבחני benchmark, ופיגרו רק אחרי Fable 5 של אנתרופיק בתחומים מסוימים. לפי גורמים בתעשייה, מספר מעבדות סיניות נמצאות כעת בתהליך אימון מודלים בגודל דומה ל-Fable 5, כאשר בייטדאנס נחשבת כיום לשאפתנית ביותר מבין הסיניות בניסיון לבנות את המודל הגדול מכולם.

יצוין כי Mythos 5 של אנתרופיק זמין כיום רק לארגונים מאושרים, לאחר איסור זמני על השימוש בו ביוני עקב חששות אבטחה.

בייטדאנס עצמה שמרה עד כה על פרופיל נמוך יחסית בתחום ה-AI, כאשר רוב המודלים שלה סגורים (closed), בניגוד למרבית עמיתותיה הסיניות שמעדיפות גישות פתוחות יותר. עם זאת, מודל ה-SeeDance שלה נחשב לאחד המתקדמים בעולם בתחום יצירת וידאו, ואילו Doubao, המודל הצרכני הראשי שלה, הוא הפופולרי ביותר בסין עם 324 מיליון משתמשים פעילים בחודש.

השקעה אגרסיבית ופיתוח עצמאי

בשלוש השנים האחרונות השקיעה בייטדאנס בבינה מלאכותית בצורה אגרסיבית יותר מכל אחת מעמיתותיה הסיניות, תוך הרחבת רשת מרכזי הנתונים שלה וגיוס חוקרים. החברה גם מעמיקה את ההשקעה בזרוע הענן שלה, Volcano Engine, המוכרת פתרונות AI לעסקים, ושואפת לפתח שבבי AI ייעודיים משלה.

צוות פיתוח המודלים של החברה, הקרוי Seed ומונה כ-2,000 חברים בסין ומחוצה לה, מנוהל בידי וו יונגחוי (Wu Yonghui), מדען לשעבר ב-Google DeepMind. לפי אחד הגורמים, הצוות נוקט גישה עצמאית יותר משך למעלה משנה - הימנעות מ