כל מה שחם בעולם הבינה המלאכותית · בעברית
המהדורה שלי הפודקאסט הפיד החי בית הספר ל-AI הצטרפו לערוץ הטלגרםכמה ממוצרי חומרת ה-AI הפופולריים בקרב מפתחי LLM עצמאיים - ובהם ה-Asus Ascent GX10 וה-DGX Spark של NVIDIA - התייקרו בחדות תוך זמן קצר, כאשר ה-GX10 קפץ מ-3,999 דולר ל-5,999 דולר. במקביל, משתמשי פורום r/LocalLLaMA מדווחים על כשלי חומרה בשלב מוקדם בכרטיסי NVIDIA CMP 170HX, מה שמעורר שאלות על כדאיות ההשקעה בציוד AI ביתי בעת הנוכחית.
מספר דיווחים שעלו בפורום r/LocalLLaMA ברשת Reddit מצביעים על התייקרות חדה ובו-זמנית של כמה ממוצרי חומרת ה-AI הפופולריים בקרב מפתחים וחובבנים המריצים מודלי שפה גדולים (LLM) על מחשבים ביתיים - זאת במקביל לדיווחים נפרדים על תקלות חומרה בשלב מוקדם של השימוש.
הדוגמה הבולטת ביותר היא Asus Ascent GX10, מחשב AI ייעודי שמחירו עלה מ-3,999 דולר ל-5,999 דולר - עלייה של כ-50%. לפי הפוסט, המחירים העדכניים למכשיר הם 5,999 דולר לגרסה עם 1TB אחסון, 6,999 דולר לגרסה עם 2TB, ו-7,999 דולר לגרסה עם 4TB. כותב הפוסט העריך שאין סיבה סבירה לעלייה כזו, אלא אם ל-Asus היה מידע מוקדם על כך שגם ה-DGX Spark של NVIDIA עצמה עומד להתייקר בדומה.
ואכן, בפוסט נפרד מדווחים משתמשים כי ה-DGX Spark "מצטרף" לכרטיס המסך RTX 5090 בעליית מחיר, מבלי שצוין שיעור מדויק. אחד המגיבים ציין שבדק אלטרנטיבות כמו DGX Spark ומחשבים של אפל עם שבב M5 Ultra כתחליף. גם בפוסט שלישי, משתמש בשם geekender שרוכש ציוד עבור סטודנטים כתב: "זה מטורף כמה מהר המחירים עולים... שרתים כבר לא אפשרות בכלל", ושאל אם מחשבים של אפל עם שבב M5 Ultra הפכו לאופציה המשתלמת ביותר כרגע.
דיווחים על תקלות מוקדמות
במקביל לעליות המחירים, פורסם דיווח על תקלות בכרטיסי NVIDIA CMP 170HX - כרטיסים שפותחו במקור לכריית מטבעות קריפטוגרפיים, אך נרכשים כיום גם להרצת מודלי שפה לוקאליים בשל מחירם הנמוך יחסית לכמות הזיכרון שהם מספקים. המשתמש שפרסם, cantgetthistowork, דיווח ששניים מתוך חמישה כרטיסים שרכש קרסו לחלוטין כעבור שבועיים בלבד, וכרטיס שלישי הגיע כשליבות הטנסור (tensor cores) שלו כבר פגומות. לדבריו, כרטיס אחד "נופל" מיד עם הפעלת תוכנת ההרצה vLLM, והשני מחזיר שגיאות CUDA כבר בעת ההפעלה. הוא סיכם: "המחירים הנוכחיים לא מצדיקים את הסיכון שאתם לוקחים".
המשמעות
מדובר בדיווחים ועדויות אנקדוטליות מפורום מקוון אחד, לא בנתונים רשמיים של היצרניות, ולכן קשה להעריך את היקפן המדויק של התופעות. עם זאת, ככל הנראה מדובר בשילוב שמטריד את קהילת בוני תשתיות ה-AI העצמאיות: אם עלויות החומרה למודלים לוקאליים מזנקות בעשרות אחוזים בתוך זמן קצר, ובמקביל כרטיסים חדשים מגיעים פגומים או קורסים זמן קצר לאחר הרכישה, כלכלת הפרויקט - בייחוד עבור סטודנטים, מפתחים עצמאיים ומוסדות עם תקציב מוגבל - נעשית פחות צפויה. התוצאה, לפי הדיון ברשת, היא שחלק מהמשתמשים בוחנים מחדש אלטרנטיבות כמו מחשבים של אפל עם שבב M5 Ultra, שמחירם יציב יותר יחסית לשוק הכרטיסים הייעודיים ל-AI.