מהנדס שעובד באופן עצמאי הנדס לאחור את פורמט הרגיסטרים של יחידת ה-NPU בשבב RK3588 הסיני, ובנה קומפיילר וסביבת ריצה בקוד פתוח שמאפשרים להריץ עליו מודלים ישירות מ-PyTorch, ONNX ו-JAX, בלי להזדקק ל-SDK הקנייני של היצרן. בפוסט שפרסם ב-Reddit הוא מדגים הרצת GPT-2 במהירות של 36 טוקנים בשנייה על החומרה הזו.
מהנדס שעובד על הפרויקט באופן עצמאי פרסם בפורום r/LocalLLaMA עדכון על מיזם שהחל בו לפני כשנה: פיצוח יחידת ה-NPU (Neural Processing Unit, מעבד ייעודי להרצת רשתות נוירונים) בשבב RK3588 של חברת השבבים הסינית Rockchip.
בפוסט הקודם שלו, לפני שנה, הוא תיאר איך הצליח לגרום ליחידת ה-NPU להריץ מקודד ראייה (vision encoder) בודד, לאחר הנדסה לאחורית של אופן ניהול הזיכרון בשבב. בעדכון הנוכחי הוא מדווח שהרחיב את הפרויקט משמעותית: הוא הנדס לאחור את פורמט הרגיסטרים המלא של יחידת ה-NPU, ובנה עליו קומפיילר וסביבת ריצה (runtime) בקוד פתוח.
לדבריו, התוצאה היא שמודלים כמו GPT-2 ו-SigLIP (מודל לעיבוד תמונה וטקסט במשולב) יכולים לרוץ כעת על השבב ישירות מהספריות הנפוצות בעולם למידת המכונה — PyTorch, ONNX ו-JAX — בלי תלות ב-SDK הקנייני שמספקת Rockchip. בפוסט הוא מציג הרצה של GPT-2 במהירות של 36 טוקנים בשנייה על החומרה.
יצרני שבבים רבים, כולל Rockchip, מספקים כלי פיתוח (SDK) סגורים וקנייניים להפעלת יחידות ה-NPU שבשבבים שלהם. מצב כזה מגביל מפתחים לכלים ולפורמטים שהיצרן בחר לתמוך בהם, ולעיתים קרובות דורש מהם לבצע התאמות ידניות מייגעות כדי להריץ מודל שפותח בסביבה סטנדרטית.
קומפיילר בקוד פתוח, שאינו תלוי בכלי היצרן, פותח את האפשרות למפתחים להריץ מגוון רחב יותר של מודלים על החומרה הזולה הזו, ולתחזק ולשפר את התמיכה בעצמם באופן קהילתי. ככל הנראה, המשמעות המעשית עבור מפתחים היא גמישות רבה יותר בבחירת מודלים וכלים עבור התקנים מבוססי RK3588 — שבב שמוטמע במגוון לוחות פיתוח והתקני קצה זולים יחסית.
הפרויקט, שתועד בפוסט מפורט בבלוג של המהנדס ושותף גם בפוסט ב-Reddit, הוא דוגמה לעבודת הנדסה-לאחור עצמאית שמכוונת ליצור תשתית פתוחה סביב חומרת AI סגורה, מסוג העבודה שמאפשרת לקהילת הקוד הפתוח להרחיב שימוש בחומרה שהיצרן המקורי לא בהכרח תכנן לתמיכה רחבה כזו.