פרפלקסיטי משיקה את Decider for Mac: מודל ההחלטות שלה רץ מקומית, והמידע לא יוצא מהמחשב

פרפלקסיטי הוציאה את Decider for Mac, אפליקציה שמריצה את מודל ההחלטות שלה, pplx-decider-flash-v1.2, ישירות על מחשבי Mac. לפי התיעוד הרשמי של החברה, המודל קורא את התוכן על המחשב של המשתמש, ולשימוש אין צורך במפתח API ואין חשבון לתשלום. הכלי מיועד בעיקר למפתחים ולצוותים שעובדים עם חומר שאסור לו לצאת מהמכשיר.

מה זה מודל החלטות

מודל החלטות לא כותב טקסט חופשי כמו צ'אטבוט. הוא מקבל תוכן ושאלה מוגדרת מראש ומחזיר תשובה מובנית עם הסתברויות. התיעוד מציג שלושה סוגי שאלות: כן או לא, בחירה מתוך רשימת אפשרויות, וציון לפי סולם שהמשתמש מגדיר. בדוגמה של פרפלקסיטי, המודל מקבל הודעה של לקוח, "חויבתי פעמיים על ההזמנה שלי בשבוע שעבר", ומחליט איזה צוות צריך לטפל בה: חיובים, משלוחים או תמיכה טכנית. לצד ההחלטה הוא מחזיר הסתברות לכל אפשרות ומדד ביטחון.

המודל המקומי הוא הגרסה הקטנה של המודל, בגודל 4B (כארבעה מיליארד פרמטרים). למשימות בהיקף גדול יותר החברה מפנה לשירות המתארח בענן ולמודל הגדול יותר, pplx-decider-v1.2.

למה להריץ מקומית

התיעוד מונה במפורש את סוגי התוכן שאפשר לסווג במקום: קובצי ייצוא של לקוחות, סיכומי פגישות, צילומי מסך של כלים פנימיים ולוגים שמכילים טוקנים. המודל מטפל גם בתמונות ולא רק בטקסט, כך שאפשר לשלוח אליו צילומי מסך ותמונות.

האפליקציה מפעילה שרת מקומי בכתובת http://127.0.0.1:8080/v1/decisions, והוא מקבל בדיוק את אותו מבנה בקשה כמו ה-API המתארח של פרפלקסיטי. לפי החברה, כדי לעבור לענן מספיק להחליף את הכתובת ולהוסיף כותרת הרשאה (Authorization header). המשמעות המעשית: מפתחים יכולים לבנות ולבדוק על המחשב שלהם, ולהריץ "אלפי תיוגים" בזמן שהם מכווננים שאלות וספים, בלי לשלם על כל ניסיון.

דרישות והתקנה

האפליקציה דורשת Mac עם שבב של אפל (M1 ואילך), macOS 13 ומעלה, 16GB זיכרון וכ-6GB פנויים בדיסק. בהפעלה הראשונה היא מורידה את המודל, כ-5.8GB. האייקון שלה מופיע בשורת התפריטים ולא ב-Dock. ייתכן שהאפליקציה תבקש טוקן קריאה של Hugging Face, ולהורדת האפליקציה והמודל צריך חיבור לרשת.

התיעוד ממליץ לשלוח שאלה אחת בכל בקשה, מאחר שהמודל עונה על כל שאלה בנפרד. בתיעוד יש סקריפטים לדוגמה ב-Python, למשל סקריפט שמתייג תיקייה שלמה של קובצי טקסט ושומר את התוצאות בקובץ CSV. הסקריפטים משתמשים רק בכלים שמגיעים עם macOS.

המשמעות

Decider for Mac לא מציג יכולת חדשה במודל עצמו. הוא נותן דרך חדשה להשתמש במוצר שכבר קיים. ככל הנראה המהלך מכוון לארגונים ומפתחים שוויתרו עד היום על סיווג אוטומטי כי החומר שלהם רגיש מדי לענן. המהלך מצטרף למגמה רחבה של הרצת מודלים קטנים על מחשבים אישיים. נראה שפרפלקסיטי מקווה שהשימוש המקומי והחינמי ישמש שער כניסה לשירות המתארח בתשלום, מאחר שהמעבר בין השניים כרוך בשינוי מינימלי בקוד.