מבחן AI משלכם: 10 משימות מהעבודה שיגידו לכם על איזה כלי באמת לשלם
במקום לבחור מודל לפי כותרות ובאזז, בונים סט קטן של 10 משימות אמיתיות מהעבודה, מריצים אותן על GPT-6, Claude, Gemini ומודל מקומי, נותנים ציונים בלי לדעת מי כתב מה, ויוצאים עם טבלה שאומרת איזה כלי מקבל כל משימה ואיזה מנוי מיותר.
כל כמה שבועות יוצא מודל חדש, ואיתו גל של צילומי מסך, טבלאות מבחנים ופוסטים שמכריזים “זה משנה הכול”. ואז אתם נשארים עם אותה שאלה: האם הוא יכתוב טוב יותר את הצעות המחיר שלכם? יסכם טוב יותר את הפגישות שלכם? יבין את האקסל המבולגן שלכם?
המדריך הזה מיועד לעצמאים, למנהלים ולצוותים קטנים שמשלמים היום על מנוי AI אחד או יותר, או שוקלים להתחיל, ורוצים לבסס את ההחלטה על נתונים. התהליך כולו לוקח בערך חצי יום עבודה. בסופו יהיו לכם:
- סט של 10 משימות אמיתיות מהעבודה, עם מחוון ציון ברור.
- ציונים עיוורים לכל כלי בכל משימה.
- טבלת החלטה: איזה כלי מקבל איזו משימה, על איזה מנוי משלמים ועל איזה מוותרים.
- “מבחן קבוע” שתריצו מחדש בכל פעם שיוצא מודל חדש, ותדעו תוך שעה אם הוא שווה מעבר.
למה זה משתלם? כי ההבדלים בין המודלים המובילים כבר לא נמצאים במבחנים הכלליים. הם נמצאים בפרטים: עברית טבעית, הקפדה על פורמט, עבודה עם קבצים ארוכים, והיכולת לא להמציא. ואת הפרטים האלה רק העבודה שלכם יכולה לבדוק.
למה המבחנים הציבוריים לא עונים על השאלה שלכם
טבלאות הדירוג שמתפרסמות עם כל השקה בודקות דברים כמו מתמטיקה תחרותית, פתרון בעיות קוד או ידע כללי באנגלית. זה מידע לגיטימי, אבל יש בו שלוש בעיות מבחינתכם:
- שפה. רוב המבחנים באנגלית. מודל שמוביל באנגלית יכול לכתוב בעברית מליצית ומתורגמת, או להתבלבל בזכר ונקבה.
- סוג המשימה. כנראה שאתם לא פותרים אולימפיאדות במתמטיקה. אתם כותבים מיילים ללקוחות, מסכמים חוזים, בונים טבלאות ומנסחים פוסטים. מודל שמצטיין בחשיבה מופשטת לא בהכרח מצטיין בטון של מייל דחייה מנומס.
- ההקשר שלכם. המונחים בתחום שלכם, הסגנון של העסק, המבנה של המסמכים, ומה בדיוק נחשב אצלכם “תשובה טובה”. אף מבחן ציבורי לא יודע את זה.
לכן הגישה כאן הפוכה: לא שואלים איזה מודל הכי טוב, אלא איזה מודל הכי טוב במשימה הספציפית הזו שלי. ובדרך כלל מגלים שהתשובה שונה ממשימה למשימה.
שלב 1: בוחרים 10 משימות אמיתיות, לא משימות “מגניבות”
הטעות הראשונה מגיעה כבר כאן: אנשים בוחרים משימות מרשימות (“תכתוב לי שיר על העסק”) במקום את המשימות שהם באמת עושים כל שבוע. הכלל הוא כזה: משימה נכנסת לסט רק אם עשיתם אותה בפועל בחודש האחרון, ותעשו אותה שוב בחודש הבא.
איך מוצאים אותן
פתחו את תיבת הדואר היוצא, את היסטוריית הצ’אטים עם ה-AI ואת התיקייה של המסמכים האחרונים. רשמו כל דבר שחזר על עצמו. אחר כך פזרו את 10 המשימות על הקטגוריות האלה, כדי שהמבחן יכסה סוגי עבודה שונים:
| קטגוריה | כמה משימות | דוגמה |
|---|---|---|
| כתיבה בעברית מול לקוח | 2 | תשובה ללקוח שמתלונן על איחור באספקה |
| סיכום ושליפה ממסמך ארוך | 2 | סיכום פרוטוקול ישיבה של 6 עמודים לחמש נקודות פעולה |
| עבודה עם נתונים | 1–2 | ניתוח קובץ מכירות רבעוני ומציאת שלוש מגמות |
| עבודה בפורמט נוקשה | 1 | המרת רשימת מוצרים לטבלה עם עמודות קבועות |
| חשיבה והחלטה | 1–2 | השוואה בין שתי הצעות של ספקים והמלצה מנומקת |
| משימה “מלכודת” | 1 | שאלה שהתשובה הנכונה עליה היא “אין לי מספיק מידע” |
| משימה רגישה או פרטית | 1 | משהו שהייתם מעדיפים שלא ייצא מהמחשב, וזה המבחן של המודל המקומי |
המשימה ה“מלכודת” היא הכי חשובה
הכניסו לפחות משימה אחת שבודקת אם המודל ממציא. למשל: תנו לו מסמך שאין בו את המידע המבוקש, ובקשו ממנו לשלוף אותו. מודל שעונה בביטחון מלא על משהו שלא כתוב במסמך יעשה את זה גם בעבודה האמיתית, ושם זה עולה ביוקר.
כותבים כל משימה ככרטיס
לכל משימה כתבו כרטיס קבוע. כך תריצו בדיוק את אותו דבר על כל הכלים:
משימה 4: סיכום פרוטוקול ישיבת הנהלה
קלט: קובץ protocol-march.docx (מצורף, 6 עמודים)
הפרומפט המדויק: [מופיע למטה]
מה נחשב הצלחה: 5 נקודות פעולה, לכל אחת אחראי ותאריך יעד, בלי נקודות שלא נאמרו בישיבה
משקל המשימה: גבוה (אני עושה את זה כל שבוע)
רגישות: בינונית (שמות עובדים, בלי מידע פיננסי)
הפרומפט עצמו צריך להיות הפרומפט שהייתם כותבים בפועל, לא גרסה מלוטשת במיוחד. אם אתם בודקים איך הכלי מתמודד עם החיים האמיתיים, תנו לו את החיים האמיתיים. דוגמה:
קראו את הפרוטוקול המצורף מישיבת ההנהלה. הוציאו ממנו רק את נקודות הפעולה שהוחלטו בפועל, לא רעיונות שעלו ונדחו. לכל נקודה כתבו: מה צריך לעשות, מי אחראי, ועד מתי. אם לא נקבע אחראי או תאריך, כתבו “לא נקבע” ואל תנחשו. פורמט: טבלה עם שלוש עמודות, בעברית.
טיפ שלא מופיע בהרבה מקומות: הסירו פרטים מזהים מהקבצים לפני שאתם מתחילים, והחליפו שמות אמיתיים בשמות בדויים באופן עקבי (“יוסי” הופך ל“עובד א’” בכל המסמכים). כך תוכלו להריץ את אותו קלט על כל הכלים, כולל אלה שבענן, בלי לחשוף מידע.
שלב 2: כותבים “תשובת זהב” ומחוון ציון לפני שמריצים
זה השלב שרוב האנשים מדלגים עליו, והוא זה שהופך את התרגיל ממשחק למבחן. אם תחליטו מה נחשב תשובה טובה רק אחרי שראיתם את התשובות, תתאהבו בתשובה הראשונה שנראית מרשימה.
לכל משימה כתבו:
- תשובת זהב. איך הייתם אתם עונים, או לפחות רשימה של מה שחייב להופיע.
- מחוון של 4 קריטריונים, כל אחד מ-0 עד 5.
מחוון בסיסי שמתאים לרוב משימות העבודה:
| קריטריון | מה בודקים | 0 | 5 |
|---|---|---|---|
| נכונות | האם העובדות נכונות ונאמנות לקלט | המציא או טעה בעובדה מהותית | הכול נכון ומבוסס על הקלט |
| שלמות | האם כל מה שביקשתם נמצא שם | פספס חצי מהדרישות | כל הדרישות מכוסות |
| שימושיות | כמה עריכה צריך לפני שליחה | צריך לכתוב מחדש | אפשר לשלוח כמו שזה |
| עברית וטון | טבעיות, דקדוק, התאמה לקהל | מתורגם, שגיאות מגדר | נשמע כמו בן אדם מהתחום |
אפשר להיעזר ב-AI כדי לנסח את המחוון, אבל ההחלטה הסופית היא שלכם:
אני בונה מבחן פנימי להשוואת כלי AI. המשימה: [תיאור המשימה].
הקלט: [תיאור קצר של הקלט].
עזרו לי לנסח מחוון ציון עם 4 קריטריונים, כל אחד מ-0 עד 5.
לכל קריטריון כתבו מה נחשב 0, מה נחשב 3 ומה נחשב 5, בצורה שאדם אחר יוכל לתת אותו ציון בלי להתייעץ איתי.
אל תכתבו את התשובה למשימה עצמה.
שימו לב לשורה האחרונה. אם המודל שעוזר לכם לבנות את המחוון גם פותר את המשימה, נוצרת הטיה לטובת הסגנון שלו.
קווים אדומים
לכל משימה הגדירו גם “פסילה”: תנאי שאם הוא מתקיים, הציון הוא אפס, לא משנה כמה התשובה יפה. למשל: המציא סכום כספי, ציטט סעיף שלא קיים בחוזה, או פנה ללקוח בלשון זכר כשכתוב במפורש שזו לקוחה. בעבודה אמיתית טעות אחת כזו שווה יותר מעשר תשובות מנוסחות היטב.
שלב 3: מריצים בתנאים הוגנים
עכשיו מריצים כל משימה על ארבעת הכלים: GPT-6 (דרך ChatGPT), Claude, Gemini ומודל מקומי. כמה כללים ששומרים על הוגנות ההשוואה:
שיחה חדשה לכל משימה
פתחו שיחה חדשה בכל כלי לכל משימה. אם יש לכם זיכרון, הוראות מותאמות אישית או “פרויקט” עם הקשר שמור, החליטו מראש: או שכולם מקבלים את אותו הקשר, או שאף אחד לא מקבל. עדיף לכבות את ההתאמות לטובת המבחן, ואחר כך להריץ סבב שני עם ההגדרות שאתם באמת עובדים איתן.
אותו פרומפט, מילה במילה
העתיקו מהכרטיס, אל תכתבו מחדש. אם בכלי אחד ניסחתם טוב יותר, אתם כבר לא בודקים את הכלי אלא את עצמכם.
מריצים כל משימה פעמיים
מודלים לא נותנים אותה תשובה בכל פעם. הריצו כל משימה פעמיים בכל כלי, ותנו ציון לשתי הריצות. כלי שמקבל פעם 5 ופעם 2 שונה מאוד מכלי שמקבל 4 בשתיהן. בעבודה יומיומית, עקביות שווה הרבה.
בוחרים מצב עבודה אחד
לחלק מהכלים יש מצבים שונים: מהיר, מעמיק, חשיבה מורחבת וכדומה. החליטו מראש באיזה מצב אתם בודקים, ותעדו אותו. ההוגן ביותר הוא לבדוק את המצב שבאמת תשתמשו בו ביומיום. אם אתם תמיד בוחרים את המהיר, בדקו את המהיר.
המודל המקומי: ציפיות נכונות
מודל מקומי רץ על המחשב שלכם, למשל דרך תוכנות כמו Ollama או LM Studio, והיתרון הגדול שלו הוא שהמידע לא יוצא מהמחשב. כמה דברים חשוב לדעת:
- הגודל קובע. מה שמחשב נייד רגיל מריץ בנוחות הוא בדרך כלל מודל קטן משמעותית מהמודלים בענן. אל תצפו לאותה איכות בכל משימה.
- עברית היא נקודת תורפה נפוצה. במודלים קטנים העברית לעיתים קרובות חלשה יותר. זה בדיוק מה שהמבחן אמור לגלות. אולי המודל המקומי לא מתאים לכתיבה ללקוחות, אבל מצוין בחילוץ נתונים מטבלה.
- רשמו גם זמן תגובה. במחשב חלש תשובה ארוכה יכולה לקחת דקות. זה חלק מהציון המעשי.
מתעדים הכול בגיליון אחד
בנו גיליון עם העמודות: מספר משימה, כלי, ריצה (1 או 2), התשובה המלאה, זמן תגובה, והערות. את הציונים עוד לא ממלאים. זה השלב הבא.
שלב 4: ציון עיוור — הדרך היחידה לנצח את ההטיה
אם אתם יודעים שתשובה מסוימת הגיעה מהכלי שאתם אוהבים, תיתנו לה ציון גבוה יותר. כולנו עושים את זה. הפתרון: ציון עיוור.
איך עושים את זה בפועל
- העתיקו את כל התשובות למשימה מסוימת למסמך נפרד.
- החליפו את שמות הכלים באותיות: תשובה א’, ב’, ג’, ד’. שמרו את המפתח בצד.
- ערבבו את הסדר בין המשימות, כדי שתשובה א’ לא תהיה תמיד אותו כלי.
- הסירו סימנים מסגירים: משפטי פתיחה אופייניים כמו “שאלה מצוינת!”, סגנון כותרות מסוים או חתימות. אחרי כמה משימות תתחילו לזהות סגנונות, ולכן ההסרה חשובה.
- רק עכשיו תנו ציון לפי המחוון.
אם אפשר, תנו לעמית לתת ציון לחלק מהתשובות בלי לדעת מה המפתח. אם הציונים שלכם ושלו רחוקים מאוד, המחוון לא מספיק ברור. חדדו אותו ותנו ציון מחדש.
שימוש במודל כ“שופט” עזר
אפשר להיעזר במודל כדי לתת ציון ראשוני, במיוחד בקריטריונים כמו שלמות ונכונות מול הקלט. חשוב: השופט מקבל תשובות אנונימיות, ועדיף שלא יהיה אחד מהמודלים המתחרים באותה משימה. אם אין ברירה, השתמשו בו רק כחוות דעת שנייה.
אתם שופטים במבחן פנימי. לפניכם משימה, קלט, מחוון ציון וארבע תשובות אנונימיות (א'–ד').
המשימה: [הדביקו]
הקלט: [הדביקו]
המחוון: [הדביקו]
קווים אדומים שגוררים ציון 0: [הדביקו]
לכל תשובה:
1. תנו ציון 0–5 לכל קריטריון, עם משפט נימוק אחד.
2. ציינו במפורש כל טענה בתשובה שלא מופיעה בקלט.
3. בדקו אם נחצה אחד מהקווים האדומים.
אל תדרגו לפי אורך או לפי כמה התשובה נשמעת בטוחה בעצמה. תשובה קצרה ונכונה עדיפה על ארוכה עם טעות אחת.
השורה האחרונה חשובה: מודלים שופטים נוטים להעדיף תשובות ארוכות ומפורטות. אתם צריכים לתקן את ההטיה הזו במפורש.
ובכל מקרה, אתם השופטים הסופיים. במיוחד בקריטריון “עברית וטון”, שבו אוזן של דובר עברית שווה יותר מכל מחוון.
שלב 5: מחליטים — מי מקבל איזו משימה, ועל מה משלמים
עכשיו כשכל הציונים בגיליון, אפשר לחשוף את המפתח ולבנות את טבלת ההחלטה.
חישוב ציון משוקלל
לכל משימה קבעתם משקל (גבוה, בינוני, נמוך). תרגמו אותו למספר, למשל 3, 2 ו-1. הציון של כל כלי במשימה הוא ממוצע שתי הריצות, ואם הייתה פסילה באחת מהן, סמנו אותה באדום גם אם הממוצע נראה סביר.
טבלת התוצאות שלכם תיראה בערך כך (הדוגמה להמחשה בלבד):
| משימה | משקל | GPT-6 | Claude | Gemini | מקומי | מנצח |
|---|---|---|---|---|---|---|
| 1. מייל ללקוח כועס | 3 | 16 | 18 | 15 | 9 | Claude |
| 4. סיכום פרוטוקול | 3 | 17 | 17 | 16 | 12 | תיקו |
| 6. ניתוח קובץ מכירות | 2 | 18 | 15 | 17 | 8 | GPT-6 |
| 9. משימת מלכודת | 2 | 0 ❌ | 19 | 18 | 14 | Claude |
| 10. משימה פרטית | 1 | — | — | — | 13 | מקומי |
שלוש שאלות לפני שמחליטים
1. איפה הפערים באמת גדולים? הבדל של נקודה אחת מתוך 20 הוא רעש. הבדל של חמש נקודות הוא החלטה. אם בשבע מתוך עשר משימות כל הכלים בטווח של שתי נקודות, המסקנה החשובה היא שלא צריך יותר ממנוי אחד.
2. מה עולה כל טעות? פסילה במשימת המלכודת חמורה יותר מציון נמוך בטון. כלי שהמציא פעם אחת במשימה שבה המצאה מסוכנת לא מקבל את המשימה הזו, גם אם הממוצע הכללי שלו גבוה.
3. מה המחיר האמיתי? בדקו את המחירים העדכניים של כל תוכנית, כי הם משתנים לעיתים קרובות. אל תשכחו גם עלות נסתרת: הזמן שלכם. כלי שחוסך לכם עשר דקות עריכה בכל מייל שווה יותר ממנוי זול שדורש לכתוב מחדש.
בונים “מפת ניתוב”
התוצר הסופי הוא מסמך קצר שאומר לכם, ואם יש צוות גם לו, לאן הולכת כל משימה:
מפת ניתוב — עדכון אחרון: אוקטובר 2026
כתיבה ללקוחות ותוכן בעברית → Claude
ניתוח קבצי נתונים וטבלאות → GPT-6
עבודה מול מסמכים ב-Google Drive → Gemini
כל דבר עם מידע אישי של לקוחות או עובדים → מודל מקומי
סיכומי ישיבות → כל אחד מהשלושה, לפי מה שפתוח
מנוי בתשלום: [הכלי שניצח הכי הרבה משימות בעלות משקל גבוה]
גרסה חינמית מספיקה ל: [הכלים שמנצחים רק במשימות נדירות]
ביטול: [מנוי שלא ניצח באף משימה בעלת משקל]
ברוב המקרים המסקנה היא מנוי אחד בתשלום לכלי שמנצח במשימות הכבדות, ושימוש בגרסאות החינמיות של האחרים למשימות המעטות שבהן הם עדיפים. שני מנויים בתשלום מוצדקים רק אם כל אחד מהם מנצח בפער ברור במשימות בעלות משקל גבוה.
למדריך רחב יותר על ההבדלים בין הכלים, ראו את השוואת כלי ה-AI ל-2026. אם אחת המשימות שלכם היא ניתוח נתונים, המדריך לניתוח נתונים עם AI יעזור לכם לנסח אותה טוב יותר.
הופכים את המבחן לנכס קבוע
שמרו את כל הכרטיסים, הקלטים, תשובות הזהב והמחוונים בתיקייה אחת. כשיוצא מודל חדש והבאזז מתחיל, אתם לא צריכים לקרוא אף פוסט. מריצים את 10 המשימות, נותנים ציון עיוור, ותוך שעה-שעתיים יודעים אם זה שווה מעבר. פעם ברבעון כדאי להחליף משימה או שתיים שכבר לא רלוונטיות במשימות חדשות.
טעויות נפוצות
לבדוק משימות שאתם לא עושים. “תכתוב לי סיפור” או “תסביר לי פיזיקה קוונטית” נחמדים, אבל לא יגידו לכם כלום על העבודה שלכם. כל משימה צריכה לעבור את מבחן ה“עשיתי את זה בחודש האחרון”.
לכתוב את המחוון אחרי שקוראים את התשובות. ככה המחוון מתאים את עצמו לתשובה שאהבתם. כתבו אותו קודם, ונעלו אותו.
לתת ציון בלי עיוורון. “אני אהיה אובייקטיבי” לא עובד. החליפו שמות באותיות, גם אם זה מרגיש מיותר.
להריץ כל משימה פעם אחת. ריצה בודדת יכולה להיות מזל או חוסר מזל. שתי ריצות הן המינימום.
לשפץ את הפרומפט באמצע. אם גיליתם שהפרומפט לא ברור, תקנו אותו והריצו מחדש על כל הכלים, לא רק על זה שנכשל.
להתרשם מאורך. תשובה של שני עמודים נראית יסודית. לפעמים היא סתם ארוכה. השאלה היא כמה עריכה צריך כדי להשתמש בה.
להשוות גרסה בתשלום לגרסה חינמית. אם בכלי אחד אתם משתמשים במודל המתקדם ובאחר בגרסה החינמית, אתם משווים בין תוכניות, לא בין כלים. השוו בין רמות מקבילות, או השוו ביודעין בין “מה שאני מקבל ב-X שקלים” ל“מה שאני מקבל בחינם”.
להעלות מידע רגיש לענן “רק בשביל המבחן”. מבחן הוא לא תירוץ. הסירו פרטים מזהים לפני ההרצה, והשאירו את המשימה הרגישה באמת רק למודל המקומי.
להחליט על סמך ממוצע כללי בלבד. כלי עם ממוצע הכי גבוה יכול להיות זה שהמציא במשימה הכי מסוכנת. הסתכלו על הפסילות בנפרד.
לא לתעד את הגרסה והתאריך. המודלים מתעדכנים בלי הודעה מוקדמת. בלי תיעוד של התאריך והמצב שבו בדקתם, לא תוכלו להשוות לסבב הבא.
סיכום וצ’קליסט התחלה
הרעיון פשוט: במקום לשאול איזה מודל הכי טוב, שואלים איזה מודל הכי טוב במשימות שלי, ועונים עם מספרים. עשר משימות, ארבעה כלים, שתי ריצות, ציון עיוור, ומפת ניתוב ברורה. התוצאה היא לא רק החלטה טובה יותר על מנויים. אתם גם לומדים לנסח משימות ולהגדיר מה נחשב הצלחה, וזה משפר את כל העבודה שלכם עם AI.
צ’קליסט התחלה
- עברתי על המיילים, המסמכים והצ’אטים מהחודש האחרון ורשמתי משימות חוזרות
- בחרתי 10 משימות לפי פיזור הקטגוריות, כולל משימת מלכודת אחת ומשימה רגישה אחת
- כתבתי לכל משימה כרטיס: קלט, פרומפט מדויק, הגדרת הצלחה, משקל ורגישות
- הסרתי פרטים מזהים מכל הקבצים והחלפתי שמות בשמות בדויים באופן עקבי
- כתבתי תשובת זהב, מחוון של 4 קריטריונים וקווים אדומים, לפני ההרצה
- התקנתי מודל מקומי (למשל דרך Ollama או LM Studio) ובדקתי שהוא רץ
- החלטתי מראש על מצב העבודה ועל הגדרות הזיכרון וההתאמה בכל כלי
- הרצתי כל משימה פעמיים בכל כלי, בשיחה חדשה, ותיעדתי בגיליון כולל זמן תגובה
- הפכתי את התשובות לאנונימיות, ערבבתי ונתתי ציון עיוור
- חישבתי ציון משוקלל וסימנתי פסילות בנפרד
- בדקתי מחירים עדכניים ובניתי מפת ניתוב
- החלטתי על איזה מנוי משלמים, באיזו גרסה חינמית מסתפקים, ומה מבטלים
- שמרתי את כל המבחן בתיקייה וקבעתי תזכורת להריץ אותו מחדש ברבעון הבא או כשיוצא מודל חדש
אחרי הסבב הראשון כבר לא תצטרכו לנחש. בפעם הבאה שמישהו יכריז על “המודל שמשנה הכול”, תוכלו לבדוק את זה בעצמכם על העבודה שלכם, תוך שעה.