FLUX 3 של Black Forest Labs: מסמנים על התמונה איפה כל אלמנט יופיע

חברת Black Forest Labs הציגה את FLUX 3 Image, הגרסה החדשה של מודל ה-image generation (יצירת תמונות מטקסט) שלה. לפי עמוד המוצר הרשמי, החידוש הבולט הוא היכולת "לפרוס את התמונה בדיוק כפי שרוצים באמצעות bounding boxes". המשמעות היא שהמשתמש משרטט מסגרות על פני הקנבס וקובע לכל אחת מה תכיל. כך הוא לא צריך לקוות שהמודל יבין לבד מהטקסט איפה למקם כל דבר.

איך זה עובד בפועל

החברה מדגימה את השיטה בעמוד המודל עם פוסטר בשם "Le Festival du Soleil". לדבריה, הפוסטר נוצר משילוב של bounding boxes ושל prompt שמתאר את הסצנה. לצד התמונה מוצגת "טבלת אלמנטים" בת חמש שורות. כל שורה כוללת מזהה, קואורדינטות של מסגרת ותיאור מילולי של מה שאמור להופיע בתוכה:

• הכותרת "LE FESTIVAL DU SOLEIL" בגופן סריף דק ואלגנטי בצבע קרם
• כיפה פרבולית ענקית וחלקה מבטון בהיר
• אורות ובניינים קטנים של עיירת חוף למרגלות הגבעות
• עשרות דמויות קטנות ומוצללות שמשכשכות במים כהים
• קהל גדול שיושב על החוף בבגדי קיץ בהירים

הטבלה כתובה בפורמט JSON, פורמט נתונים מובנה ונפוץ. הקואורדינטות נעות בין 0 ל-1,000, ולכן ככל הנראה מדובר בסקאלה מנורמלת שאינה תלויה ברזולוציה של התמונה הסופית. העמוד מציג דוגמאות נוספות שנוצרו באותה שיטה, בהן "Five frames of winter", "Knitted iceberg village" ו-"Up from the subway".

גם בלי מסגרות

מעבר לבקרת הפריסה, Black Forest Labs מתארת את FLUX 3 כמודל text-to-image עם "יכולת חזקה לעקוב אחרי ה-prompt והבנה מובנית של קומפוזיציה". בגלריית הדוגמאות יש prompts שדורשים דיוק בפרטים. אחת הדוגמאות היא דיוקן סטודיו של אישה עם ברדס מוהר בפסים בכחול חיוור, כתום וליים. אחרות הן קולאז' אופנה עם הכותרת XU ZHI ושרטוט עיפרון בסגנון exploded view (תצוגה מפורקת) בשם "The Wooden Chair", עם חלקים מתויגים על נייר בצבע קרם.

כמה מהדוגמאות דורשות טקסט כתוב בתוך התמונה: כותרות, תוויות ושם של פסטיבל. זו נקודת תורפה ידועה של מודלי תמונה. הבחירה להציג אותן מרמזת ככל הנראה שהחברה רואה בכך יכולת שהשתפרה.

למה זה חשוב

Black Forest Labs נוסדה בידי חוקרים שעבדו בעבר על Stable Diffusion, ומודלי ה-FLUX שלה נחשבים בשנים האחרונות לשחקן מרכזי בתחום יצירת התמונות. הבעיה הוותיקה של התחום היא שליטה. מודלים מפיקים תמונות מרשימות, אבל קשה לגרום להם לשים את האובייקט הנכון במקום הנכון. מעצבים ואנשי פרסום מגיעים בדרך כלל עם סקיצה ברורה בראש, ולא עם תיאור כללי.

המעבר מתיאור מילולי בלבד לפריסה מפורשת של אלמנטים, שאפשר גם להעביר כנתונים מובנים, עשוי לקרב את הכלים האלה לעבודה מקצועית, שבה מערך העמוד חשוב לא פחות מהאסתטיקה. בנוסף, פורמט JSON מאפשר ליצור פריסות כאלה גם בקוד ולא רק ידנית, וככל הנראה זה פותח פתח לשילוב המודל בתהליכי עבודה אוטומטיים.

כדאי לסייג: הכותרת שבה המודל מופץ ברשת מבטיחה "שליטה מרבית על כל פיקסל". מה שמוצג בעמוד הרשמי הוא בפועל שליטה ברמת אזורים ואלמנטים, ולא עריכה של פיקסלים בודדים. עמוד המוצר גם אינו מפרט ככל הנראה מחירים, זמינות או תוצאות מבחני השוואה מול מודלים מתחרים, לפחות בחלק שנסקר. לכן קשה בשלב זה להעריך כמה המודל מדויק בשימוש יומיומי, מעבר לדוגמאות שהחברה בחרה להציג.