במשך השנה האחרונה ראינו מספר מחוללי תמונות בולטים שיצאו לשימוש, בהם DALL-E, Midjourney ו-Stable Diffusion. כל אחד הציג יתרונות וחסרונות משלו, אך רובם עבדו על אותו עיקרון זהה פחות או יותר. כעת, מחולל תמונות חדש ומעניין במיוחד בשם DeepFloyd IF הוכרז בימים האחרונים על ידי Stability AI ומצליח למשוך את תשומת הלב של כל מי שעוסקים בתחום. האחרונה היא היוצרת של המודל שהוזכר למעלה, Stable Diffusion, הנמצא בשורת המחוללים המובילים היום ליצירת תמונות מטקסט, כאמור.
המודל החדש מבוסס על מודל שפה שאומן על 11 מיליארד פרמטרים כדי להבין הנחיות. זה מאפשר לו להבין הנחיות מורכבות מאוד, יותר טוב מכל מודל אחר, כנראה. בשלב הראשון יוצר המודל תמונות בגודל 64*64 פיקסלים, בשלב השני מבצע Upscale ל-256*256 פיקסלים, ובשלב הסופי מבצע Upscale נוסף המעניק לנו תמונה בגודל 1024*1024 פיקסלים.
הבנה טובה יותר, ויצירת טקסט
המודל, שלא נועד בשלב הזה עבור שימוש מסחרי, תוכנן להבין שפה בצורה הטובה ביותר ביחס למחוללים אחרים. בעוד שהאחרים אומנו על image-text pair datasets, המודל DeepFloyd IF עושה שימוש במקודדי טקסט שאומנו אך ורק על נתוני טקסט. המהלך חוסך התאמות רבות של הפרומפט, ומאפשר יצירה בקלות יחסית, תוך הענקת תוצאות מפורטות יותר.
עוד יתרון למודל החדש הודות לסוג האימון שלו הוא היכולת ליצור טקסט ביצירות שלכם. סוף סוף, מדובר במודל שמאפשר לשלב טקסט מובן, ברור ואמיתי בתוך התמונות שתיצרו. מי שכבר התחיל ליצור בבינה מלאכותית יודע שטקסט זה לא הצד החזק של מחוללי תמונות. הנה, כעת אנחנו מקבלים סנונית ראשונה שתאפשר את זה. אמנם מבדיקה נראה שלא תמיד יש דיוק בטקסט, אך עדיין מדובר בהתקדמות משמעותית מאוד.
סערה של התפתחויות, וגישה אחת יעילה
התקופה הקרובה תיזכר ללא ספק כזו שאחראית למרבית קפיצות הדרך בתחום הבינה המלאכותית הגנרטיבית. הגישה שמתחילה להיות רווחת כרגע היא פיתוח מודלים שונים, כאשר כל אחד מהם יתמחה בסגנון מסוים. לדוגמה, מחולל אחד עבור טקסט, מחולל אחר עבור וידאו וכן הלאה. במקביל, מתפתח תחום הסוכנים עבור מודלי שפה, שיידע לקחת את כל הטוב הזה מהמחוללים, כמשימה שיקבל מהמשתמש, ולהחזיר בתגובה תוצר מושלם.
