OpenAI, חברת האם שאחראית לפיתוח של ChatGPT הודיעה על עדכון גדול וחשוב עבור מודל השפה הפופולרי שלה. “ChatGPT can now see, hear, and speak” תיארה החברה את היכולות החדשות של הצ’אטבוט. החל מעתה הצ’אט יידע לזהות את הקול שלכם וגם לזהות תמונות שתשלחו לו. אתם יכולים כעת להעלות תמונה לצ’אט, לדבר איתו בקולכם, והוא ישיב לכם בקולו.

לקבל סיוע בהרכבת ארון, ולהשמיע סיפור לילדים

כעת תוכלו לבקש מ-ChatGPT לסייע לכם במגוון פעולות, לשמוע ולדבר איתו, ובעיקר לקבל תחושה של צ’אטבוט אנושי יותר. כדי להדגים את יכולות ה”ראייה” של הצ’אט, פרסמה החברה סרטון שבו ניתן לראות משתמש מבקש מ-ChatGPT עזרה בכוונון מושב האופניים בצירוף תמונה. כדי להדגים את יכולות הדיבור החדשות של ChatGPT פרסמה החברה סרטון של אמא המבקשת מ-ChatGPT להקריא לילדיה סיפור לפני השינה.

יכולות הראייה והדיבור הללו של זיהוי קול ותמונה מאפשרות מגוון חדש של אפשרויות מעניינות, החל מיצירת אתרים מסקיצה שמשתמש צייר על דף, ועד הבנת תוכנית הרכבה סבוכה של ארון לחדר השינה. התכונות יהיו זמינות כרגע רק למנויים בתשלום בתוכניות Plus או Enterprise, ויגיעו בהדרגה למשתמשי האפליקציות ב-iOS ובאנדרואיד. בהמשך, משתמשי גרסת האינטרנט יקבלו גם הם את היכולת להעלות תמונה לצ’אט.

מבדיקות ראשוניות, עולה כי התכונות הללו עדיין איטיות באופן יחסי, אולם זו רק ההתחלה וניתן להעריך שהמהירות רק תשתפר עם הזמן.

לא רק זיהוי קול ותמונה: שיתוף פעולה עם Spotify וניסיון לתת פייט למתחרים

OpenAI הודיעה שהקול המסונתז שיצרה ישמש בהתחלה רק עבור הצ’אט הקולי של ChatGPT. במקביל, הודיעה החברה על שיתוף פעולה עם סופטיפיי שיצרה מערכת תרגום חדשה לפודאקסטים, ויכולות הקול יסייעה לה לחקות קולות של יוצרי פודקאסטים. 

OpenAI, כזכור, חוותה ירידה במשתמשים ב-ChatGPT וגם טענות לפגיעה מכוונת ביכולותיו בחודשים האחרונים. מהצד השני, מתמודד הצ’אט עם מתחרים כמו Claude והבטחה מצד גוגל להשקת מודל מתחרה ל-GPT-4 בשם Gemini בקרוב ממש. במקביל, השיקה החברה את DALL-E 3 שמקבל שבחים רבים מצד קהילות היוצרים בבינה מלאכותית, ומאפשר ליצור תמונות מורכבות ומציאותיות יותר, וגם לשלב בהן טקסט.