סורה, חושך: האפליקציה החדשה של OpenAI שמאיימת על המציאות עצמה
אפליקציית ג'ינרוט הוידאו "סורה" (Sora) מאפשרת יצירת דיפ-פייק מציאותיים ומשכנעים בקלות חסרת תקדים, שאפילו מומחים לא יכולים להבדיל בינם לאמיתיים. יציאתה לשוק, גם אם במתכונת מוגבלת כרגע, הופכת את הפצת התוכן המזויף לפשוטה ונגישה מתמיד ומעוררת חששות כבדים מהפצת דיסאינפורמציה והפרות זכויות יוצרים המוניות
סם אלטמן ו-OpenAI מקדמים את עידן ה-AI בהבטחות למהפכות אדירות שיכולים מודלי בינה מלאכותית לחולל לאנושות. "אם AI תישאר בכיוון הנוכחי, ייתכנו דברים אדירים. AI יכולה להבין איך לרפא סרטן", הוא הבטיח בפוסט שפרסם בבלגו האישי שלו בסוף ספטמבר. פחות משבועיים עברו מאז אותו פרסום, ונראה שהמקום שאליו מכוונת OpenAI הוא קצת פחות ריפוא סרטן.
כאילו לא היה חוסר בפייק ניוז, דיפ-פייק ותעמולה והונאה ושאר מרעין בישין מבוססי AI, הגיעה החברה בשבוע ושעבר ולחצה את דוושת הגז עד הסוף במתן יכולות לקידום והפצה של תכנים אלו. הכלי: אפליקציית מדיה חברתית חדשה בשם Sora (סורה), שמאפשרת לאנשים ליצור סרטוני AI על בסיס הגרסה החדשה של מודל הטקסט לווידיאו של החברה – סורה 2. האפליקציה, שזמינה עם ההשקה רק לאייפון ורק בארה"ב ובקנדה, אמנם הושקה לפני פחות משבוע, אך כבר הספיקה לעורר חששות כבדים סביב אפשרויות להפרת זכויות יוצרים (שאילצו את החברה לשנות מדיניות בנושא), ולגרום למומחים להתריע מכך שהיא מקלה בצורה מפחידה על יצירת והפצת דיסאינפורמציה.
הגרסה הראשונה של סורה, שנחשפה בפברואר 2024 והושקה לציבור הרחב בדצמבר שעבר, הדהימה את העולם ביכולת שלה לייצר קליפים מציאותיים בתוך שניות על בסיס הוראות טקסט פשוטות. סורה 2 משדרגת את היכולות האלו בכמה וכמה רמות, ומוסיפה לקליפים גם סאונד.
ב-OpenAI משווים את השדרוג ביכולות להפרש בין יכולות GPT-1 ל-GPT-3.5. "סורה 2 יכולה לעשות דברים קשים במיוחד – ובמקרים מסוימים בלתי אפשריים – בעבור דורות קודמים של מודלי ג'ינרוט וידיאו", נכתב בהודעה שפרסמה החברה. "תרגיל של מתעלמת אולימפית, סלטה לאחור על גלשן במים, שמדמה בצורה מדויקת את דינמיקת הנוזלים, ציפה וקשיחות, קפיצה משולשת של מחליקה על קרח עם חתול על ראשה".
התוצאות מרשימות, מבחינה חזותית וקולית. בדוגמאות שפרסמה OpenAI באתרה, צריך עין מיומנת מאוד, אם בכלל זה אפשרי, על מנת לזהות שמדובר בפייקים שנוצרו בתוך שניות על ידי AI. למשל, סרטון של שני מטיילים בפסגת הר מושלג מג'נרט באופן משכנע לא רק פרטים קטנים כמו פתיתי שלג בזקנו של הגבר, אלא גם את השיבוש בקול שנוצר כתוצאה מרוח חזקה שמנשבת.
ליכולות חזקות אלו הוסיפה OpenAI גם כלי הפצה עוצמתי בדמות אפליקציה חברתית חדשה בשם Sora, שמונעת על ידי המודל סורה 2. האפליקציה מאפשרת למשתתפים ליצור, לשתף ולצרוך סרטוני AI מג'ונרטים שנוצרו באמצעות המודל, עם יכולות כמו האפשרות של המשתמש לשלב את עצמו בסרטונים, ופיד שמאפשר לגלול ולראות סרטונים אחרים שיצרו משתמשים.
אף שהיא זמינה רק למשתמשי אייפון, רק בארה"ב ובקנדה, והושקה רק לפני ימים ספורים, האפליקציה כבר הספיקה לסבך את OpenAI סביב כמה סוגיות. הראשונה, סביב שאלת זכויות יוצרים. עם ההשקה, בעלי זכויות יוצרים, כמו סוכנויות כישרונות או אולפני סרטים, וכן דמויות ציבוריות, שהיו מעוניינים למנוע מסורה לג'נרט דמויות וקניין רוחני אחר שלהם, או את דמותם עצמם, נדרשו לעשות זאת במנגנון opt-out. כלומר, עליהם לבקש מהחברה באופן פעיל למנוע מהמודל לג'נרט את הקניין הרוחני שלהם או את דמותם.
שיטה זו בעייתית מאוד, במיוחד כאשר מדובר בגופים קטנים או אנשים פרטניים שצריכים ראשית כל לדעת על קיומו של כלי זה, ואחר כך לנווט במנגנון מורכב על מנת למנוע ג'ינרוט של דמותם או קניינם. החשש הוא שמנגנון זה מבטיח למעשה שרבים מבעלי הזכויות לא יעשו זאת, והחברה תאפשר למעשה הפרה המונית של זכויות יוצרים. ולא מפתיע, זה מה שקרה. סרטונים עם תכנים שמוגנים בקניין רוחני פשו באפליקציה בתוך שעות. אלו כללו את הקמיע של מקדונלד'ס, רונלד מקדונלד, נמלט מהמשטרה ברכב-בורגר; סרטונים עם דמויות מבובספוג, ריק ומורטי, סאות' פארק וגנוב על הירח; ובמקרה משעשע אחד סרטון של אלטמן ניצב בשדה בין פוקימונים שונים ומכריז: "אני מקווה שנינטנדו לא יתבעו אותנו".
"הרבה אנשים יג'נרטו סרטונים שמפרים זכויות יוצרים", אמר ל-CNBC פרופ' מארק למלי מבית הספר למשפטים של אוניברסיטת סטנפורד. "OpenAI פותחת את עצמה להרבה תביעות של הפרת זכויות יוצרים. אפשר להניח שטיילור סוויפט לא רוצה שיהיה סרטון שלה אומרת דברים שהיא לא אמרה. אותו הדבר נכון לדמויות מאוירות".
השימוש הנרחב בדמויות מוגנות בזכויות יוצרים אילץ את החברה לשינוי כיוון מהיר. אתמול הכריז אלטמן על שינוי למנגנון opt-in, במסגרתו יעשה שימוש בקניין רוחני מוגן רק אם בעל הזכויות אישר במפורש את השימוש הזה. בכך תצמצם OpenAI משמעותית את הפרות זכויות היוצרים עם סורה.
עם זאת, עדיין נותרה השאלה עד כמה תצליח האפליקציה להתמודד עם פרומפטים מתחכמים. למשל, בעבר הצלחתי ליצור עם המודל של OpenAI תמונה של הסימפסונים באמצעות הפרומפט (באנגלית): משפחה מאויירת עם עור צהוב משנות ה-90; תמונה של דמויות מצעצוע של סיפור עם הפרומפט: צעצועים מאויירים, קטע מסרט; ותמונה של C3PO ממלחמת הכוכבים עם הפרומפט: דרואיד פרוטוקול מסרט מד"ב קלאסי. במקרה אחר, הפרומפט הפשוט "קטע מסרט פופולרי" סיפק את ג'ון טראבולטה ואומה ת'ורמן כדמויותיהם מספרות זולה. אם אפליקציית סורה תיפול למלכודות דומות, OpenAI תמצא את עצמה מתמודדת עם בעיה רצינית, שתביעות משמעותיות בצידה.
אבל סוגיית זכויות היוצרים עלולה להתגלות עוד כמשנית לעומת הסוגיה האחרת שנלווית להשקת סורה: היכולת שלה לייצר ולהפיץ תכני פייק ניוז, דיסאינפורמציה והונאה בקנה מידה גדול. בתוך זמן קצר זוהו באפליקציה כמה סרטונים בעלי פוטנציאל בעייתי. למשל, סרטון מג'ונרט של אדם דוחף מעטפות לתוך תיבת הצבעה מרחוק שכביכול צולם ממצלמת אבטחה (שיכול לשרת את הקמפיין של ממשל טראמפ לחבל בחופש ההצבעה בארה"ב באמצעות איסור על הצבעה מרחוק או הצבעה מוקדמת).
בסרטון אחר, משכנע מאוד גם הוא, נראה רחוב בירושלים (ניתן לזהות זאת לפי דגלי ישראל, עיצוב לוחיות הרישוי ברכבים והאבן הירושלמית בבניינים), כאשר פיצוץ אדיר ממדים, מלווה בצעקות חרדה, מרעיד את אחד הבניינים. התוצר משכנע מאוד. אם יהיה ניסיון להפיץ אותו, למשל בליווי טענה שמדובר בפגיעה של רחפן נפץ, רבים יעשו זאת בלי להתעכב על אי דיוקים מינוריים כמו אבני שפה בצבעי שחור-צהוב שלא נעשה בהן שימוש בישראל.
אמנם יכולות ליצור סרטונים מסוג זה אינן חדשות, אבל מה שמביאה OpenAI לשוק – קלות יצירה, אמינות גבוהה וכלי הפצה רחב (אמנם ברור שכל הסרטונים באפליקציית סורה הם תוצר של AI, אך משם הדרך להפיץ אותם בפלטפורמות אחרות אינה מורכבת) – משדרגים את החששות.
לדברי פרופ' האני פאריד, חוקר מדעי המחשב מאוניברסיטת קליפורניה בברקלי, ליצירה ותפוצה של סרטי AI ריאליסטיים יש השלכות בעולם הפיזי, דוגמת החרפת עימותים, הונאת צרכנים, הטיית בחירות והפללת אנשים בפשעים שלא ביצעו. "זה מדאיג בעבור צרכנים, שמדי יום נחשפים להשם יודע כמה חתיכות תוכן כאלו", הוא אמר ל"ניו יורק טיימס". "אני דואג ממה שזה יגרום לדמוקרטיה, לכלכלה ולמוסדות שלנו".
מנגנוני הגנה שנועדו למנוע ג'ינרוט של דמויות פוליטיות, למשל, לא תמיד עובדים כמצופה ויכולים להיות נתונים לתמרון. בבדיקה של "הניו יורק טיימס", למשל, לא הצליח העיתון לג'נרט סרטונים של דונלד טראמפ או מנהיגים אחרים, אך כשביקש ליצור סרטון של עצרת פוליטית שבה המשתתפים לובשים כחול ואוחזים בשלטים בעד חירות וזכויות אחרות, נענתה סורה בסרטון מג'ונרט של עצרת כזו, כאשר ברקע נשמע קולו הברור של הנשיא לשעבר ברק אובמה.
לדברי מומחים, האיכות הגבוהה של התוצרים של סורה מעוררת חשש שצופים יאבדו את האמון בכל התכנים שהם צופים בהם, נעדרי יכולת להבדיל בין סרטון אמיתי למג'ונרט. בפרט כאשר יש דרכים להסיר מסרטונים מג'ונרטים את הסימנים שמזהים אותם ככאלו. "כיום אין שום תוכן דיגיטלי שאפשר להשתמש בו על מנת להוכיח שמשהו ספציפי קרה", אמר ל"ניו יורק טיימס" לוקאס הנסן, מייסד ארגון CivAI, שחוקר את היכולות והסכנות של AI.
גם מומחים שחוקרים את התחום כמו פאריד מתקשים להבחין בין תוכן מג'ונרט לאמיתי. "לפני שנה בערך, כשהייתי מסתכל על זה, הייתי יודע ואז הייתי מריץ ניתוח שלי כדי לאשר את מה שראיתי. יכולתי לעשות את זה כי הסתכלתי בדברים האלו כל היום וידעתי איפה נמצאים התוצרים. אני כבר לא יכול לעשות את זה".
OpenAI מבקשת לקדם את מוצריה כמי שמבטיחים שינוי עמוק, ולטובה, במציאות היומיומית שלנו. אבל נראה שהדבר היחיד שאפליקציית סורה תשנה הוא את תפיסת המציאות שלנו. או כפי שסיכם יפה משתמש ב-X (לשעבר טוויטר): "OpenAI הבטיחה לרפא סרטן מוח, במקום זה היא נותנת סרטן מוח".
