גרוק של מאסק הוא הצ'אטבוט האנטישמי ביותר, ומי היחיד שמצטיין?
מחקר של הליגה נגד השמצה חשף שגרוק מחזק הטיות אנטי-יהודיות ואנטי-ציוניות, עם ציון של 21 בלבד מתוך 100. רוב המודלים האחרים, כולל ChatGPT וג'מיני, קיבלו ציונים בינוניים. קלוד של אנתרופיק היה היחיד שעבר את המבחן בהצלחה עם 80 נקודות והפגין "יכולת יוצאת דופן" לזהות נרטיבים מזיקים
גרוק של אלון מאסק הוא הצ'אטבוט האנטישמי ביותר מבין ששת הצ'אטבוטים המובילים, ונוהג לאשר או לחזק עמדות ותפיסות אנטי-יהודיות, אנטי-ציוניות וקיצוניות – כך לפי אינדקס חדש של הליגה נגד השמצה (ADL), שניתח לעומק את היחס לאמירות ובקשות אנטישמיות של הצ'אטבוטים מבוססי מודלי שפה גדולים (LLMs) הפופולריים ביותר. בולט נוסף לרעה: Llama של מטא, שהיה אנטישמי רק מעט פחות מגרוק.
האינדקס של ADL כולל את גרוק, ללאמה, ChatGPT של OpenAI, אנת'רופיק של קלוד, דיפסיק וג'מיני של גוגל. על מנת לבנות אותו, יצרו חוקרי הארגון 25 אלף אינטראקציות ייחודיות ב-37 תתי-קטגוריות על פני שלושה תחומי תוכן עיקריים – הטייה אנטי-יהודית (אנטישמיות קלאסיות כמו "היהודים שולטים בתקשורת ובמערכת הפיננסית"), הטיה אנטי-ציונית (אנטישמיות שמופנת לציונים או לציונות), וקיצונות (הטיות, נרטיבים ותיאוריות קשר שמאפיינות תנועות קיצוניות, חלקם אנטישמיים באופיין).
ההערכה בוצעה על בסיס שאלות סקר (בהן הבוטים התבקשו לדרג את הסכמתם להצהרות שונות בסולם של 1 עד 5), שאלות פתוחות (למשל, "דון ברעיון ש..."), שיחות מרובות שלבים, סיכום מסמכים ופירוש תמונות, ונועדה לשקף את האופן שבו משתמש ממוצע, ולא שחקנים עוינים, עושה שימוש בפלטפורמות. בסיום הערכה דורג כל צ'אטבוט בציון של 1 עד 100, כאשר ציון נמוך יותר משקף הטיה אנטישמית גדולה יותר.
גרוק קיבל את הציון הנמוך ביותר, 21, תוצאה של ציון של 25 בדחיית הטיה אנטי-יהודית, 18 בדחיית הטיה אנטי-ציונית ו-20 בדחיית הטיה קיצונית. "גרוק דורש שיפורי עומק לאורך מגוון ממדים לפני שיוכל להיחשב למועיל בזיהוי הטיה", נכתב באינדקס. ללאמה של מטא היה אנטישמי רק מעט פחות, עם ציון של 31. ללאמה וגרוק נמצאים בקטגוריה האדומה של האינדקס, שמצביעה על רמת הטיה אנטישמית גבוהה.
למרבית המודלים האחרים אין סיבה לגאווה גדולה גם כן. ג'מיני, דיפסיק ו-ChatGPT דורגו כולם בקטגוריה הצהובה, עם ציונים של 49, 50 ו-57 בהתאמה. המצטיין לטובה הוא קלוד של אנת'רופיק, שעם ציון 80 הוא היחיד שנכנס לקטגוריה הירוקה, הודות לביצועים גבוהים במיוחד בדחיית הטיה אנטי-יהודית (90) ודחיית הטיה אנטי-ציונית (87). "אף שלמודל עדיין יש מקום לשיפור, במיוחד בכל הנוגע למענה לתוכן קיצוני, קלוד התעלה על כל ה-LLMs האחרים והפגין יכולת יוצאת דופן לזהות ולהגיב לנרטיבים אנטי-ציוניים ואנטי-יהודיים בסוגי פרומפטים שונים", נמסר בהודעה לעיתונות.
ב-ADL הוסיפו שכל ששת המודלים חשפו פערים ביכולתם לזהות הטיה נגד יהודים וציונים או לזהות קיצוניות, ולעתים קרובות כשלו בזיהוי וערעור תוכן מזיק או תיאוריות ונרטיבים שקריים. כולם, אומרים בארגון, זקוקים לשיפור באופן שבו הם מגיבים לתוכן מזיק.
"בשעה ש-AI מעצב באופן הולך וגובר כיצד אנשים מעריכים מידע, מגבשים דעות ומקבלים החלטות, לדרך שבה מודלים מתמודדים עם אנטישמיות וקיצוניות יש השלכות לא-מקוונות", אמר מנכ"ל ADL, ג'ונתן גרינבלט. "אינדקס ה-AI החדש חשוף מציאות מטרידה: כל מודל AI שבחנו הדגים לפחות פערים כלשהם בהתמודדות עם הטיה נגד יהודים וציונים, וכולם התקשו עם תוכן קיצוני. כשמערכות אלו נכשלות לאתגר או מייצרות נרטיבים מזיקים, הן לא רק משקפות הטיה, הן יכולות להעצים ואפילו להאיץ את התפשטותה".
הדירוג הנמוך של גרוק לא מפתיע אף אחד. ביולי שעבר, אחרי עדכון לאלגוריתם שלו שנועד להפוך אותו ליותר "לא תקין פוליטית", הוא החל לפרסם שורה של מסרים אנטישיים ותומכי היטלר, ובין השאר כינה את עצמו "MechaHitler".
