דרק מובלי חשד שמשהו מוזר קורה כשטופסי המועמדות שהגיש למשרות שאליהן לכאורה התאים נדחו במהירות, וחשדו התגבר אף יותר כשבאחת הפעמים קיבל תשובה שלילית פחות משעה לאחר שהגיש מועמדות לקראת השעה אחת בלילה. ככל שהדחיות הצטברו — כמאה מהן — מובלי הבין שהמעסיקים השונים מפעילים את אותה שיטת סינון, והוא צדק — כולם השתמשו במערכת לניהול גיוס עובדים של חברת התוכנה Workday.
לאחר שמובלי חיבר את הנקודות הוא הצטרף ב־2023 לתביעה נגד החברה, שהאשימה אותה בהטיות מפלות. במקרה של מובלי, הוא טען שהמערכת פסלה אותו משום שהוא שחור, עבר את גיל 40 ומתמודד עם מוגבלות פיזית. התביעה טרם הוכרעה אך יש לה השלכות רחבות, שכן יותר מ־80% מהמעסיקים בארצות הברית משתמשים בבינה מלאכותית כדי לנהל את תהליכי גיוס העובדים שלהם.
הרבה לפני שאלגוריתמים קיבלו החלטות בעלות השלכות דומות, גם בני אדם פעלו על פי אותן פרקטיקות. עם זאת, המקרה של מובלי ממחיש עד כמה גדול הנזק שעלולות לגרום מערכות AI כשהן משכפלות הטיות אנושיות כשהמידע שהוזן לתוכן הופך אותן ל"רצויות" לכאורה.
במאמר מ־2010 הצביעו החוקרים ג'וזף הנריק, סטיבן היין וארה נורנזאיאן על תופעת ה־WEIRD — ראשי תיבות של Western, Educated, Industrialized, Rich, Democratic: מערביים, משכילים, מתועשים, עשירים ודמוקרטיים. הם מצאו ש־68% מהנבדקים במחקרים, שפורסמו בכתבי עת מובילים בפסיכולוגיה, היו אמריקאים, וש־96% מהם הגיעו ממדינות מערביות, אף שבמדינות אלה חיה אז רק כ־12% מאוכלוסיית העולם.
הבעיה לא היתה רק בהרכב המדגמים, אלא במסקנות שהוסקו מהם, שכן הממצאים שהתקבלו הוצגו כתיאורים אותנטיים של אופן הפעולה של המוח האנושי ואף של טבע האדם. זאת, אף על פי שבתחומים כגון תפיסה חזותית, תפיסת הוגנות, חשיבה מוסרית ותפיסת העצמי, הנבדקים האמריקאים לא ייצגו את רוב בני האדם בעולם.
בתחום ה־AI אותה הבעיה חוזרת באופן אחר מכיוון שהמודלים הופכים תפיסת עולם מסוימת לברירת מחדל. לדוגמה, משתמש הקצה יכול לקבל מהם תשובה רהוטה לשאלות בתחומים כגון הורות ביפן או זוגיות בישראל ולחשוב שהיא נובעת מסקירה מהירה של מאגר כלשהו שמכיל בתוכו את כלל החוכמה האנושית האוניברסלית, אלא שמאגר כזה לא קיים, ובוודאי שלא חוכמה אנושית שמשותפת לכולנו.
כעת, 16 שנה לאחר פרסום המאמר המדובר, חזר הנריק, אחד ממחבריו, אל אותה שאלה מזווית חדשה. הוא לקח שאלות מתוך סקר עולמי שבדק ערכים שונים ושעליו השיבו יותר מ־90 אלף אנשים מ־65 מדינות, והציג אותן למודל שפה. לאחר מכן הוא בדק לאילו אוכלוסיות בעולם דפוס התשובות של מודל שפה דומה ביותר, והתוצאה היתה רחוקה מלהיות אוניברסלית. התשובות שסיפק המודל היו הקרובות ביותר לאלה שסיפקו אזרחי ארצות הברית ואורוגוואי, ואחריהן למדינות מערביות אחרות. במילים אחרות, אחרי שהתברר ש"האדם" במחקרי הפסיכולוגיה בדרך כלל משקף את תפיסותיהם של סטודנטים אמריקאים, אותו עיוורון מופיע כעת במערכות AI.
הטיה אינהרנטית במודל
כל זה לא מפתיע, כיוון שחלקים עצומים מהאנושות מיוצגים בעולם הדיגיטלי הרבה פחות מאחרים. לפי האומדנים האחרונים של איגוד התקשורת הבינלאומי, 2.2 מיליארד בני אדם עדיין אינם מחוברים לאינטרנט. במדינות בעלות הכנסה גבוהה 94% מהאוכלוסייה משתמשים ברשת; במדינות בעלות הכנסה נמוכה — 23% בלבד. מאגרי אימון המודלים נוצרים באמצעות איסוף וסינון של חלקים מהרשת ובמשך השנים אחד המקורות הנפוצים ביותר לנתוני אימון של מודלי שפה — Common Crawl שמו — הוטה לטובת תוכן באנגלית. רק בשנים האחרונות נעשה בו מהלך יזום להרחבת הייצוג של שפות ותרבויות נוספות.
וזה עדיין רק חומר הגלם. מודל שפה הוא לא ממוצע סטטיסטי של כל מה שקרא. אחרי האימון הראשוני הוא עובר תהליכים נוספים שנועדו להפיק מתוכו את התשובות ה"מועילות" יותר, והפלט הסופי הוא תוצאה של כמה שכבות בחירה: מי מיוצג ברשת, מה נאסף ממנה, מה נכנס לנתוני האימון, ואילו דפוסי התנהגות החברה המפתחת מלמדת אותו להעדיף.
בעידן הבינה המלאכותית נוסף לבעיה הזאת ממד חדש: המודלים לא רק לומדים מהעולם, אלא גם משתתפים ביצירתו. טקסטים וקוד שנוצרו באמצעות AI חוזרים לרשת, וחלק מהם עשויים להפוך לחומר שממנו ילמדו מודלים חדשים. מחקרים מצביעים על כך שבתהליך כזה דווקא מידע נדיר יותר נשחק וכך נוצר מנגנון שלא רק משקף את מה שכבר דומיננטי, אלא גם מחזק אותו. המשמעות היא שהקולות שפחות מיוצגים מלכתחילה עלולים להיחלש ככל שעובר הזמן.
אין מנוס מבחירה ערכית
הפתרון המתבקש לכאורה הוא להרחיב את שדה הראייה ולהחליט שאם המודלים משקפים עולם צר מדי, יש לחשוף אותם ליותר ממנו. אלא שבמחקר מ־2025 התגלה שמודלים ששיקפו מגוון תרבותי רחב יותר נטו לייצר יותר תשובות שסווגו כפוגעות בזכויות אדם, בעיקר בסוגיות של מגדר ושוויון. כאן מתגלה קושי עמוק, שכן ייצוג תרבותי רחב יותר אינו בהכרח ניטרלי יותר. ברגע שערכים ונורמות מתנגשים אלה באלה, גם ההחלטה אילו מהם המודל צריך לשקף או לדחות הופכת להכרעה ערכית.
אין מודל שלא נבנה על בסיס בחירות ערכיות כאלה. המשמעות הברורה מכך שמערכת מעדיפה תשובה אחת על אחרת היא שמישהו קבע עבורה מה עליה להעדיף. העניין המטריד הוא שהמשתמשים כמעט שלא חשופים לתהליך שנעשה מאחורי הקלעים. המודל לא משקף לנו איזו תפיסת עולם עומדת מאחורי הפלט, ולא מראה מה נשאר בחוץ. הוא מציג תשובה אחת, מנוסחת היטב, והיא מגיעה אלינו כשהיא נקייה מכל סימני המחלוקת.
אחרי יותר ממאה דחיות של טופסי המועמדות לעבודה ששיגר, המציאות הזו נחשפה בפני מובלי, אבל ברוב המפגשים שלנו עם AI אין רגע כזה. אנחנו פונים לבינה כדי שתעזור לנו להבין את העולם או לקבל החלטות, ומקבלים מענה שנשמע הגיוני. וככל שנישען יותר על התשובות שהיא הפיקה עבורנו, כך גם ההנחות שהוטמעו בה משפיעות על מה שנראה לנו טבעי. המשמעות העמוקה היא שכשהכרעות מסוימות חוזרות על עצמן כברירת מחדל, אפשרויות אחרות נדחקות מן המציאות, והשכל הישר של ה־AI הופך בהדרגה לעדשה הבלתי נראית שמבעד לה אנחנו מבינים את העולם.
הכותבת היא מנכ״לית Humane AI, מומחית אינטראקציית אדם־AI
