היה לי שבוע ארוך במיוחד והבוקר קמתי עייפה מהרגיל. אבל במפתיע הטבעת החכמה שעל אצבעי, זו שמנטרת את מדדי הגוף שלי, דווקא החמיאה לי על שנת לילה איכותית. "כל הכבוד", היא הודיעה. "המשיכי כך!". מתברר שלפי האפליקציה, ישנתי מצוין. עברתי שוב על מדדי השינה וניסיתי להבין מה אני מפספסת. אולי המערכת מזהה משהו שאני מחמיצה? לא היתה כאן בהכרח סתירה. אבל באותו רגע, מול המסך, דווקא התחושה שלי נראתה לי כמו הדבר שדורש בירור והעייפות היתה זו שצריכה להסביר את עצמה. אבל למה, בעצם? למה פקפקתי בעצמי?
מה קורה לשיקול הדעת שלנו כשמערכת חכמה סותרת את מה שאנחנו מרגישים או יודעים? בסדרת ניסויים שערכו החוקרים יותם ליאל ופרופ' ליאור זלמנסון מאוניברסיטת תל אביב התבקשו 1,445 משתתפים לבצע משימות בסיסיות של תיוג תמונות, ספירת אובייקטים וזיהוי הבעות פנים. באופן עצמאי, כמעט איש לא טעה במשימות הללו ורוב המשתתפים אף תיארו אותן "קלות ביותר". אלא שלצד התמונות הוצגה לחלק מהמשתתפים המלצת אלגוריתם שהיתה שגויה במכוון. מטרת החוקרים היתה לבחון את התגובה האנושית למערכת שסותרת החלטה פשוטה, כזו שהמשתמש מסוגל לקבל בקלות בעצמו. התוצאה: 19%–27% מהתשובות שלהם היו שגויות, ותאמו את המלצות המערכת — לעומת פחות מ־1% טעויות בקבוצת הביקורת.
המחקר הוא גרסה עכשווית לאחד הניסויים המפורסמים בתולדות הפסיכולוגיה: בשנות החמישים הושיב ד"ר סולומון אש קבוצות אנשים בחדר, כשרק אחד מהם היה נבדק אמיתי — היתר היו משתפי פעולה שתולים מטעמו. אש הציג בפניהם קו וביקש לזהות, מתוך שלושה קווים אחרים, איזה קו זהה לו באורכו. התשובה היתה ברורה לעין, אבל משתפי הפעולה הונחו לבחור בזה אחר זה דווקא בתשובה השגויה. כשהגיע תורו של הנבדק, הלחץ הקבוצתי עשה את שלו: בכ־37% מהמקרים הוא התיישר עם תשובת הרוב, אף שהיה יכול לראות בבירור שהיא שגויה. בסך הכל, כ־75% מהנבדקים אימצו לפחות פעם אחת את תשובת הקבוצה השגויה.
כוחו של האדם בלולאה
הניסוי של זלמנסון וליאל מעיד כי מה שקרה בניסוי ההוא עם דעת הרוב משתכפל כעת עם המלצות של מערכות AI. החוקרים מכנים את התופעה הזו "קונפורמיות אלגוריתמית": נסיגה משיקול הדעת העצמאי שלנו משום שהמחלוקת עם המערכת מייצרת לחץ להתיישר לפיה. לדינמיקה הזו עלולות להיות השלכות ממשיות. במערכת הבריאות, למשל, אחיות כבר מדווחות על מקרים שבהם התראות של מערכות בינה מלאכותית גוברות על שיקול הדעת הקליני שלהן, ומחייבות אותן לפעול לפי פרוטוקולים שלהערכתן אינם לטובת המטופל.
ומה קורה כשאנחנו עומדים על דעתנו? זה אמור להיות הרגע שבו הפיקוח האנושי עובד — שקלנו את עצת המערכת, ובכל זאת החלטנו לדחות אותה באופן מושכל. אלא שמחקר חדש, שפרסמו ליילי סולימנוף ופרופ' דריק נויפלד מאוניברסיטת מערב אונטריו, מצביע על כך שגם כשאנחנו דוחים את המלצת המערכת, היא מותירה עלינו חותם. במחקר שבוצע בקרב 440 משתתפים התבקשו הנבדקים, לאחר אינטראקציה קצרה עם אדם אחר, לנבא כמה כסף אותו אדם יחלוק איתם, ולציין עד כמה הם בטוחים בתחזית. לאחר מכן הוצגה להם תחזית שיוחסה ל־AI והם התבקשו להכריע מחדש. כשהעצה של ה־AI סתרה את החלטתם, ביטחונם ירד — והירידה היתה חדה יותר דווקא אצל מי שדחו את העצה ונשארו עם בחירתם המקורית. אפשר, אם כן, לצאת מהמפגש עם ההכרעה המקורית שלנו ולהיות פחות בטוחים בה בעקבות ה"מחלוקת" עם המערכת.
אחת התשובות המקובלות לסיכונים שנוצרים מהסתמכות על מערכות אלגוריתמיות היא להותיר את "האדם בלולאה" (Human in the Loop) — רעיון מרכזי בתחום שלפיו חייבים להשאיר את האדם דומיננטי בתהליך קבלת ההחלטה של המכונה, ולהפקיד בידיו את הסמכות לדחות את תוצריה ולעצור את פעולתה, בייחוד בסקטורים קריטיים.
הבעיה היא שהפתרון הזה נשען על ההנחה שהאדם המפקח על המערכת מצליח להיות נפרד ממנה במידה מספקת. כאילו המכונה מוסרת את המלצתה ואז נסוגה, והאדם בוחן אותה מנקודת מבט עצמאית ומכריע. המחקרים על קונפורמיות אלגוריתמית מערערים את ההנחה הזו ומלמדים שגם כשההכרעה הסופית נשארת בידינו, שיקול הדעת שמוביל אליה כבר עשוי להיות מושפע מהמערכת.
יותר אחריות, יותר ביטחון
המרחק בינינו לבין הטכנולוגיה הולך ומצטמצם ביומיום. היא כבר נמצאת בטבעות ובשעונים שמודדים את הגוף במשך היום, במשקפיים שמציגים מידע בתוך שדה הראייה ובאוזניות שמתרגמות שיחה בזמן אמת. בקצה הרחוק יותר מפותחים ממשקי מוח־מחשב שמפענחים פעילות עצבית ומתרגמים אותה לפקודות למחשב. הטכנולוגיה היא כבר לא רק כלי שאנחנו פונים אליו מבחוץ כדי לקבל תשובה, אלא נמצאת איתנו בזמן שאנחנו חווים את העולם ומחליטים כיצד לפעול. וככל שהחיבור הזה נעשה רציף יותר, ההבחנה בין פעולת המערכת לבין שיקול הדעת האנושי נעשית מורכבת יותר. לכן השאלה המהותית אינה אם השארנו אדם בלולאה, אלא עד כמה שיקול הדעת שלו נשאר עצמאי אחרי שהמכונה נכנסה לתהליך.
למרות כל זאת, אנחנו לא חסרי אונים לחלוטין מול סמכות המערכת. באחד מהניסויים של זלמנסון וליאל הם ביקשו מהמשתתפים לתייג תמונות כדי לשפר את בטיחותם של כלי רכב אוטונומיים. כשהמשתתפים חשבו שלהחלטות שלהם עשויות להיות השלכות ממשיות בעולם, שיעור קבלת ההמלצות השגויות של המערכת ירד בכמחצית. כלומר כל עוד ההחלטה נתפסת כעוד פעולה שגרתית בתוך מערכת, קל יותר להישען על המלצת האלגוריתם. אבל כשהמחיר של טעות נעשה גבוה ומוחשי, המשתתפים נסוגים בחזרה לשיקול דעתם. פיקוח אנושי, אם כן, הוא לא רק סמכות לעצור את המכונה. הוא גם תלוי בתחושה שההחלטה באמת שלנו, ושהאחריות לתוצאה מוטלת עלינו.
הכותבת היא מנכ״לית Humane AI, מומחית אינטראקציית אדם־AI
