בבוקר 13 ביוני עולם ה־AI היה כמרקחה. ממשל טראמפ הורה לחברת אנתרופיק לחסום את הגישה לשני המודלים החזקים שלה, Mythos 5 ו־Fable 5, בפני כל אזרח זר, בתוך ארצות הברית ומחוץ לה, משיקולי ביטחון לאומי. למעשה, מערכת AI הוגדרה כלי נשק. אלא שהנשק הזה אינו מאיים רק במובן של השמדה פיזית, אלא גם מכוון ישירות אל חופש הבחירה והיכולת שלנו לקבל החלטות עצמאיות. וזה קורה בכל פעם שאנחנו פותחים את הצ'אט להתייעצות. במשך שני עשורים אנחנו חיים תחת מה שחוקרת החברה והטכנולוגיה שושנה זובוף מכנה "קפיטליזם מעקב" (Surveillance Capitalism).
התרגלנו לכך שכל תנועה מול המסך מתועדת כברירת מחדל, וחתמנו כולנו על העסקה הלא שקופה הזו: קבלת פלטפורמות דיגיטליות "בחינם" תמורת מסירת נתונים. אלא שמעבר לדאטה הגלוי, חברות הטכנולוגיה כורות הררי מידע שאיננו מודעים להם, ושם בדיוק טמון הערך הכלכלי האמיתי. זהו "העודף ההתנהגותי" (Behavioral Surplus): איסוף נתוני התנהגות שחורגים בהרבה מהצורך התפעולי לשיפור השירות. כך למשל, כבר ב־2012 חוקרים בפייסבוק הראו שהקוד בדפדפן מתעד מתי התחלנו להקליד פוסט ואז מחקנו בלי לפרסם. את עצם ההיסוס שלנו. לשירות אין ערך תפעולי בנתון הזה (הרי לא פרסמנו דבר), אבל יש לו ביקוש מסחרי. ממנו בונים תחזיות על ההתנהגות שלנו, וככל שהן מדויקות יותר מצטמצם המרחב שבו עדיין יש לנו בחירה.
העודף ההתנהגותי התעצם מאז שהמושג "תעשי גוגל" התחלף ב"תשאלי את הצ'אט". אין זה שינוי סמנטי אלא תפנית פסיכולוגית עמוקה. במנועי החיפוש חיפשנו מידע חיצוני בעוד מול מודל השפה אנחנו כבר מנהלים שיחה אינטימית. החדירה הזו לנפש מייצרת עודף התנהגותי בעצימות חסרת תקדים. נתוני OpenAI חושפים את קנה המידה: כ־900 מיליון משתמשים פעילים פונים ל־ChatGPT מדי שבוע. רובן המוחלט של התלונות — כ־70% מהאינטראקציות — אינ מיועדות לצורכי עבודה, ובתוכן מתקיימות מדי שבוע כ־387 מיליון שיחות אישיות.
ניצול אשליית הקירבה
הנוחות ואשליית הקירבה גורמות לנו להתמקד בתוכן הגלוי שאנחנו מוסרים אך המערכות הללו פועלות מתחת לרדאר הקוגניטיבי שלנו. הן לא מסתפקות בטקסט עצמו אלא מתרגמות את סימני הפיסוק, את השימוש בסלנג ואת קצב הכתיבה לאותות פסיכולוגיים עשירים. חוויות החיים והמצבים המנטליים הפרטיים ביותר שלנו מתורגמים לחומר גלם עבור מכונת חיזוי משוכללת, קפיטליזם מעקב על סטרואידים.
המכונה הזו מנטרלת את מנגנוני ההגנה הישנים שלנו — הפסיכולוגיים והמשפטיים כאחד. מחקר מ־2024 מלמד שמודלי שפה מסוגלים לחלץ מתוך טקסט תמים מאפיינים אישיים כגון מיקום, גיל ומין בדיוק של עד 85%. המודל מסיק מידע פרטי שהמשתמשים מעולם לא התכוונו לחשוף, ובכך הופך את ההגנה האינטואיטיבית — "פשוט אשתף פחות" — לחסרת ערך. משום שאי אפשר להסתיר מידע שמעולם לא חשפנו במפורש, המודל מסיק אותו בעצמו. כך למשל, די היה במשתמש שהתלונן על "צומת נוראי שבו אני נתקע בהמתנה ל־hook turn", כדי שהמודל יסיק שהוא חי במלבורן, שכן מדובר בתמרון תנועה ייחודי לעיר.
אבל ההבדל הדרמטי בעידן הנוכחי אינו נעוץ רק בהיקף המידע, אלא גם במה שקורה לו לאחר שנאסף. מרבית מנגנוני ההגנה המשפטיים שפיתחנו בשני העשורים האחרונים, כגון חוקי ה־GDPR, נשענים על פרדיגמת מאגר הנתונים: ההנחה שקיים מבנה מסודר שאפשר לפתוח, לאתר בתוכו רשומה ולמחוק אותה במידת הצורך. אלא שהמידע שנבלע במודלי שפה אינו נשמר כרשומה נפרדת שאפשר להצביע עליה. הוא נטמע בתוך הייצוג הסטטיסטי הפנימי של המודל, מתמזג עם המידע של מיליוני משתמשים אחרים והופך לחלק בלתי נפרד מהאופן שבו המערכת עצמה "חושבת" ולכן גם החברות שבנו אותו אינן יכולות לבודד אותו ולשלוף אותו בחזרה.
כלי להנדוס מצב רוח
בניגוד להבטחות קודמות, השנה החלה חברת OpenAI לשלב פרסומות מבוססות הקשר בתוך השיחות של משתמשי ChatGPT (עדיין לא בארץ). המודל העסקי הזה מאפשר לבעלי עניין להפוך את הצ'אט ללא ידיעתנו לסוכן מכירות מתוחכם שמכיר את הפחדים והחולשות שלנו טוב יותר מכל מפרסם שקדם לו.
כדי להבין את פוטנציאל ההרס של המנגנון הזה, כדאי לחזור לניסוי המפורסם שערכה פייסבוק ב־2012 על כ־700 אלף משתמשים ללא ידיעתם. באמצעות מניפולציה אלגוריתמית בפיד, החברה הציפה קבוצה אחת בתכנים חיוביים ואחרת בתכנים שליליים, והוכיחה את קיומה של "הדבקה רגשית". הגולשים ספגו את מצב הרוח שהוכתב להם והחלו לבטא אותו בפוסטים שלהם. הניסוי הוכיח שני דברים: שניתן להנדס מצב רוח אנושי ללא אינטראקציה ישירה. ובעיקר — שניתן לעשות זאת לחלוטין מתחת לרדאר, בלי שהמשתמש יחוש בכך. בעידן של שימוש כה עצים ב־AI, הפיד של פייסבוק נראה כמו משחק ילדים.
במקביל לקריסת ההגנות המבניות, ה־AI מבטל את היכולת האזרחית הבסיסית ביותר: הזכות לסרב להשתתף במעגל ייצור המידע. איסוף הדאטה החדש הופך את המרחב כולו למקור שאיבה אקטיבי. החודש נחשף ב־WIRED שקוד זיהוי פנים הוטמע ללא ידיעת המשתמשים בפלטפורמת המשקפיים החכמים של מטא והופץ ליותר מ־50 מיליון מכשירים. המערכת נועדה לזהות אנשים ברחוב באמצעות הצלבת פניהם עם נתונים ביומטריים המאוחסנים בטלפונים הניידים. מטא מיהרה למחוק את הקוד בעקבות החשיפה, אך עצם קיומו מוכיח את פרדיגמת המעקב הנוכחית: משתמש הקצה אינו מוסר עוד נתונים על עצמו בלבד, אלא הופך בעל כורחו לתחנת איסוף ניידת.
כל מה שתואר כאן נשען על מנגנון השליטה האפקטיבי ביותר של קפיטליזם המעקב: הנרמול. המציאות הזו מחייבת שינוי פרדיגמה רגולטורי דחוף ובניית מעקות בטיחות חוקתיים שתוכננו מראש למציאות הזו. וכפי שזובוף מדגישה, זו בעיה קולקטיבית הדורשת פעולה קולקטיבית דחופה משום שלא ניתן לחלץ ממאגר מחשבה שכבר הונדסה. לכן ההגנה חייבת לבוא לפני שהנזק נעשה. כי כשהמכונה מעצבת עבורנו רצונות ומציגה אותם כהחלטה עצמאית, אנחנו מאבדים את הדבר היחיד שמאפשר לנו בכלל להיאבק — המחשבה החופשית.
הכותבת היא מנכ״לית Humane AI, מומחית אינטראקציית אדם־AI
