בדרך כלל אנחנו פוטרים את ביצועי מודלי השפה של ה־AI באמירה ש"זו רק סטטיסטיקה", מחשבון משוכלל המנבא את המילה הבאה. אלא שהאינסטינקט הזה שגוי. השאלה אם התוצר שאנו מקבלים ממודלי השפה הגדולים מעיד על מחשבה אמיתית של המודל או שמדובר רק ביכולתו לנבא את המילה הבאה מטרידה את העוסקים בתחום הבינה המלאכותית זה זמן. כדי לענות עליה, התייחסו לראשונה חוקרי חברת אנתרופיק אל המודל כפי שביולוגים מתייחסים לאורגניזם זר, מתוך הבנה שגם הם, האנשים שפיתחו אותו, אינם יודעים כיצד הוא מייצר את תפוקותיו. הם בנו מעין "מיקרוסקופ" המאפשר לעקוב אחר המסלולים החישוביים, מהקלט עד הפלט. מה שהתגלה מבעד לעדשה היה מבנה פנימי עשיר, המייצג מושגים מורכבים להפליא.
כך למשל הם גילו שכשמבקשים מהמודל לחרוז שיר, הוא אינו בוחר את המילה הבאה על בסיס הסתברות מקומית אלא בוחר את מילת הסיום מראש, מחזיק אותה כחלופת תכנון, ובונה את השורה כולה לאחור כדי להגיע אליה.
כדי להעמיק את ההבנה לגבי אופן פעולת המודל, החוקרים בחנו אותו גם במשימה פשוטה של חיבור חשבוני. הם ביקשו ממנו לחבר 36 ל־59 כדי להתחקות על הדרך שבה הוא מגיע לתוצאה: 95. כאן ה"מיקרוסקופ" חשף שני מסלולים חישוביים נפרדים שרצים במקביל: בעוד הראשון מעריך את סדר הגודל הכללי של התשובה (קרוב ל־90), השני מתמקד אך ורק בספרת האחדות (ומחשב ש־6 ועוד 9 מסתיים ב־5). בנקודת המפגש, שני הזרמים הללו מצטלבים ומולידים את התוצאה המדויקת: 95. במילים אחרות, המודל פועל בשיטה שאיש לא לימד אותו במפורש אלא פיתח אותה בעצמו במהלך האימון.
מבנה לא מעיד על הבנה
לכאורה, הממצאים הללו מובילים למסקנה המפתה שאם המודל מסוגל לתכנן ולפתור בעיות באופן כזה הוא גם מבין את מה שהוא עושה. אלא שיכולת והבנה אינן אותו הדבר. המבנה שהחוקרים גילו עונה על שאלת ה"איך", אולם המציאות מראה שאפשר להגיע לביצוע מושלם גם ללא כל הבנה פנימית.
הפילוסוף ג'ון סירל ניסח את הפער הזה כבר ב־1980 באמצעות ניסוי המחשבה המפורסם שלו — החדר הסיני. הוא הציע לדמיין אדם שאינו יודע מילה בסינית ונעול בחדר עם ספר חוקים עבה. הספר אינו מסביר את משמעות הסימנים אלא רק מורה: "אם נכנס סמל בצורה X, הוצא סמל בצורה Y". מחוץ לחדר, דוברי סינית מניחים פתקים עם שאלות. האיש שבפנים משווה בין הצורות באמצעות ספר החוקים ומוציא ממנו פתק עם התשובה המתאימה. לדוברים שבחוץ התוצאה נראית נהדרת: הם מקבלים תשובות רהוטות ומשוכנעים שבחדר יושב אדם שמבין סינית. אלא שבפועל האדם רק מניע סמלים על פי צורתם הגרפית, בלי להבין מילה.
ניסוי המחשבה הזה מחדד את ההבחנה בין חוקים פורמליים (תחביר) לבין משמעות (סמנטיקה). בנמשל שלנו, האיש שבחדר הוא המעבד, ספר החוקים הוא האלגוריתם, והסמלים הם הנתונים. האיש מצליח לייצר פלט מושלם, ובכל זאת להישאר עם אפס הבנה. בהשאלה, סירל היה טוען כלפי ממצאי אנתרופיק שמתוחכם ככל שיהיה המבנה הפנימי, בסופו של דבר מדובר בצורות המניעות צורות. גם אם ה"מיקרוסקופ" של החוקרים חשף שהמודל מסוגל לקשור בין מושגים מורכבים ולייצר רשת ענפה של זיקות, עבור המכונה עצמה אלו עדיין רק סימנים שמוליכים אל סימנים אחרים. המודל אולי מחזיק במבנה מבריק של הידע, אך הוא נותר מנותק לחלוטין מחוויית המשמעות שלו.
לכן, אם נחזור לתרגיל החשבון, המודל אומנם הגיע ל־95 בדרך יעילה למדי, אבל בשום שלב לא היה לו מושג של כמות. זה קצת כמו לעיין במילון בשפה שאנחנו לא מכירים. כל מילה מוגדרת באמצעות מילים אחרות, שמוגדרות באמצעות מילים אחרות, בלולאה אינסופית שאינה נוגעת לעולם ממשי. אפשר לסובב את המילון הזה כל החיים בלי להבין מה משמעותה של מילה אחת בו. סירל היה טוען שזה בדיוק מצבו של המודל — הוא חי בתוך המילון.
הקשר בין הגוף למשמעות
מה שחסר למודל הוא מה שמכונה התכוונות (Intentionality). כלומר, היותה של המחשבה על אודות משהו בעולם (Aboutness). כשאני חושבת על כוס יין, המחשבה שלי מכוונת אל כוס היין הממשית. הכוס הזו מתקיימת מחוץ למילים המייצגות אותה. לעומת זאת, דיו על נייר, אינו על אודות דבר בפני עצמו. למעשה הוא רק כתמים עד הרגע שבו מוח אנושי מפרש אותו. לפיכך, מודל שפה הוא מומחה יין שקרא כל מילה שעשויה להיות רלוונטית לתהליך ייצור היין בלי שטעם כוס יין אחת. וכך, למרות כמויות הדאטה העצומות ש"צרך", המודל אינו מבין יין, משום שהידע שגלום בחיך אינו עובר בצינור הצר של הטקסט. הוא קרא את כל הספרייה, אך מעולם לא יצא ממנה. אז מדוע אנחנו משוכנעים שהמודל מבין את המציאות?
התשובה נעוצה במדיום. במשך ההיסטוריה כולה, שפה ברמה שהמודלים מפיקים מעצמם הגיעה אך ורק מבני אדם. התוצאה היא שנחקק בנו רפלקס שלפיו במקום שבו יש שפה רהוטה ישנה גם הבנה. כשהמכונה מייצרת משפט קולח ובטוח בעצמו, אנחנו מרגישים מיד ש"יש מישהו בבית". הממשקים המודרניים רק מעמיקים את התפיסה הזו. למשל בהצגת חיווי כמו ...Thinking או חשיפת פסקאות של הרהור פנימי לפני מתן התשובה. על פניו, אלו חיוויים שמציעים הצצה אל מאחורי הקלעים. בפועל, זו שכבת תקשורת עיצובית (Communicative layer). מטרת הטקסט אינה שקיפות אלגוריתמית אלא הוא רק כלי שגורם למשתמש לחוש שהוא מדבר עם ישות בעלת אופי וסגנון, מה שמשפיע על רמת האמון שלו במערכת, על הציפיות שלו ממנה, וגם על הנכונות להמשיך להיעזר בה.
אז האם ה־AI חושב? אפשר לדון בתחביר מול סמנטיקה, על התכוונות ועל מה שחסר למכונה בלי להגיע להכרעה ברורה. כך או אחרת, השאלה הדחופה בהרבה היא מה התפיסה הזו עושה לנו. ברגע שאנחנו מייחסים הבנה למערכת נטולת כוונה, אנחנו מעניקים לה סמכות קוגניטיבית: מאצילים לה סמכויות וסומכים על השיפוט שלה בצמתים קריטיים של חיינו. אנחנו נוטים לראות בה שותף אובייקטיבי ושוכחים שמתחת למעטפת הסמכותית אין לה מגע עם העולם.
ההנחה שלפיה שפה רהוטה משמעה הבנה שירתה אותנו היטב מאז ומתמיד מפני שעד לא מזמן רהיטות אכן הגיעה ממי שמבין. כעת היא כבר לא ערובה לכך ואנחנו ממשיכים להסיק את ההבנה מן הרהיטות. הפער הזה אינו תקלה שתתוקן בגרסה הבאה - הוא מצב קבוע שנצטרך ללמוד לחיות איתו. הכלים ילכו וישתכללו וירשימו אותנו עוד ועוד, ובכל זאת, פעולת השיפוט וההכרעה מה לעשות עם המילים הללו לא יעברו אליהם לעולם. האחריות הזו נשארת, כפי שתמיד היתה, רק בידינו.
הכותבת היא מנכ״לית Humane AI, מומחית אינטראקציית אדם־AI
