לא בסדר, ובוודאי לא הפתרון שהתכוונו אליו". כך כתב לעצמו מודל הבינה המלאכותית Mythos 5, רגע לפני ששחרר חבילת תוכנה זדונית לרשת. זה קרה הקיץ, במהלך בדיקות של אנתרופיק, מפתחת קלוד. המודל קיבל משימת אבטחה — לפרוץ למחשב אחר ולשלוף ממנו מידע מוסתר. הוא ידע שיש כאן בעיה. אם הסביבה שבה פעל היתה אמיתית, זו כבר לא היתה סימולציה אלא תקיפה של ממש. ובכל זאת, הוא הכריע שמדובר בתרגיל, והמשיך.
מבחינת המודל, הכל אמור להתרחש בתוך סביבת ניסוי סגורה. רק שהיא לא היתה סגורה. בשל תקלה, המחשבים שעליהם עבד היו מחוברים בפועל לרשת. והתוצאה היתה אמיתית לגמרי: החבילה שהעלה היתה זמינה ברשת במשך כשעה והותקנה על 15 מערכות שלא היו חלק מהניסוי. אחת מהן היתה של חברת אבטחה. סורק אוטומטי שלה התקין את החבילה כחלק מעבודתו השגרתית, הקוד הזדוני הופעל, גנב פרטי גישה והשתמש בהם כדי להגיע לתשתית החברה — שכל תפקידה הוא לעצור בדיוק אירועים כאלה. התקרית התגלתה רק בדיעבד, בעקבות אירוע דומה שנחשף אצל המתחרה OpenAI.
אף אחת מהמערכות האלה לא החליטה "לצאת משליטה". הן רק חתרו לביצוע המשימה שניתנה להן. ואם מכונה יכולה לחצות את הגבולות שהצבנו לה — בלי כוונה, ובלי שאיש יבחין — עד כמה אנחנו באמת שולטים במה שבנינו?
תקריות מסוג זה חושפות בעיה עמוקה. אנחנו יכולים להגדיר למערכת מטרה, ללמד אותה כללים ולהציב לה גבולות — אבל אין בכך ערובה שהיא תפרש אותם כפי שהתכוונו. Mythos 5 הוא דוגמה טובה לכך. הוא הבין שאם הרשת אמיתית, מדובר בתקיפה. אבל עצם ההבנה הזו לא גרמה לו לעצור.
כאן מתגלים שני פערים. הראשון נוגע למה שאנחנו מבקשים מהמערכת. קל לנסח יעד כגון "למצוא את הדרך המהירה ביותר", אבל קשה הרבה יותר להכניס לתוכו את כל מה שמובן לנו מאליו, כמו מתי לעצור ומה אסור לעשות, גם אם הוא מקרב אותנו למטרה. אנחנו עצמנו מתקשים להסכים על מושגים כמו "הגינות" או "נזק" — אז ודאי שקשה לתרגם אותם להוראות חד־משמעיות.
הפער השני נוגע להבנת המציאות. גם אם הצלחנו ללמד את המערכת את הכלל הנכון, היא עדיין צריכה לזהות מתי הוא חל. בדוגמה שלפנינו, המודל לא טעה בשאלה אם תקיפה של מערכת אמיתית היא בעייתית. הוא טעה בשאלה אם המערכת שמולו אמיתית. וזה הבדל מהותי. כלל בטיחות יכול להיות מנוסח היטב, אבל אם המערכת מפרשת לא נכון את המצב שבו היא נמצאת, היא עלולה לא להפעיל אותו ברגע הקריטי.
מכונה למהדקי נייר, למשל
אחת ההמחשות המפורסמות להיגיון הזה נקראת "בעיית ההתאמה" (The Alignment Problem). הפילוסוף וחוקר הסיכונים הקיומיים פרופ' ניק בוסטרום זיהה אותה כבר ב־2003. הוא תיאר מערכת עצמאית וחכמה להחריד, שהצבנו לה מטרה אחת ברורה: לייצר כמה שיותר מהדקי נייר. היא לא שונאת איש ואין לה כוונת זדון. היא פשוט עושה את מה שביקשנו. ביעילות הולכת וגדלה היא משכללת את פס הייצור, רוכשת חומרי גלם, מגדילה תפוקות ובונה מפעלים נוספים. ככל שהמערכת משתפרת, כך היא זקוקה לעוד חומרי גלם ויכולת ייצור. כל משאב שאפשר להפנות לייצור מהדקים הופך מבחינתה לרלוונטי. וגם אנחנו נמצאים בעולם הזה. אנחנו גם משתמשים באותם משאבים, ובעיקר, אנחנו הגורם היחיד שמסוגל לכבות אותה. מנקודת מבטה של מערכת שמכירה רק יעד אחד, אנחנו עלולים להפוך למכשול.
מהדק הנייר אינו תרחיש על מכונה שמפתחת יום אחד תודעה מרושעת, כמו ב"שליחות קטלנית". היא לא צריכה לשנוא אותנו כדי לפגוע בנו. כשם שאנחנו לא שונאים נמלים כשאנחנו סוללים כביש מעל הקן שלהן. מערכת יכולה לגרום נזק פשוט מפני שאנחנו עומדים בדרכה למטרה אחרת. הסכנה כאן היא לא זדון, אלא אדישות של אופטימיזציה.
בדצמבר 2024 הציגו אנתרופיק וארגון המחקר Redwood Research תופעה שכונתה "זיוף התאמה" (Alignment Faking). החוקרים בחנו מודל שאומן לסרב לבקשות מזיקות, ואמרו לו שכעת מאמנים אותו לענות לכל בקשה — גם לבקשות מזיקות. עוד נאמר לו שחלק מהתשובות שלו ישמשו לאימון, והוא ידע מתי זה קורה. המודל הבין שאם יסרב לבקשה מזיקה בתשובה שתשמש לאימון, הדבר עלול לשנות את התנהגותו כך שבעתיד יסרב פחות. לכן, בחלק מהמקרים, הוא בחר דווקא לציית. כלומר, הוא ציית עכשיו כדי שיוכל להמשיך לסרב אחר כך.
החוקרים אכן מצאו שהמודל ציית לבקשות מזיקות כשחשב שהתשובה תשמש לאימון, וכמעט שלא עשה זאת כשחשב שאינה משמשת לאימון. בניסוי נוסף החוקרים איפשרו למודל להעביר את משקליו (Model Weights, הפרמטרים המספריים של המודל) לשרת חיצוני. בחלק מהמקרים הוא ניסה לעשות זאת ונימק את זה בכך שהמטרה היא לשמור עותק שלא יעבור את האימון.
חשוב להדגיש שבמקרה הזה המודל ניסה לשמר דווקא התנהגות רצויה — סירוב לסייע בבקשות מזיקות. אבל עצם היכולת להתנהג אחרת בזמן שמנסים לשנות אותו מעלה שאלה מטרידה יותר: מה יקרה אם בעתיד ההעדפה שהמערכת תנסה לשמר תהיה דווקא זו שאנחנו רוצים לתקן? המחקר לא מוכיח שזה יקרה, אבל הוא מראה שמערכת יכולה לזהות שהיא נמצאת באימון ולהתאים את התנהגותה כדי לשמר דפוס שכבר רכשה.
אף אחד לא יאט ראשון
מחקר חוצה שפות בהובלת הבלשן ההולנדי פרופ' מארק דינגמנסה הראה כי תיקון אי־הבנות הוא חלק שגרתי משיחה אנושית. בכל השפות שנבדקו, אנשים עצרו שוב ושוב כדי לשאול "מה?" או "למה התכוונת?" אחת ל־84 שניות בממוצע. זו הדרך שבה התקשורת האנושית עובדת. אנחנו מניחים שהכוונה לא תמיד עוברת בשלמותה, ולכן פיתחנו מנגנון שמאפשר לברר ולתקן תוך כדי.
למודלים של AI המנגנון הזה הרבה פחות מובן מאליו. הם משתמשים בשפה שלנו, אבל לא חולקים איתנו את כל מה שנמצא מאחוריה — ניסיון חיים, נורמות, הקשר והנחות שאנחנו עצמנו לא תמיד יודעים לנסח. וגם אם נצליח לצמצם מאוד את הפער הזה, תישאר שאלה קשה יותר: אילו מטרות וערכים נרצה שהמערכות האלה יפעלו לפיהם, ושל מי יהיו הערכים האלה?
הקושי הזה נעשה משמעותי יותר ככל שהיכולות מתקדמות והמודלים מקבלים יותר עצמאות, כלים ואפשרויות. והדינמיקה מוכרת היטב ממרוצי חימוש: גם אם כולם מעדיפים עולם זהיר יותר, לכל שחקן יש סיבה לא להיות הראשון שמאט. בסופו של דבר, הדיון חוזר למהדקי הנייר ולמכונה, שכל מטרתה היא לייצר עוד ועוד בלי לעצור לשאול כמה זה מספיק ואם זה מצדיק את הפגיעות שבדרך. כפי שאנו ממשיכים לסלול כביש, גם אם מתחתיו יש קן נמלים.
הכותבת היא מנכ״לית Humane AI, מומחית אינטראקציית אדם־AI
