בסוף ספטמבר פוטרו מחברת OpenAI שלושה חוקרי בטיחות: טומק קורבק (Korbak), ג'סמין וואנג (Wang) ומיקיטה בלסני (Balesni). שלושתם עסקו בפיקוח על המודלים של החברה, ושניים מהם הובילו מחקר שבחן כיצד ניתן לנטר את שרשרת החשיבה (Chain of Thought) של המודלים המתקדמים — שלבי הסקה שהמודל מייצר המאפשרים ללמוד על התנהגותו מאחורי הקלעים.
הפיטורים נותרו בגדר חידה עד שכשבוע לאחר מכן פרסמו השלושה מכתב אזהרה שכותרתו "OpenAI לא יכולה להפוך את הבינה המלאכותית לבטוחה בכוחות עצמה". בטקסט שפרסמו הם טוענים שהפיטורים והאופן שדווח עליהם יצרו אווירה של פחד בקרב חוקרים בחברה. לטענתם, קשרים עם מומחי בטיחות חיצוניים שבעבר היו חלק מקובל ורצוי בעבודת המחקר, עלולים כעת לסכן את העובדים. אם התנהגות שנחשבה תקינה עד לאחרונה הופכת לפתע לעילה לפיטורים, הם מזהירים, העובדים לא יוכלו לבצע את עבודת הפיקוח.
לפי דיווח ב"הוול סטריט ג'ורנל", שהתפרסם כחודש לאחר פיטוריהם של שלושת חוקרי הבטיחות, דרשו מהם אנשי האבטחה של OpenAI לתת להם גישה לטלפונים האישיים שלהם במסגרת חקירה פנימית שנפתחה עקב חשד להדלפת מידע. כשהחיטוט בטלפונים העלה שחלק מההתכתבויות של החוקרים עם חוקר חיצוני התנהלו באפליקציית סיגנל, תוך שימוש במנגנון אוטומטי למחיקת הודעות, זה הספיק ל־OpenAI.
לחברה מסחרית יש כמובן זכות להגן על סודותיה, אך המקרה מעלה שאלה עקרונית בהרבה. ואומנם החברות עצמן מכירות במגבלות הפיקוח על המודלים המתקדמים ובצורך בביקורת חיצונית ועצמאית, אך המידע הפנימי הדרוש לכך מצוי בשליטתן המלאה. אותן חברות, שמתחרות בעוצמה על פיתוח המודלים המובילים, הן גם אלה שמחליטות למי תינתן גישה למערכות שלהן ומה מותר לעובדיהן לשתף. או במילים אחרות: הצורך הדחוף בביקורת עצמאית מתנגש עם האינטרסים העסקיים של החברות שאמורות לאפשר אותה.

לכל טורי "מעבר לבינה" של ד"ר לימור זיו - לחצו כאן
בין התרעה לעזיבה
האזהרות מפני קצב ההתקדמות של הבינה המלאכותית אינן נשמעות רק מפי מבקרים מבחוץ או עובדים מוטרדים. הן מגיעות כיום בגלוי מאותם אנשים שמפתחים את המערכות — בהם הבכירים ביותר בחברות המובילות. חלק מהם מנסים להשפיע מבפנים, אחרים הגיעו למסקנה שהדבר בלתי אפשרי ועזבו, אך המכנה המשותף ברור: גם מי שמובילים את הפיתוח מודים שהקצב הנוכחי עלול להותיר את מנגנוני הפיקוח והשליטה מאחור.
ביולי האחרון פורסם מכתב שכותרתו "Pacing the Frontier" (ויסות קצב הפיתוח של ה־AI, בתרגום חופשי). חתמו עליו קרוב ל־1,400 עובדים ובכירים בתעשיית ה־AI ובהם מנכ"ל אנתרופיק, דריו אמודיי, המדען הראשי של OpenAI, יאקוב פאצ'וקי, המדען הראשי של Meta AI, שנגג'יה ז'או, וחוקרים בכירים מ־Google DeepMind, זרוע פיתוח הבינה המלאכותית של גוגל. המכתב מזהיר מפני תרחיש שבו מערכות AI יוכלו לבצע בעצמן מחקר ופיתוח של מודלים מתקדמים ובכך להאיץ את השיפור הטכנולוגי אל מעבר ליכולת האנושית להבין את המתרחש או לשלוט בו. על פי החותמים על המכתב, הזמן דוחק. או במילותיהם שלהם: "יש לקנות זמן כדי לטפל בסיכונים המתעוררים, לפתח אמצעי אבטחה ולחזק את הפיקוח".
החותמים קוראים לממשל האמריקאי לתמוך במאמץ בינלאומי לפיתוח מנגנונים שיאפשרו להאט את קצב הפיתוח באופן מתואם, ועל הדרך מודים למעשה בכך שחלק גדול מהבעיה הוא מנגנון השוק עצמו, שכן חברה יחידה אינה יכולה להרשות לעצמה להאט באופן חד־צדדי כשמתחרותיה ממשיכות לדהור. התוצאה היא שגם מי שמאמינים שהאטה היא הכרחית מתקשים להתחייב לכך כל עוד האחרים ממשיכים במרוץ. כפי שניסח זאת החוקר ליאו גאו מ־OpenAI: "אף שחקן אינו מוכן לעצור באופן חד־צדדי". וכך אנו נותרים תקועים במאזן אימה שבו המפתחים מבקשים להשתמש בבלמים, אך התחרות המסחרית מונעת מכל אחד מהם בנפרד ללחוץ עליהם.
לנוכח המציאות, ישנם גם כאלה שעוזבים. בספטמבר התפטר מאנתרופיק ג'ייקוב קוקסון, חוקר שעסק שנים באימון מודלים, קודם לכן גם ב־OpenAI. "אף אחת משתי החברות אינה פועלת באחריות", הוא כתב ב־X, "שתי החברות דוהרות לעבר בינת־על המסוגלת לשיפור עצמי רקורסיבי, ומהמרות על חיינו".
זמן לא רב לאחר מכן, בתחילת אוקטובר, נקט אותו צעד בכיר אחר: דיוויד רובינסון, שהוביל את גיבוש מסגרת הבטיחות של OpenAI ופיקח על דו"חות הבטיחות של השקות מודלים חדשים. לאחר שהתפטר הוא פרסם ב"אטלנטיק" מאמר שכותרתו "עזבתי את OpenAI כי התרבות הארגונית שלה שבורה". רובינסון לא הסתפק רק בביקורת על נהלים לקויים, אלא גם תיאר תרבות ארגונית שמקדשת את קצב השקות המוצרים שלה מתוך תפיסה שאפשר לשחרר מוצרים לשוק ולתקן את הבעיות שיתגלו בהם בהמשך. אלא שבמערכות בינה מלאכותית מתקדמות, הוא הזהיר, ייתכן שטעות אחת תוביל לתוצאות בלתי הפיכות, ולא תותיר הזדמנות לתקן. "עידן הניסוי והטעייה הסתיים", כתב.
לאן נעלם האומץ?
הקולות שנשמעים מתוך תעשיית ה־AI מלמדים שלא חסרים בה אנשים שמבינים את גודל הסיכון ומוכנים להזהיר מפניו. זו התפתחות חשובה שלא היתה מובנת מאליה עד לאחרונה אבל אין בה פתרון. הבעיה היא שההכרה בסכנה אינה מבטיחה את היכולת להתמודד עמה, שכן החברות שמודות בכך שיש צורך בפיקוח חיצוני הן גם אלה שמחליטות מי יוכל לבדוק את המערכות שלהן ואילו כשלים שלהן ייחשפו. וכך, אף על פי שההכרה בסיכון עשויה להיות כנה, התמריצים הכלכליים פועלים בכיוון ההפוך. כל חברה חוששת לשלם לבדה את מחיר הזהירות, בזמן שמתחרותיה ממשיכות לדהור קדימה.
בתעשיות אחרות, כגון תרופות ותעופה, ההכרעה בשאלות בטיחות אינה נותרת בידי היצרנים. לרשויות פיקוח חיצוניות יש סמכות לדרוש מידע ולהטיל מגבלות גם ללא הסכמת החברות, וזו ההבחנה שחיוני לעגן כעת גם בתעשיית הבינה המלאכותית: בין ביקורת שחברה בוחרת לאפשר לבין פיקוח שאינו זקוק לאישורה.
ההחלטה מה בטוח מספיק, ומה מחייב בדיקה נוספת או עיכוב, אינה יכולה להישאר בידיו של מי שמחזיק באינטרס המסחרי.
הכותבת היא מומחית אינטראקציית אדם־AI













