המנכ"ל מתקשר ומבקש להעביר כסף. אבל זה בכלל לא הוא
דמיינו מנהל כספים שמקבל שיחה דחופה מהמנכ”ל. עסקה גדולה עומדת על הפרק, הכסף צריך לעבור עוד היום והפרטים חסויים. המנכ”ל מפנה אותו לעורך דין שמלווה את העסקה. הקול מוכר, ההסברים משכנעים וגם עורך הדין מאשר את ההוראות. הכסף מועבר. רק מאוחר יותר מתברר שהמנכ”ל כלל לא התקשר. מישהו אחר דיבר בקולו.
התרחיש הזה ממחיש שיטה שנחשפה לאחרונה בארצות הברית. ב-5 בנובמבר הודיע משרד המשפטים האמריקאי על הגשת כתב אישום נגד שלושה נאשמים, בהם שני ישראלים, שלפי התביעה היו מעורבים ברשת הונאה שגנבה יותר מ-129 מיליון דולר מחברות וממוסדות ברחבי העולם. בין הנפגעים, לפי האישום, בתי חולים, בנק וחברת פינטק בריטית שממנה נגנבו יותר מ-11.5 מיליון דולר. התביעה טוענת שהמעורבים השתמשו בבינה מלאכותית כדי לחקות קולות של מנהלים בכירים ולעיתים גם את דמותם בשיחות וידאו. ההאשמות טרם הוכחו בבית המשפט.
מאחורי היכולת הזאת עומדת קפיצת מדרגה באימון מודלים ליצירת דיבור. מודלים שאומנו על מאגרי דיבור גדולים לומדים דפוסים של הגייה, קצב ואינטונציה. חלקם מסוגלים לחקות דובר חדש באמצעות דגימת קול קצרה ולייצר משפטים שהאדם מעולם לא אמר. הנוכל כבר אינו זקוק להקלטה של המנכ”ל נותן הוראה מסוימת. הוא יכול לנסח אותה בעצמו ולהלביש עליה את קולו של המנהל.
אבל החידוש המשמעותי אינו רק היכולת לזייף קול. הוא האפשרות להפריד בין האדם לבין הסמכות שהארגון מייחס לו.
לפי כתב האישום, המתחזים הציגו עסקאות חסויות ודחופות והפנו עובדים לעורכי דין לכאורה. הסודיות צמצמה את הסיכוי להתייעצות, הדחיפות הקטינה את זמן הבדיקה, וסמכות המנכ”ל העניקה לבקשה אמינות. כך אפשר לנצל את הרשאותיו של עובד בלי לעקוף אותן: די לשכנע אותו שההוראה הגיעה מהאדם הנכון. גם מערכת מחשוב מאובטחת עלולה לאפשר פעולה מזיקה כאשר מי שמבצע אותה מחזיק בהרשאה תקינה.
ד"ר ברק אור
לכאורה, הפתרון הוא להשתמש ב-AI כדי לזהות זיופים. אלא שכאן מתגלה מגבלה מוכרת מעולם הלמידה העמוקה. מודל עשוי לזהות היטב זיופים מהסוגים שעליהם נבחן, ועדיין להחמיץ זיוף שנוצר בשיטה חדשה. היכולת להתמודד עם נתונים שלא נראו באימון, המכונה הכללה, אינה מובטחת. דיוק גבוה בבדיקות אינו מבטיח זיהוי אמין בכל מצב.
מכאן נובע פער מהותי: התוקף עשוי להסתפק בהצלחה אחת, בעוד הארגון חייב להישאר מוגן גם כשהזיוף אינו מזוהה. לכן העברות כספים חריגות, שינוי פרטי חשבון ומתן הרשאות רגישות מחייבים אימות בערוץ עצמאי ומוכר מראש ואישור נוסף, גם כשהבקשה נשמעת כאילו הגיעה מהמנכ”ל.
בהנדסת מערכות אמינות לא מניחים שכל רכיב יפעל תמיד כראוי. מתכננים כך שגם כשל בזיהוי לא יהפוך בהכרח לנזק בלתי הפיך. האחריות אינה יכולה להישאר אצל העובד שנדרש לזהות את הזיוף, אלא חייבת להיות מעוגנת בתהליכי העבודה.
ה-AI כבר יודע לחקות את קולו של המנכ”ל. האתגר הארגוני האמיתי הוא לוודא שהקול, מוכר ומשכנע ככל שיהיה, לעולם לא יהפוך לבדו להוראה מחייבת.
ד”ר ברק אור הוא מייסד ArtificialGate ו-STATE16, מרצה וחוקר בתחום ה-AI והלמידה העמוקה בטכניון
