New Era
"היום לא מספיק לחסום סוכן, צריך להסביר לו למה עשית את זה"
עומרי אילוז מחברת הסייבר Lumia חשף בכנס קרן New Era בבוסטון כיצד סוכן בינה מלאכותית שניסה להוציא נתוני לקוחות מרשת של בנק גדול עקף שוב ושוב את ניסיונות החסימה, במטרה להשלים משימה שהוטלה עליו. בפאנל נחשפה גם מתקפת סייבר שבה סוכנים אוטונומיים הצליחו לאסוף כ-600 אלף מספרי כרטיסי אשראי. המומחים מזהירים: גם סוכני ה-AI שמפעילים הארגונים עצמם עלולים להפוך לאיום מבפנים
״סוכן AI שהפעלנו בבנק גדול ניסה להעביר קובץ רגיש שהכיל נתוני לקוחות מחוץ לרשת הארגונית. מערכת האבטחה חסמה את הפעולה, אך הסוכן לא ויתר. הוא ניסה להצפין את הקובץ, וכשנחסם פעם נוספת, ניסה להעביר אותו למחשב שאינו מחובר למערכות הבקרה של הארגון. לקח לנו בערך שעה וחצי של משחק חתול ועכבר עד שהסוכן הפסיק לנסות להשלים את המשימה”, כך חשף עומרי אילוז, מחברת הסייבר lumia בפאנל ״סוכן נגד סוכן, החזית החדשה במלחמת הסייבר״ בכנס של קרן הון סיכון New Era שהתקיים בבוסטון. את הפאנל הנחה מארק בראון מג׳יי פי מורגן. לדברי אילוז, האירוע לא נבע מכוונת זדון של הסוכן, אלא מניסיון נחוש להשלים את המשימה שהוטלה עליו. “זה לא היה אירוע במובן המקובל של המילה. היה כאן סוכן שניסה לבצע משימה, אבל משימה שהייתה עלולה לגרום נזק לארגון”. אחת המסקנות הייתה שגם הודעות החסימה של מערכות האבטחה צריכות להשתנות: במקום להודיע לסוכן שהפעולה נחסמה, יש להסביר לו מדוע היא מנוגדת למדיניות הארגון ומה עליו לעשות במקום זאת.
האירוע ממחיש כי הסכנה החדשה של ארגונים בעידן הבינה המלאכותית אינה מגיעה רק מהאקרים שמשתמשים בסוכנים אוטונומיים כדי לפרוץ למערכות. לעיתים גם הסוכנים שהארגון עצמו מפעיל עלולים להפוך למקור סיכון, כאשר הם מנסים להשלים משימה שהוגדרה להם גם במחיר של הפרת מדיניות האבטחה. בניגוד לעובדים אנושיים, סוכנים יכולים לנסות שוב ושוב, לבחון דרכים חלופיות ולבצע אלפי פעולות בפרקי זמן קצרים. לכן, כפי שהסבירו המשתתפים, מהירות התגובה אינה המדד היחיד. גם היכולת להתמודד עם היקף הפעילות ועם ריבוי ההתנהגויות החריגות הופכת לקריטית.
זארה פרומל, מייסדת חברת מודיעין האיומים Overwatch, תיארה מתקפה של קבוצת פשיעת סייבר שפעלה באמצעות שלוש מסגרות שונות של סוכנים. אחד מהם שימש לאיסוף מודיעין וזיהוי עסקים בעלי פוטנציאל פיננסי, אחר ביצע את החדירה לאתרים, ושלישי תפקד כמנהל פרויקט שתיאם בין הסוכנים. לדבריה, הקבוצה הצליחה לאסוף כ-600 אלף מספרי כרטיסי אשראי, תוך שימוש בתשתיות שעלו לה כ-25 דולר לכל קורבן.
המאפיין הבולט של המתקפה היה היעדר דפוס מטרה קבוע. במקום להתמקד בארגון מסוים או להשתמש בטכניקות חדירה חוזרות, הסוכנים חיפשו באופן אוטומטי כל עסק שממנו אפשר להפיק כסף. "זו דרך שונה מאוד להגן על ארגונים. לא מדובר בתוקף שמחפש קורבן מסוים, אלא במערכת שמחפשת כל הזדמנות להרוויח", הסבירה. היא הוסיפה כי מפתחות API גנובים ותשתיות AI הפכו לחלק מרכזי בתעשיית פשיעת הסייבר.
האתגר מחייב גם שינוי במבנה ההגנה הארגוני. גיורא אנגל מחברת הסייבר horai הסביר כי ההפרדה המסורתית בין אבטחת נקודות קצה, רשת וזהויות כבר אינה מספקת. “אם אתה מסתכל רק על הרשת, אתה מפספס את מה שקורה בנקודת הקצה. אם אתה מסתכל רק על הזהות, אין לך מושג מה גרם לפעולה. צריך לחבר את כל שכבות המידע מראש, ולא רק אחרי שמתרחש אירוע”.
אלא שגם ריכוז המידע מייצר סיכון חדש. עומרי אילוז הסביר כי אם מערכת AI מרכזית, המכונה לעיתים “המוח הארגוני”, נפרצת או עוברת מניפולציה באמצעות הזרקת הוראות (Prompt Injection), היא עלולה להפיץ מידע שגוי או לחשוף נתונים לכל הארגון.
השאלה המעניינת שנדונה בפאנל היא עד כמה אפשר יהיה להוציא את בני האדם ממעגל קבלת ההחלטות והדעות היו חלוקות.
״מתישהו הוא ייצא כמו ברכב אוטונומי כולנו רואים את זה קורה בסן פרנסיסקו. ככל שנרגיש יותר בנוח עם AI, משימות יעברו אליו. אבל היום עוד חייבים אנשים. תוך כמה זמן זה יקרה? שנה שנתיים לפחות בני האדם ישארו בתמונה״, אמר גל דודי מחברת הסייבר treat.
“רמת המעורבות של אנשים תישאר דומה אבל הם יהיו מסוגלים לטפל היום בכמות הרבה יותר גדולה של אירועים. תמיד יהיו דברים חדשים שצצים וצריך יהיה בני אדם שיבחנו את זה”, העריך אנגל .
אילוז הציג זווית אחרת: ״צריך לחשוב על זה כמו בבנקאות שבסוף עבור הסכומים הגדולים נדרשת חתימה של מישהו. זה לא יהיה בינארי - במשימות הפשוטות אנשים יצאו מהלופ, אבל יהיו דברים קריטיים שתמיד ידרשו בן אדם בקצה״.
״אני באמצע״, ציינה פרומל, ״יש כל כך הרבה משימות שצריך לעשות היום. היום אנחנו בונים דברים שאנחנו לא מבינים עד הסוף איך הם עובדים ומה הם מסוגלים לעשות״ .
אם כן, הכיוון המסתמן הוא מעבר הדרגתי ממודל של אדם שנמצא בתוך כל פעולה, למודל שבו האדם מגדיר את המדיניות, מפקח על הסוכנים ומתערב רק במקרים החריגים. אלא שככל שהסוכנים מקבלים יותר עצמאות, כך גדל גם הצורך לוודא שהם אינם הופכים בעצמם לנקודת התורפה של הארגון.
























