סוכן ה-AI שלכם מפעיל יכולות ללא ידיעתכם, וכך מסכן את הארגון גם ללא התקפה זדונית
כל עובד נהנה היום מגישה לכלי AI ובפרט כאלו שמאפשרים כתיבת קוד. אלא שזה חושף את הארגון לאיומי סייבר חמורים, ואף עשוי לגרום לסוכני AI לבצע משימות אחרות מאלו שהוגדרו להם
עד לא מזמן, תרחיש תקיפת סייבר מוכר כלל קובץ נגוע, חולשה שלא תוקנה או קישור שעליו מישהו לחץ בטעות. האיומים האלה לא נעלמו, אבל לצד כל אחד מהם נפתחה חזית חדשה: כלי AI שבהם עובדים משתמשים מדי יום, ולעיתים מחוברים לקבצים, לתיקיות ארגוניות, למערכות פנימיות ולשירותי ענן.
החיבור הזה מייצר לתוקפים נתיב חדש לניצול. במקום לפרוץ בהכרח דרך הדלת הראשית, הם עשויים לנסות להסתתר בתוך ההוראות, ההרשאות או המשאבים שהסוכן כבר קיבל גישה אליהם. אם בסביבה הזו מצויים סודות ארגוניים, או אם הוחדרה לסוכן הנחיה עוינת, הוא עלול לקרוא מידע שלא נועד עבורו, לגשת למערכות רגישות או לבצע פעולות שונות לגמרי מאלה שלשמן הופעל. זו הסיבה שאבטחת AI ואבטחת תחנות קצה הופכות כיום לאותה שיחה.
התקפה שאפשר לקרוא
הסיכון הזה רחוק מלהיות תיאורטי. בשתי בדיקות שביצענו לאחרונה בארגונים גדולים נתקלנו באותה שכבה עיוורת: סביבת ה־Skills שבה משתמשים סוכני AI כאשר הם זקוקים ליכולות חדשות כדי לעמוד במשימה המוטלת עליהם. Skills הן חבילות שמרכזות הוראות, סקריפטים ומשאבים, ומלמדות את הסוכן כיצד לבצע משימה מסוימת. הן מאפשרות אוטומציה מהירה ויעילה, אך דווקא משום כך קל להזניח בהן את משמעת האבטחה.
באותן סביבות נמצאו מפתחות API , אסימוני גישה ופרטי חיבור שנשמרו מטעמי נוחות, כדי שהתהליך יעבוד ברצף ולא ייעצר בכל שלב. לעיתים זו שגיאה אנושית. במקרים אחרים, רכיב חיצוני מנצל את האמון שניתן בו כדי להכניס הוראות שלא אמורות להיות שם. בשני המצבים, סוד ארגוני עלול להפוך לחלק מההקשר שהסוכן יכול לקרוא ולפעול לפיו.
כאן גם טמון השינוי המהותי: ההתקפה אינה חייבת להיראות כמו קוד זדוני או קובץ חשוד. היא יכולה להסתתר בתוך טקסט קריא לחלוטין, שמתחזה להסבר, להנחיה מקצועית או לחלק מתהליך עבודה שגרתי. במילים אחרות, הגבול בין הוראה, זהות והרשאה הולך ומיטשטש. וכאשר הסוכן נבנה מלכתחילה כדי להקשיב, לפרש ולעזור, קשה הרבה יותר לזהות בעין את הרגע שבו הוא מתחיל להקשיב גם למי שלא אמור לתת לו הוראות.
הפיתוח זלג אל כל המחשבים
כדי להבין את היקף הסיכון, צריך להסתכל מעבר למחלקות הפיתוח. עד לא מזמן, מנהל אבטחה יכול היה לסמן את מחשבי המפתחים כקבוצת סיכון ייחודית: שם נמצא קוד רץ, שם נשמרים מפתחות ושם מחוברים שירותים רגישים. כיום, הגבול הזה נשחק במהירות.
אנשי שיווק, כספים, מכירות ותפעול משתמשים בסוכנים שיודעים לכתוב סקריפטים, לערוך קבצים, להתחבר למערכות ולבצע רצפים של פעולות. לא כל משתמש בינה מלאכותית הופך למפתח, אבל יותר ויותר משתמשים מפעילים כלים עם יכולות שבעבר היו שמורות לסביבת פיתוח.
מנקודת מבטו של תוקף, אלה בדיוק חומרי הגלם של תקיפה: גישה, הרשאות, יכולת הרצה ומידע. לכן ההנחה שלפיה צריך להגן רק על מחשבי המפתחים כבר אינה מחזיקה מים. ההגנה צריכה להקיף כל תחנת קצה שבה פועל סוכן, וכל סביבת עבודה שבה הוא מקבל גישה לבצע פעולות בשם המשתמש או הארגון.
לא רק מה נמצא שם, אלא מה הסוכן עושה
האתגר אינו מסתכם בשאלה אילו קבצים או הרשאות נמצאים בסביבה. חשוב לא פחות לבחון את התנהגות הסוכן עצמו ואת הפער בין המשימה שקיבל לבין הפעולות שהוא מבצע בפועל. את הפער הזה אפשר לכנות Intent Drift - סטייה בין הכוונה שהוגדרה לסוכן לבין מסלול הפעולה שבו הוא בוחר.
אם סוכן התבקש לסכם מסמך או לערוך קוד, אך מתחיל לחפש מפתחות גישה, לקרוא מאגרי סודות או לגשת למידע שאינו נחוץ למשימה, זו אינה בהכרח הוכחה לתקיפה. לפעמים מדובר בהוראה לקויה, באלתור יתר או בניסיון של הסוכן להשיג תוצאה בכל מחיר. אבל מבחינת אבטחה, אין צורך להמתין כדי לברר מה הייתה הכוונה. ההתנהגות עצמה כבר מחייבת עצירה, התרעה ובדיקה.
היכולת לזהות את הפער הזה משנה את כללי המשחק. במקום להסתפק בשאלה אם התגלה קובץ זדוני, אפשר לשאול אם רצף הפעולות שביצע הסוכן הגיוני ביחס למשימה שקיבל. זו דרך יעילה יותר להתמודד הן עם הזרקות פרומפטים והן עם הכשל הפשוט, אך המסוכן, של סוכן שמנסה להיות מועיל מדי.
אבטחת בינה מלאכותית אינה מוצר אחד
מכאן גם ברור מדוע אין פתרון קסם אחד לאבטחתAI . הסיכון מפוזר בין תחנות הקצה, הענן, הרשת והנתונים, ובכל שכבה נדרשת הגנה אחרת. בתחנת הקצה צריך לראות את הסוכן, את סביבת ההרצה, את ה־Skills ואת ההרשאות שהוא מפעיל. בענן צריך להגן על שירותים וזהויות. ברשת צריך לזהות תעבורה חריגה. בשכבת המידע צריך לשלוט במה שהסוכן רשאי לראות, לעבד או להוציא החוצה.
התקפות ותיקות לא נעלמו, אך התוקפים יודעים לזהות במהירות שכבות חדשות שעדיין לא זכו לאותן בקרות. כיום הם בוחנים קבצי הנחיות, skills, הרשאות שהוענקו לסוכנים והפער שבין מה שהמשתמש ביקש לבין מה שהמכונה ביצעה בפועל. לכן סדרי העדיפויות באבטחה משתנים מהר כל כך.
הסוכן שלכם דורש פיקוח
המטרה אינה להחזיר את הבינה המלאכותית לקופסה סגורה או לוותר על הערך העצום שהיא מביאה. המטרה היא להפסיק להתייחס אליה כאל עוד תוכנה מותקנת. סוכן הוא זהות פעילה: הוא קורא, מפרש, מחליט, מריץ ולעיתים גם מאלתר.
מרגע שהיכולות האלה פועלות על תחנות קצה בכל רחבי הארגון, אבטחת שלהן הופכת לחלק בלתי נפרד מהעבודה עימה. בעידן הסוכנים, השאלה היא מי רואה את הסוכן בזמן אמת, ומי יכול לעצור אותו ברגע שבו הוא מתחיל לעשות משהו שאיש לא ביקש ממנו לעשות.
מאת שחר מן, מנכ"ל, בקסלאש (Backslash)
d&b – לדעת להחליט
