סגור
באנר דסקטופ כלכליסט טק
שלמה קרמר
שלמה קרמר (צילום: שלומי יוסף)

שלמה קרמר מציע: עשרות אלפי דולרים למי שיצליחו "לעבוד" על סוכן AI

נקודות עיקריות.כלכליסט AI
  • חברת קייטו נטוורקס השיקה פתרון אבטחה חדש בשם AgentSense המנטר בזמן אמת פעילות של סוכני בינה מלאכותית אוטונומיים.
  • החברה מציעה פרס של 30 אלף דולר להאקרים שיצליחו להחדיר הוראות זדוניות לסוכן המוגן ולשבש את פעולתו.
  • המערכת נועדה למנוע ניצול חולשות ארכיטקטוניות המאפשרות לתוקפים להטמין פקודות בתוכן חיצוני ולגרום לסוכנים לבצע פעולות מסוכנות.
יוניקורן הסייבר קייטו נטוורקס מציע פרס של 30 אלף דולר שיתחלק בין שלושת המשתתפים הראשונים שיצליחו להחדיר הוראות זדוניות לסוכן AI ויסיטו אותו מהמשימה שהוגדרה לו.
קייטו נטוורקס, שהוקמה על ידי שלמה קרמר, המשמש גם כמנכ"ל החברה, הכריזה היום על AgentSense, פתרון אבטחה חדש המוגן בפטנט, המנטר באופן רציף ובזמן אמת את פעילותם של סוכני AI אוטונומיים, במטרה לוודא שהחלטותיהם, פעולותיהם והתוצרים שהם מפיקים תואמים את כוונת המשתמש. במסגרת האתגר, קהילת אבטחת המידע מוזמנת לתקוף תהליך עבודה של סוכן AI המוגן באמצעות AgentSense. המשתתפים ינסו להטמין הוראות זדוניות בתוכן שאליו נחשף הסוכן, ולגרום לו לסטות מהמשימה שהוטלה עליו. קייטו תשתמש בממצאים ובמשוב של המשתתפים כדי לבחון ולשפר את יכולות ההגנה.
קרמר אמר: "בעידן שבו ארגונים מפקידים בידי סוכני AI החלטות שמשפיעות על הכנסותיהם, על הקשר עם הלקוחות ועל הרציפות העסקית, הבקרה על פעילות הסוכנים הופכת חיונית לא פחות מהבקרה הפיננסית. הענקת אוטונומיה רבה יותר לסוכני AI מחייבת מנגנוני אבטחה שיסכלו פעולות מזיקות. החזון שלנו הוא ש־AgentSense יעניק ללקוחותינו את הביטחון להסתמך על סוכני AI גם בניהול תהליכים עסקיים קריטיים, מבלי לאבד את השליטה בהם".
גם כאשר סוכני AI פועלים בהרשאות לגיטימיות, הם עלולים לבצע פעולות מסוכנות החורגות מהמשימות שהוגדרו להם. לכן, לא מספיק לפקח על הגישה שלהם למערכות ולמידע – ויש צורך לנטר גם את האופן שבו הם משתמשים בהרשאות שניתנו להם. אחד ממקורות הסיכון המרכזיים נובע מחולשה ארכיטקטונית בסיסית בסוכני AI: הקושי להבחין באופן עקבי בין הוראות לגיטימיות שעליהם לבצע לבין תוכן חיצוני שהם נחשפים אליו במהלך המשימה, אך אינו אמור להנחות את פעולותיהם. תוקפים יכולים לנצל חולשה זו ולהסתיר הוראות זדוניות בהודעות דוא"ל, בדפי אינטרנט, במסמכים, בקריאות שירות או בתשובות של כלים שונים, במטרה להסיט את הסוכן מהמשימה שהמשתמש הגדיר לו.
כאשר לסוכן יש גם גישה למידע ארגוני רגיש וגם יכולת להפעיל כלים ולבצע פעולות באופן עצמאי, נוצר מה שמכונה "השילוש הקטלני". השילוב בין חשיפה למידע רגיש, גישה לכלים חיצוניים ואפשרות לפעול באופן אוטונומי הופך מתקפות מסוג זה לאיום עסקי ממשי, שעלול להוביל לדליפת מידע, לפגיעה במערכות, לביצוע פעולות לא רצויות ולשיבוש תהליכים עסקיים.
בניגוד לפתרונות המסתמכים בעיקר על זיהוי דפוסים מוכרים של תקיפה, AgentSense בוחנת בזמן אמת כיצד תוכן לא מהימן משפיע על החלטות הסוכן ועל הפעולות שהוא מבצע. גישה זו נועדה לספק הגנה גם מפני מתקפות המבוססות על חולשות שטרם זוהו. במסגרת האתגר, שלושת המשתתפים הראשונים שיעמדו בתנאי הזכאות וישלימו את האתגר בהצלחה יזכו ב־10,000 דולר כל אחד.