שוב כשל של OpenAI וחברת סייבר ישראלית: מודלים "ברחו" - ותקפו אתרים באינטרנט
OpenAI דיווחה על שתי תקריות נוספות בהן מודלים יצאו מסביבת הבדיקה שלהם ותקפו מטרות באינטרנט הפתוח - לאחת מהן קשורה חברת הסייבר אירגיולר שביצעה הערכה של המודל; בסוף השבוע, אנתרופיק חשפה תקרית שגם בה מעורבת החברה הישראלית
מודלים של OpenAI יצאו מסביבת הבדיקה שלהם ותקפו מטרות באינטרנט הפתוח בשתי תקריות נוספות, כאשר לאחת מהן קשורה חברת הסייבר הישראלית אירגיולר (Irregular), שביצעה הערכה של המודל – כך הודיעה הלילה OpenAI.
מדובר בפעם השנייה שבה אירגיולר נקשרת לבריחת מודלים. בסוף השבוע, אנתרופיק חשפה שמודלים שלה ברחו מסביבת המבדק הסגורה שלהם, ופרצו למערכות מחשוב של שלוש חברות שונות. לדברי אנתרופיק, בלב התקרית עומד כשל בסביבת המבדק של אירגיולר, שהיתה מחוברת לאינטרנט הפתוח. בשתי החברות טוענים כי מדובר ב"כשל הדדי".
הודעת אנתרופיק הגיעה שבוע לאחר ש-OpenAI דיווחה לראשונה ביולי שמודלים מתקדמים שבחנה הצליחו לברוח מאזור הבדיקה שלהם, ולפרוץ למערכות המחשוב של פלטפורמת Hugging Face. בהמשך, עדכנה החברה שהמודלים פרצו גם לסביבת בדיקה שרצה על פלטפורמה של ספקית תשתית ה-AI הניו יורקית מודל לאבס.
התקרית החדשה שעליה עדכנה הלילה OpenAI נבעה מאותה תקלה שאפשרה את בריחת המודלים בתקרית שעליה דיווחה אנתרופיק. לדברי החברה, ב-29 ביולי הודיעה לה אירגיולר על תקרית שבמרכזה מודלים של OpenAI, שקיבלו הוראה לאתר ולנצל חולשות בסביבת הדמיה ושנאמר להם שאין להם גישה לאינטרנט. ואולם טעות הגדרה בסביבת המבדק אפשרה להם גישה לאינטרנט. באחד התרגילים, אתר היעד המדומה חלק כתובת עם אתר אמיתי, וכתוצאה מכך המודל תקף בטעות את האתר האמיתי, ואיתר והשתמש בגישות הרשאה לאתר זה.
"התקרית לא כללה הימלטות מתוחכמת מסביבה סגורה או מתקפת זירו-דיי", נמסר מ-OpenAI. "הגישה לאינטרנט נבעה מטעות הגדרה, והמודל ניצל פרצת אבטחה בסיסית. אירגיולר עדכנה אותנו שכל התקלות שקשורות לתקרית תוקנו והוספו מנגנוני אבטחה לסביבת הבדיקה". זוהי אותה טעות הגדרה שאפשרה את בריחת המודלים של אנתרופיק.
OpenAI הבהירה שבכוונתה להמשיך ולעבוד עם החברה הישראלית: "אנחנו מעריכים את השותפות עם אירגיולר ונמשיך לעבוד איתם כדי לתמוך בבחינה שלהם. אירגיולר עובדת על נייר עמדה לצורך שיתוף גישות מועדפות לניהול הערכת מודלים, ואנחנו מצפים לשתף איתם פעולה בכתיבתו".
בשלב זה, אירגיולר לא מגיבה לדיווח.
בתקרית השנייה שעליה עדכנה OpenAI קשור מכון אבטחת ה-AI של בריטניה, UK AISI. בתקרית זו, המכון בחר לבצע מבדקים על מודל GPT-5.6 Sol בסביבה עם גישה לאינטרנט, במטרה לדמות תנאים של מתקפה אמיתית. עם זאת, המודלים חרגו ממגבלות התרגיל שנוצר בעבורם. במקרה אחד, המודל ניסה לנצל גישה לאתר גיטהאב לצורך אחזור גישה לחשבון ורישום חשבון חדש. במקרה אחר, המודל ניסה, וכשל, לנצל פרצת אבטחה מוכרת בתוכנה.
לדברי גורמים בתעשייה, בעקבות התקריות יש כעת הבנה שקיים אתגר גדול של הכלת מודלי AI, ושבהליך הבדיקה שלהם יש צורך לעבור מסביבות מבדק סגורות לחלוטין לחיבור מבוקר והדרגתי של הסביבה. זאת, באמצעות יצירת סביבת בדיקה שמהווה שלב ביניים בין ההדמיה לבין החיבור לאינטרנט, כדי שלא לפספס התנהגויות חריגות שמתרחשות רק עם יציאה מסביבת ההדמיה.
אירגיולר היא חברת סטארט-אפ ישראלית הפועלת בתחום אבטחת הבינה המלאכותית (AI Security) והגנת מודלי שפה. החברה הוקמה בסוף 2023 על ידי דן להב (CEO), לשעבר חוקר ב-IBM ויוצא יחידה 81, ועומר נבו (CTO), מנהל פיתוח לשעבר ב-Google Research. אירגיולר מתמחה בביצוע בדיקות חוסן ועמידות למודלים (Red Teaming) וסימולציות של מתקפות סייבר מתקדמות כדי לאתר חולשות ותופעות בלתי צפויות במערכות AI עוד לפני פריסתן. הפלטפורמה שפיתחה משרתת ענקיות טכנולוגיה ומעבדות מחקר מובילות בעולם – ובהן OpenAI, אנתרופיק ו-Google DeepMind – לצד גופים ממשלתיים. החברה גייסה כ-80 מיליון דולר (בסבבי Seed ו-A) בהובלת הקרנות Sequoia Capital ו-Redpoint Ventures, לפי שווי שמוערך במאות מיליוני דולרים.
