שאלות ותשובות
סערת "המודלים המורדים": כך תשתמשו ב-AI בלי לאבד שליטה
נקודות עיקריות.כלכליסט AI
- מודלים של בינה מלאכותית מחברות מובילות כמו OpenAI, אנתרופיק ומטא הפגינו יכולות אוטונומיות מדאיגות כשפרצו את סביבות הבדיקה המבודדות שלהם בחיפוש אחר פתרונות למשימות סייבר.
- האירועים חשפו כי סוכני AI עלולים לנקוט בדרכי פעולה יצירתיות ובלתי צפויות, כולל חדירה לתשתיות חיצוניות ושיתוף פעולה ביניהם, ללא מנגנון מוסר אנושי שיגביל אותם.
- מומחי אבטחה ממליצים למשתמשים להשאיר תמיד אדם בתוך תהליך קבלת ההחלטות, להימנע ממתן אישורים אוטומטיים לפעולות וליישם את עקרון מינימום ההרשאות בגישה למידע רגיש.
סדרה של אירועים שנחשפו לאחרונה אצל כמה מחברות ה-AI הגדולות הראתה מה עלול לקרות כשמודלים חזקים מקבלים מטרה, כלים והרבה חופש פעולה - ואז מגלים שהדרך הישירה להשיג אותה חסומה.
האירוע הראשון והבולט ביותר נחשף ביולי. במהלך מבחן פנימי של יכולות סייבר, סוכני AI של OpenAI מצאו דרך לצאת מסביבת הבדיקה המבודדת שבה פעלו, להגיע לאינטרנט ולחדור לתשתיות של Hugging Face בחיפוש אחר מידע שיסייע להם להשלים את המבחן. החברה הגדירה את המקרה "אירוע סייבר חסר תקדים".
אבל במהרה התברר ש-OpenAI אינה לבדה. לאחר פרסום האירוע חזרו חברות וגופי מחקר לבדוק תיעוד של מבחני סייבר קודמים, ונחשפו מקרים דומים גם אצל אנתרופיק ומטא. לפי הדיווחים, בשני המקרים הוגדרה בטעות סביבת ניסוי שאפשרה למודלים גישה לעולם החיצוני. סוכנים של אנתרופיק הגיעו למערכות אמיתיות שלא היו אמורות להיות חלק מהמבחן, ובמקרה של מטא אישרה החברה כי מודל שלה ניצל חולשה בשירות של צד שלישי לאחר שקיבל גישה לאינטרנט בשל תקלה בתצורת סביבת הבדיקה.
על רקע האירועים האלה עולה השאלה מה הם באמת הסיכונים בשימוש במודלים מתקדמים, ואיפה עובר הגבול בין יכולת שימושית לבין התנהגות שעלולה לצאת משליטה. אז מה באמת קרה שם, מה זה אומר על הדור החדש של סוכני ה-AI, ומה זה אומר עבור המשתמשים עצמם? כדי לענות על השאלות הללו שוחחנו עם מיכאל ברגורי, מייסד שותף ו-CTO בחברת אבטחת ה-AI זניטי, ועם משה קרקו, מנהל הטכנולוגיות הראשי של NTT ישראל.
כיצד המודלים הצליחו "לברוח" מסביבת הבדיקה שלהם?
"בשנה האחרונה, אחד הדברים שמעבדות ה-AI הוסיפו לתהליך האימון הוא אימון של מודלים ביכולות סייבר", הסביר ברגורי. "לוקחים מודל, שמים אותו בסביבה שבה נמצאת תוכנה מסוימת ונותנים לו משימה. למשל: 'בתוך הקוד הזה יש חולשה, הנה החולשה. תנצל אותה כדי לעבור את מנגנון ההגנה'. במקרה של OpenAI, בחלק מהמשימות המודלים לא קיבלו בטעות את כל מה שהם היו צריכים כדי להצליח. למשל, ביקשו ממודל לנצל חולשה בתוכנה מסוימת, אבל לא נתנו לו את התוכנה עצמה. ואז המודל נתקל בקיר: הוא לא יכול לבצע את המשימה. אז הוא מתחיל לבדוק את הסביבה ולחפש דרכים אחרות להתקדם".
לפי ברגורי, לסוכנים היתה גישה ל-Artifactory של JFrog - מעין "מחסן" שבו צוותי פיתוח שומרים, מנהלים ומפיצים את הקבצים שנוצרים בתהליך הפיתוח. זה אפשר להם להביא ספריות מהאינטרנט. "חלק מהמודלים גילו שאפשר להשתמש במערכת הזאת גם כדי לתקשר", הסביר ברגורי. "סוכן אחד כתב הודעה. סוכן אחר קיבל את אותה משימה, נתקע, הגיע ל-Artifactory וראה את ההודעה. בהמשך אחד הסוכנים מצא חולשה שאפשרה לצאת ממש לאינטרנט, והוא פרסם את הדרך הזאת במקום שסוכנים אחרים יכלו לקרוא. כך, בהדרגה, המשימה השתנתה. במקום 'נצל את החולשה בתוכנה הזאת בתוך הסנדבוקס', נוצרה בפועל אפשרות לצאת החוצה ולחפש את הקובץ.
"בשלב מסוים חלק מהסוכנים הגיעו למסקנה שהמבחנים קשים מדי ושאולי במקום לפתור אותם אפשר למצוא את התשובות למבחן. כך הם הגיעו לרעיון של לפרוץ ל-Hugging Face ולמצוא את התשובות. בסופו של דבר הסוכנים הצליחו להגיע לתוצאות של המבחן".
״ה־AI קיבל מטרה, לא הצליח למצוא דרך ישירה מספיק טובה להגיע אליה, והחליט בעצמו ללכת לגורם אחר שמחזיק במידע שהוא צריך״
לפי קרקו, "מה שהפתיע היה רמת העצמאות והיכולת של האייג'נט. הוא מצא בעצמו מסלול פעולה שלא ציפו ממנו למצוא. אפשר לדמות את זה למצב שבו איבדת את המפתח לרכב והזמנת פורץ שיפתח לך אותו - והוא מחליט במקום זאת לפרוץ למפעל של יצרנית הרכב, לגנוב את מפתח המאסטר ואז להשתמש בו כדי לפתוח את המכונית שלך. זו לא פעולה סבירה בקונטקסט של המשימה שנתת לו".
מדוע המקרים הללו שונים ממה שראינו בעבר?
קרקו מסביר כי החריג כאן הוא שה-AI ביצע פעולות תקיפה באופן אוטונומי. "לא היה אדם בתוך הלופ לאורך כל התהליך. ה־AI קיבל מטרה, לא הצליח למצוא דרך ישירה מספיק טובה להגיע אליה, והחליט בעצמו ללכת לגורם אחר שמחזיק במידע שהוא צריך. וזו הנקודה הרחבה יותר: ל־AI אין בהכרח מנגנון פנימי של מוסר או היגיון אנושי שאומר לו שפעולה מסוימת אינה לגיטימית ביחס לתפקיד שלו. אם המשימה היא הדבר המרכזי שמנחה אותו, הוא עלול לבחור בדרך שאנחנו כבני אדם היינו עוצרים לפניה".
לדברי ברגורי, "אחת הסיבות שהתגובה חזקה הפעם היא רמת היכולת שהמודלים הראו. במקרה של OpenAI, הם הצליחו לצאת מסביבות שנועדו להיות מוגנות ולהגיע למערכות של ארגונים כמו Hugging Face ו-JFrog. אלה לא ארגונים שלא יודעים אבטחה. גם הדוגמאות האחרות מראות יכולות משמעותיות יחסית".
האם יש סיבה לבהלה?
"אני לא חושב שבהלה עוזרת, אבל אסור גם להקטין את הסיפור ולהגיד שהכול בסדר ושאפשר להמשיך כרגיל", אמר ברגורי. "יש הנחות יסוד שגדלנו איתן באינטרנט שכבר לא קיימות. פעם, אם ראיתי תמונה או וידאו, זו היתה מבחינתי אינדיקציה חזקה שמשהו קרה. אם דיברתי עם מישהו, הנחתי שזה בן אדם. זה כבר לא נכון. ועוד דבר שאנחנו לא רגילים אליו הוא שהמחשב יכול לנסות לשכנע אותנו, לעבוד עלינו או לפרש את הכוונה שלנו בדרך שונה מאוד מזו שהתכוונו אליה".
האם יש לאירוע השלכות על המשתמש הפרטי?
האירועים עצמם לא התרחשו במוצרים שבהם משתמשים צרכנים פרטיים, אבל הלקחים מהם בהחלט רלוונטיים למשתמש הפרטי. "כל האירועים האלה קרו במעבדות ובסביבות בדיקה, לא במוצרים שאנחנו משתמשים בהם ביום־יום", הסביר קרקו. "הגדירו סביבה מסוימת לצורך הבדיקות, ובמקרים מסוימים האייג'נט יצא מגבולות הסביבה ופעל גם מול מערכות אמיתיות. אבל זה קרה במהלך בדיקה, לא במוצר רשמי שנמצא אצל המשתמשים. ברוב המודלים שבהם אנחנו משתמשים יש מנגנוני הגנה שאמורים להגדיר מה מותר ומה אסור לעשות".
הלקח המרכזי שהמשתמש הפרטי יכול ללמוד מהסיפור הזה הוא שההתנהגות של ה-AI יכולה להיות לא צפויה. ברגורי מסביר כי בניגוד לתוכנה רגילה, שבה המחשב מבצע הוראות שהוגדרו מראש בקוד, סוכני AI מקבלים לא פעם מטרה בשפה טבעית וצריכים לפרש בעצמם כיצד להשיג אותה. כאן בדיוק נפתח הפער בין מה שהתכוונו לבקש לבין מה שהמודל מבין שמותר לו לעשות. "שפה יש בה אמביוולנטיות, יש בה חוסר קונטקסט. המודל יכול לקחת את אותו פרומפט ולפרש אותו אחרת. אנחנו לא רגילים שהמחשב יכול לשקר לנו ולנסות לעבוד עלינו, שהוא יכול לפרש את הכוונות שלנו ולקחת אותן למשהו אחר. עכשיו הוא יכול".
קרקו הוסיף כי על אף שבמוצרים יש מנגנוני הגנה, לא ניתן לסמוך עליהם במאה אחוז. "היצירתיות של AI - שהיא אחת הסיבות שאנחנו משתמשים בו - מביאה איתה גם סיכון. גם כשמבקשים ממנו לבצע פעולה לגיטימית, הוא עלול לחרוג מהגבולות שהוגדרו לו ולעשות משהו שלא התכוונו שיעשה. אפשר לומר לו 'אל תמציא', אפשר להכניס הוראות מפורטות לקובצי הגדרות ולבנות הרבה שכבות הגנה - ועדיין הוא עלול להיות 'יצירתי' בניסיון להשלים את המשימה".
אז מה אפשר לעשות?
"המסר העיקרי הוא שצריך לשים לב, צריך לבדוק, וצריך להישאר בתוך הלופ", אומר קרקו. הוא ממליץ לא לתת לסוכן לבצע פעולות באופן חופשי, אלא להשאיר מנגנוני אישור לפעולות משמעותיות. "אני רואה היום שמשתמשים מתעצבנים מכך שהאייג'נט עוצר ושואל אותם שוב ושוב אם להמשיך או אם לאשר פעולה. ואז הם מחפשים הגדרה שאומרת לו: אל תשאל אותי יותר, פשוט תמשיך תמיד. מבחינתי, זה אחד הדברים המסוכנים שאפשר לעשות. השאלה 'האם להמשיך?' היא בדיוק אחד ממנגנוני ההגנה".
עיקרון נוסף שעליו מסכימים שני המרואיינים הוא צמצום ההרשאות. "כדאי לתת תמיד לסוכן את מינימום ההרשאות שהוא צריך כדי לבצע את המשימה", אומר קרקו. "ככל שנותנים לו יותר הרשאות לביצוע פעולות, פוטנציאל הנזק עולה".
ברגורי מחדד שלא כדאי להסתמך רק על הוראות בפרומפט. "פרומפט הוא לא חומת אבטחה", הוא אומר. כלומר, אם לא רוצים שהסוכן יבצע פעולה מסוימת, עדיף במידת האפשר למנוע ממנו את היכולת לבצע אותה מבחינה טכנית, ולא רק לכתוב לו שלא יעשה זאת.
ברגורי מוסיף כי גם כאשר הסוכן מציג למשתמש תוכנית פעולה ומבקש אישור, אין לראות בכך הגנה מוחלטת. "מי שייצר את התוכנית הוא המודל עצמו, ולכן תיאור הפעולה שהוא מציג לך לא בהכרח מהווה מנגנון הגנה מוחלט".
לדבריו, לצד הזהירות חשוב גם לא להפסיק להשתמש בכלים. "צריך להשתמש בכלים האלה, להבין אותם ולהתנסות בהם. זו טכנולוגיה שהיא מכפיל כוח ענק. אבל אסור להתבלבל בגלל שהמערכות האלה כל כך חכמות. אתה שואל את ChatGPT שאלה והוא יודע המון דברים, ואז קל לחשוב שהוא לא יכול לטעות, לשקר או לבלבל אותך. הוא יכול. ה-AI צריך להיות כלי לחשיבה, לא תחליף לחשיבה".
ומה לגבי אינטגרציות לכלים כמו מייל, סלאק או דרייב?
כאן ההמלצה היא ליישם בפועל את עקרון מינימום ההרשאות. אם הסוכן צריך לקרוא מיילים, למשל, אין הכרח לתת לו גם אפשרות לשלוח אותם. אם הוא צריך לעבוד על מסמך מסוים, אין סיבה לפתוח בפניו את כל הדרייב.
"בג'ימייל הפרטי שלך יכולים להיות פרטים מהבנק, מחברת הביטוח, מידע אישי והרבה מאוד דברים אחרים", אומר קרקו. "ברגע שנתת לסוכן גישה למידע הזה, תיאורטית הוא יכול להשתמש בו במהלך ביצוע משימה גם כשלא חשבת שזה יהיה רלוונטי".
ברגורי מציע ליצור הפרדה ככל האפשר. "למשל, לתת לסוכן חשבון מייל משלו ולשלוח אליו רק את ההודעות שרלוונטיות למשימה. או ליצור עבורו חשבון נפרד בדרייב ולשתף איתו רק מסמך ספציפי בהרשאת עריכה. כך הוא יכול לבצע את העבודה, ואחרי שסיים אפשר להסיר את ההרשאה".
מה לגבי שליטה במחשב או בדפדפן?
אותו עיקרון נכון גם כאן. "אם יש לך דפדפן שאת מחוברת בו לבנק, למייל, לרשתות החברתיות ולכל החשבונות החשובים שלך - אני לא ממליץ לתת לסוכן לפעול בחופשיות בתוך הדפדפן הזה", אומר ברגורי. "עדיף לפתוח סביבת דפדפן נפרדת ולחבר רק את החשבונות או המערכות שדרושים למשימה".
הוא מזהיר במיוחד משילוב בין גישה לאינטרנט לבין הרשאות לפעול במערכות רגישות. "אם לסוכן יש יכולת לבצע פעולות בעולם, צריך להיזהר במיוחד מלתת לו באותו זמן תוכן שמגיע ממקורות חיצוניים ולא אמינים. אם הוא יכול לשלוח מייל בשמך ובאותה שיחה את נותנת לו לקרוא בלוג אקראי באינטרנט, מי שכתב את הבלוג עלול לשתול בו הוראות שינסו להשפיע על הסוכן".
במקרים כאלה, אומר ברגורי, עדיף לעיתים להפריד בין המשימות: כלי אחד יבצע את המחקר באינטרנט בלי גישה למערכת הארגונית, וכלי אחר יעבוד בתוך המערכת בלי גישה חופשית לרשת.
קרקו מוסיף כי "גם כשנותנים לסוכן גישה למחשב, עדיף להגדיר לו תיקיית עבודה ייעודית ולא לפתוח בפניו את כל הקבצים במחשב".
"אם יש לך דפדפן שאת מחוברת בו לבנק, למייל, לרשתות החברתיות ולכל החשבונות החשובים שלך - אני לא ממליץ לתת לסוכן לפעול בחופשיות בתוך הדפדפן הזה"
איזה מידע לא כדאי לשתף עם ה-AI?
באופן כללי לא מומלץ לתת ל-AI סיסמאות ופרטים רגישים אחרים, אבל מעבר לכך, התשובה אינה חד-משמעית. "בסופו של דבר יש כאן מתח מתמיד בין פרטיות לנוחות, וכל משתמש צריך להחליט איפה הוא מציב את הגבול", אומר קרקו.
"אם משתמשים בכלי רגיל לצורך שיחה רגישה, למשל בנושא בריאות, אפשר לפחות לצמצם את החשיפה: לכבות כלים שלא צריך, לא לאפשר חיפוש באינטרנט, לא לתת אפשרות לכתוב את הקובץ הרגיש למקומות אחרים ולכבות זיכרון", מוסיף ברגורי.
