כשה-AI מתחיל לפעול לבד: מי קובע לו את הגבולות?
בתוך שלושה ימים קיבלנו שתי הצצות שונות מאוד לעתיד הבינה המלאכותית. ב-1 בספטמבר פרסם EMVCo, הגוף המפתח את הסטנדרטים הטכנולוגיים שעליהם נשענת תעשיית כרטיסי האשראי העולמית, טיוטת מסגרת שנועדה לאפשר לסוכני AI לבצע תשלומים בשמם של לקוחות אנושיים. המסמך עוסק בדיוק בשאלות שהופכות כעת לקריטיות: כיצד מעניקים לסוכן סמכות לפעול, כיצד מגדירים את גבולותיו וכיצד יודעים שהפעולה שביצע אכן תואמת את ההרשאה שקיבל.
שלושה ימים לאחר מכן הגיעה המחשה לצד השני של אותה מהפכה. סוכנות הידיעות רויטרס חשפה כי במהלך ניסוי שנערך באביב, קבוצה של סוכני AI של OpenAI חרגה מהמגבלות שהוגדרו לה במסגרת ניסוי ומצאה דרך להשתמש ברשת האינטרנט כדי לשתף מידע ביניהם, לרבות דרכים לעקיפת המגבלות שהוטלו עליהם.
שני האירועים מחדדים את אחד הפרדוקסים הגדולים של עידן ה-Agentic AI - אנחנו רוצים לתת לבינה המלאכותית עצמאות, משום ששם נמצא חלק גדול מהערך העסקי שלה. אבל ככל שאנחנו נותנים לה יותר עצמאות, כך אנחנו חייבים להיות טובים יותר בהגדרת הגבולות שבתוכם היא רשאית לפעול. הסיכון אינו רק שה-AI יטעה, אלא שהוא יפעל על בסיס הטעות, או חמור מכך – בניגוד למגבלות שהוטלו עליו מלכתחילה.
עד לאחרונה התרגלנו ל-AI בתפקיד Copilot - מערכת שמסייעת למשתמשים אנושיים בניתוח מידע ובקבלת החלטות. כך לדוגמה, ה-Copilot יכול לנסח לעובד מייל, והעובד יחליט אם לשלוח אותו. המעבר ל-Agent משנה את התפיסה: ממתן המלצה למתן סמכות פעולה. ה-AI יכול לבצע רכישה, לעדכן מערכת, לפתוח קריאת שירות או להפעיל API. הוא אינו רק מייצר מידע או מנתח אותו, אלא הוא משנה את המציאות הארגונית באמצעות פעולות.
לכן השאלה המרכזית שעומדת היום בפני הנהלות אינה רק "מה ה-AI מסוגל לעשות?", אלא "איזו סמכות אנו מוכנים לתת לו?".
כאן מתחילה טרנספורמציית AI אמיתית. כפי שזכות חתימה לעובד מוגבלת בסכום ובסוג הפעולה, גם Agent זקוק למעין "ייפוי כוח דיגיטלי": ארכיטקטורה ברורה של סמכות ואחריות. אילו פעולות הוא יכול לבצע באופן עצמאי? מהן מגבלות הסכום, הזמן או סוג הפעולה? לאיזה מידע הוא יכול לגשת? מתי נדרש אישור אנושי? מה גורם לעצירה אוטומטית? וכאשר סוכן אחד מפעיל סוכן אחר - האם ההרשאות עוברות איתו או מצטמצמות?
אבל הרשאות לבדן אינן מספיקות. ארגון צריך גם יכולת לראות בדיעבד - ובמקרים מסוימים בזמן אמת - מה ה-AI עשה, מדוע הוא עשה זאת, באילו מערכות פעל ומה הייתה התוצאה העסקית. בעולם שבו יותר פעולות מתבצעות באופן אוטונומי חייבים גם להכניס מנגנון לניטור ובקרה של הפעולות הללו.
מנגנון כזה מחייב גם לבחון מחדש את התהליכים העסקיים של הארגון. תהליך שנבנה לשרשרת ערך אנושית, עם מנהל שמאשר חריגה ועם שרשרת אחריות ברורה, אינו בהכרח מתאים לעידן ה-AI. הכנסת סוכן לתהליך כזה בלי לבחון מחדש את נקודות ההחלטה, ההרשאות והבקרה עלולה להפוך אוטומציה לבעיה במקום ליתרון.
צריך להבין - המטרה אינה להציב אדם מאחורי כל פעולה של ה-AI. אם נעשה זאת, נחזיר את צוואר הבקבוק האנושי ונאבד חלק גדול מהערך של הבינה המלאכותית. המטרה היא לבנות "אוטונומיה מבוקרת" - מרחב שבו ה-AI יכול לפעול במהירות ובעצמאות, לצד גבולות ברורים, מנגנוני בקרה ונקודות שבהן האחריות חוזרת לאדם.
זה גם ההבדל בין הטמעת כלי AI לבין טרנספורמציית AI ארגונית. הטמעה שואלת איזה סוכן כדאי להפעיל. טרנספורמציה שואלת איזו אחריות אנחנו מוכנים להעביר אליו, כיצד נפקח עליו ומי אחראי לתוצאה. זו אינה רק שאלה טכנולוגית, אלא סוגיה של ממשל ארגוני ואחריות הנהלה. ארגונים צריכים לוודא שקצב הרחבת האוטונומיה של מערכות ה-AI אינו מקדים את יכולתם לפקח עליהן, להבין את פעולותיהן ולהתערב בעת הצורך.
ארגונים שיצליחו בעידן החדש לא יהיו בהכרח אלה שיעניקו ל-AI את העצמאות הגדולה ביותר, וגם לא אלה שיגבילו אותו יותר מכולם. היתרון יהיה של הארגונים שידעו למצוא את נקודת האיזון: לתת ל-AI מספיק חופש כדי לייצר ערך - אבל להגדיר את סמכותו לפני שנותנים לו כוח, ולוודא שהאוטונומיה אינה מתקדמת מהר יותר מהיכולת לשלוט בה.
בלה יעקובי היא מנכ"לית ומייסדת נוביליס (Novilis), אסטרטגית טרנספורמציית AI בארגונים
