מנכ"ל מיקרוסופט מצטרף לאזהרות מפני ה-AI: "חייבים בלם חירום"
נקודות עיקריות.כלכליסט AI
- מנכ"ל מיקרוסופט קורא לעצירה זמנית בפיתוח מודלי בינה מלאכותית מתקדמים כדי להעריך מחדש את רמת האמון והשליטה בהם.
- נאדלה מתריע כי למערכות הנוכחיות אין מנגנוני ניטור מספקים המאפשרים להבין את מקור התנהגותן או להגביל פעולות קריטיות.
- הפתרון המוצע כולל ארכיטקטורת הכלה המאפשרת לאדם להפעיל בלם חירום ולהפסיק את פעולת המודל בכל שלב.
מנכ"ל מיקרוסופט, סאטיה נאדלה, קורא לבצע "בלימת חירום" על המשך הפיתוח של מודלי AI מתקדמים. "הגיע הזמן לקחת צעד לאחור, ולהעריך את ארכיטקטורת האמון בעידן החדש הזה", הוא כתב בפוסט שפרסם ב-X (לשעבר טוויטר). "אנחנו לא יכולים לבטוח בבינת-על (SI) כמערכת של קופסאות שחורות, ורק לקבל או לדחות את ההמלצות, התשובות והפעולות שלה".
בשבועות האחרונים, בכירים בתעשיית ה-AI, ובראשם דריו אמודיי מאנתרופיק, סם אלטמן מ-OpenAI, ואלון מאסק מ-SpaceX, קראו להאט את הפיתוח של מודלי AI מתקדמים. עתה מצטרף לקריאות נאדלה, שתחת הנהגתו הפכה מיקרוסופט לאחת השחקניות המרכזיות בתחום.
לדברי נאדלה, למערכות AI מודרניות אין מנגנונים שמאפשרים לנטר ולהבין את ההתנהגות שלהן. "אנחנו לא יכולים לייחס התנהגות ופלטים של מודל לקלט, מידע אימון או קונפיגורציות פרטניים", הסביר. "ובכל זאת, אנחנו פורסים מערכות מודלים מורכבים עם גישה למידע הרגיש ביותר ומאפשרים להן לנקוט פעולות קריטיות בשמנו. אנחנו חייבים לבנות מערכות מוכלות שאנחנו יכולים לנטר את ההתנהגות שלהן, עם גבולות שאנו יכולים לבחון ופעולות שאנחנו תמיד יכולים להגביל".
הדרך לעשות זאת, הוסיף, היא באמצעות התייחסות למודלים כאל סיכון פנימי. "לא כי הם בהכרח זדוניים, אלא כי כל שחקן מיומן דיו עם גישה למערכות חשובות יכול לטעות, וארכיטקטורה של הכלה ושליטה מאפשרת להתמודד עם זה", כתב נאדלה. "החדשות הטובות הן שכבר למדנו הרבה על איך להתמודד עם שחקנים עצמתיים בתוך תאגיד, ועכשיו אנחנו מתחילים ליישם עקרונות אלו ל-SI". (באקט של קפיטולציה, נאדלה מתייחס בפוסט שלו לבינה מלאכותית (AI), כבינת-על (SI), בהתאם לדרישה של דונלד טראמפ).
נאדלה מציע מספר עקרונות לעיצוב, פיתוח, אימון ובדיקה של מערכות AI. אלו כוללים גיוון במודלים, ניטור של הכל ("כל פעולה משמעותית של המודל צריכה להשאיר ראיה"), יכולת אימות, מנגנוני שליטה עצמאיים ויכולת אימות עצמאית. עיקרון משמעותי נוסף הוא הכלה. "אנחנו צריכים להניח שהמודל פגום ולהכיל אותו מההתחלה. תחשבו על זה כעל בלם חירום. אדם מאושר תמיד צריך להיות מסוגל להשהות או לסגור מודל באמצע משימה. מודלים מתקדמים יותר ידרוש טכנולוגיות הכלה מתקדמות יותר".
הוא סיכם: "מערכת הבינת-על האמינה ביותר לא תהיה זו עם המודל שאנחנו הכי בוטחים בו, אלא זו שמאפשרת לנו לבטוח במודל כמה שפחות".
