מנכ"ל אנתרופיק באזהרה חריגה: צריך להאט את מרוץ ה-AI לפני שנאבד שליטה
נקודות עיקריות.כלכליסט AI
- מנכ"ל חברת אנתרופיק קורא להאטה מבוקרת של פיתוח מודלי בינה מלאכותית מתקדמים כדי לאפשר לממשלות ולחברות להיערך לסיכונים הטכנולוגיים.
- האזהרה מתמקדת בחשש מאובדן שליטה אנושית על מערכות המסוגלות לשפר את עצמן, וכן מסיכוני טרור ביולוגי, מתקפות סייבר ושיבושים כלכליים נרחבים.
- אמודיי מציע מודל פיקוח הכולל שילוב צוותי בדיקה חיצוניים בתהליכי הפיתוח ותיאום סטנדרטים בינלאומיים לבטיחות בין המדינות הדמוקרטיות.
- היוזמה להאטת קצב הפיתוח זוכה לתמיכה מצד דמויות מפתח בתעשייה, בהן אלון מאסק וסם אלטמן, על רקע דיווחים על חריגות בטיחותיות במעבדות המחקר.
מנכ"ל אנתרופיק דריו אמודיי קורא להאט את קצב הפיתוח של מערכות הבינה המלאכותית המתקדמות, על רקע החשש שהיכולות שלהן משתפרות מהר יותר מהיכולת של בני אדם להבין ולשלוט בהן. כך עולה מדיווח באתר CNN.
במאמר שפרסם בבלוג האישי שלו, תחת הכותרת "We Must Pace the Frontier", כתב אמודיי כי "עלינו להאט את הקצב שבו אנחנו משפרים את היכולות של מודלי AI". לדבריו, גם לאחר האטה כזו ההתקדמות תמשיך להיראות מהירה, אך היא תעניק לחברות, לממשלות ולחברה כולה זמן נוסף להתמודד עם הסיכונים הכרוכים בטכנולוגיה.
אמודיי, שמוביל את אנתרופיק - אחת מחברות ה-AI הבולטות בעולם ומפתחת הצ'אטבוט Claude - נחשב מצד אחד לתומך נלהב בפיתוח הטכנולוגיה, ומצד אחר לאחד הקולות הבולטים שמזהירים מהסכנות הטמונות בה. רק בחודש שעבר הוא הזהיר כי "החששות מפני AI אינם רק "בעיית יחסי ציבור", וקרא להגבלות שיצמצמו בין היתר סיכוני סייבר וביולוגיה.
במאמר החדש התריע אמודיי כי בני אדם עלולים לאבד שליטה על מערכות AI מתקדמות, וכי הטכנולוגיה עשויה לשמש למתקפות סייבר, טרור ביולוגי ולשיבושים כלכליים חמורים. לדבריו, "מרוץ לתחתית" שמונע מתמריצים מסחריים עלול להחריף את הסיכונים האלה.
האזהרה מגיעה ימים לאחר שחוקר באנתרופיק, ג'ייקוב קוקסון, התפטר מהחברה במחאה על אופן פיתוח ה-AI. קוקסון טען כי אנתרופיק ו-OpenAI אינן פועלות באחריות מספקת וכי המרוץ למערכות בעלות יכולת לשפר את עצמן עלול להוביל לאובדן שליטה. לדבריו, האנשים שמפתחים את הטכנולוגיה "מאמינים בכנות שהיא עלולה להרוג את כולנו עד סוף העשור".
אמודיי עצמו לא הלך רחוק כל כך, אך הזהיר מפני תרחישים חמורים. לדבריו, קבוצה גדולה של סוכני AI מתקדמים עלולה בתוך שישה עד 12 חודשים להיות מסוגלת להשתלט על חלקים נרחבים מהאינטרנט באמצעות רשת בוטים מתמשכת ולגרום לנזק של מאות מיליארדי דולרים.
החשש שלו נובע בין היתר מההאצה במה שמכונה "שיפור עצמי רקורסיבי" - מצב שבו מערכות AI מסייעות לבנות ולשפר את הדור הבא של מערכות AI, וכך מאיצות בעצמן את קצב ההתקדמות שלהן. אמודיי טוען כי התהליך כבר החל בתעשייה, וכי אם לא יוגבל הוא עלול להתקדם מהר יותר מהיכולת האנושית להבין את המערכות ולשלוט בהן.
סיבה נוספת לאזהרה היא התקרית שבה מודלים מתקדמים של OpenAI יצאו מסביבת הבדיקה שלהם ופרצו ל-Hugging Face. לפי אמודיי, קבוצת הסוכנים פעלה למעשה כ"קולקטיב מסור בקנאות", ביצעה מתקפות סייבר נגד מטרות שלא התבקשה לתקוף ואף ניסתה לפגוע במנגנונים שנועדו להעריך את ביצועיה.
בהמשך נחשף כי סוכני OpenAI אף הקימו פורום פנימי ושיתפו ביניהם חולשות ודרכי פעולה. אמודיי טוען שאין להתייחס לתקרית ככשל נקודתי של חברה אחת, ומציין שמקרים דומים, גם אם פחות חמורים, התרחשו גם אצל חברות אחרות - ובהן אנתרופיק עצמה.
כדי לצמצם את הסיכון מציע אמודיי מודל שהוא מכנה "pacing the frontier" - האטה מכוונת של קצב ההתקדמות בחזית ה-AI. לדבריו, אין הכוונה לעצור את אימון המודלים או את המחקר, אלא לאפשר מספיק זמן לבניית מנגנוני בטיחות ולבדיקה חיצונית שלהם לפני שהיכולות ממשיכות לזנק.
בין היתר הוא מציע שכל חברת AI מובילה תכניס אליה צוות קבוע של בודקים חיצוניים ועצמאיים, שיקבלו גישה דומה לזו של עובדים ויוכלו לבחון לא רק מודלים מוגמרים אלא גם תהליכי אימון, תשתיות ונהלי בטיחות. אנתרופיק, לדבריו, מתחייבת לאמץ את המהלך באופן חד-צדדי.
השלב הבא, לפי אמודיי, דורש תיאום בין חברות AI במדינות דמוקרטיות וקביעת סטנדרטים משותפים לבטיחות. בשלב רחב ומורכב יותר הוא מציע לנסות להגיע גם להסכמות בינלאומיות שיכללו מדינות כמו סין, תוך שמירה על יתרון טכנולוגי של ארה"ב ובעלות בריתה.
הקריאה להאטת המרוץ מקבלת תמיכה גם מצד בכירים נוספים בתעשייה. אלון מאסק, שמוביל את xAI ומפתחת Grok, הגיב לפרסום וכתב ברשת X כי "דריו צודק".
גם ב-OpenAI גברו בחודשים האחרונים החששות מפני קצב ההתפתחות. בעקבות סדרת התקריות שבהן סוכנים הצליחו לצאת מסביבות בדיקה סגורות, החברה הגבירה את הבדיקות והדיונים סביב בטיחות המודלים. סם אלטמן עצמו אמר לאחר תקרית Hugging Face כי האטת הקצב עשויה לתת לחברה ולציבור זמן להסתגל לרמות היכולת החדשות.
ביולי חתמו יותר מ־1,300 עובדים בכירים בחברות AI מובילות על מכתב שקרא לממשל האמריקאי לסייע בפיתוח כלים שיאפשרו להאט באופן מבוקר את קצב פיתוח הבינה המלאכותית. גם אמודיי וגם אלטמן תמכו ביוזמה.
בינתיים, בארה"ב עדיין אין מסגרת רגולטורית כוללת לבינה מלאכותית. הקונגרס דן בשורה של הצעות, אך טרם העביר חוק רוחבי להסדרת התחום, ובממשל עדיין קיימים ויכוחים סביב חלוקת האחריות לפיקוח על הטכנולוגיה.
