חריגות של מיליונים בתקציב: השימוש של העובדים ב-AI ניפח את הוצאות אמזון
לפי הפייננשל טיימס, כשלים בהפעלת מודלי AI והיעדר מנגנוני בקרה הובילו להוצאות בלתי מתוכננות באמזון. כך למשל, באחד הפרויקטים נרשמה חריגה של 860% והוצאה של 1.8 מיליון דולר, שהתגלתה רק לאחר חמישה חודשים - בלי שהמשימה הושלמה. כעת מפתחת החברה מנגנוני הגנה אוטומטיים
שגיאות באופן שבו אמזון יישמה והפעילה מודלי AI והעדר מנגנוני בקרה במערכות הארגוניות שלה גרמו ל"חריגות קטסטרופליות" של מיליוני דולרים על מודלים אלו – כך חושף הפייננשל טיימס.
בשנתיים האחרונות, ארגונים רבים מנגישים לעובדים מודלי AI על מנת לסייע במשימות שוטפות דוגמת כתיבת קוד, יצירת מצגות, סיכום פגישות וזיהוי תובנות במידע ארגוני. בתחילה חברות, בעיקר בהייטק, עודדו עובדים להרחיב את השימוש ב-AI ככל הניתן, לעתים תוך מדידת עובדים לפי היקף השימוש שלהם במודלים (באמצעות היקף הטוקנים שמשימות ה-AI שלהם צורכות).
הדבר הוביל לטרנד שכונה Tokenmaxxing, במסגרתו עובדים מקסמו את השימוש שלהם ב-AI, לעתים בצורה מלאכותית. ואולם, לאחרונה הבינו חברות שהעלות של הפעלת המודלים לעתים גדולה יותר מהתמורה שהם מספקים, בפרט כאשר עובדים עושים בהם שימוש חסר אבחנה שכולל משימות פשוטות יחסית.
באמזון למדו על בשרם עד כמה שימוש לא מרוסן ב-AI יכול לעלות. לפי הפייננשל טיימס, בפגישת צוות שנערכה בענקית הטק בשבוע שעבר, מהנדסים בכירים אמרו שניסיונות להעביר משימות תכנות לידי מודלים הובילו להוצאות "לא מתוכננות". במקרה אחד, אמזון הוציאה 1.8 מיליון דולר בניסיון להשתמש בקלוד של אנתרופיק כדי להתאים בין פרטי סופרים לרשומות באתר החברה, ללא הצלחה. ההוצאה ייצגה חריגה של 860% לעומת התקציב המתוכנן של הפרויקט, והתגלתה רק לאחר חמישה חודשים.
לא מדובר בתקרית בודדת. במקרה אחר, אמזון ספגה הוצאה לא מתוכננת של 541 אלף דולר בפרויקט לבניית כלי ביקורת פיננסי. בתקרית נוספת, שבה נעשה שימוש ב-AI כדי לשפר מהירות משלוחים במערך הלוגיסטי של אמזון, רשמה החברה הוצאות לא מתוכננות של 134 אלף דולר שהתגלו רק אחרי שבועיים.
לדברי המהנדסים הבכירים, טעויות קידוד שיכולות להיות "זולות וטריוויאליות" כאשר מדובר במערכות מסורתיות הופכות ל"יקרות קטסטרופלית" ברגע שמערבים AI במשימות. כעת, עמלים המהנדסים על יצירת מנגוני הגנה אוטומטיים שימנעו חריגה מההוצאות בפרויקטים עתידיים. "קשה להבין כמה עולה כל דבר שקשור ל-AI", אמר בכיר באמזון לפייננשל טיימס.
התקריות זניחות ביחס להיקף הפעילות של אמזון, שרשמה ברבעון השני הכנסות של 200.61 מיליארד דולר ורווח נקי של 62.65 מיליארד דולר. ואולם, הן ממחישות את האתגרים שארגונים מתמודדים עמם בשילוב AI ואת העלויות הגבוהות והלא צפויות שיכולות להיות למערכות אלו.
לא מדובר בפעם הראשונה שאמזון מתמודדות עם העלויות הבלתי צפויות של AI. במאי השנה סגרה אמזון לוח מובילים פנימי שדירג עובדים לפי היקף השימוש שלהם ב-AI, לאחר שהעובדים ניפחו את צריכת הטוקנים שלהם כדי לטפס לראש הדירוג. בכירים בחברה הסבירו שהדירוג נוצר עם "כוונות טובות", אך בסופו של דבר הוביל לניפוח בהוצאות.
מאמזון נמסר בתגובה: "כמו עם כל טכנולוגיה חדשה, אנחנו מתנסים, לומדים ומשתפרים בשימוש בה, כולל איך לייעל את העלויות. בחירה בררנית של דוגמות קטנות ומבוססות שבהן צוותים לומדים זה מזה והצגתן כעסקים כרגיל לא משקפת את האופן שבו צוותים באמזון משתמשים ב-AI".
