מחקר חדש: בינה מלאכותית דווקא מאטה מפתחים מנוסים בקוד המוכר להם
במחקר נמצא, כי כי כלי קידוד מבוססי בינה מלאכותית, כמו Cursor, האריכו את זמן השלמת המשימות ב-19% עבור מפתחים מנוסים בפרויקטי קוד פתוח. זאת, בניגוד להערכות המוקדמות לצמצום זמן העבודה ולממצאים קודמים שהצביעו על האצה בפרודוקטיביות
מחקר חדש מעלה, כי בניגוד לאמונה הרווחת, שימוש בכלי בינה מלאכותית מתקדמים מאט מפתחי תוכנה מנוסים בעת עבודה על בסיסי קוד מוכרים להם, במקום להאיץ את עבודתם, כך על פי דיווח ברויטרס.
ארגון המחקר ללא מטרות רווח METR ביצע מחקר עומק על קבוצה של מפתחים מנוסים בזמן שהם השתמשו ב-Cursor, עוזר קידוד AI פופולרי, כדי לעזור להם להשלים משימות בפרויקטים של קוד פתוח שהם הכירו היטב.
לפני המחקר, האמינו מפתחי הקוד הפתוח שהשימוש בבינה מלאכותית יזרז את עבודתם, והעריכו שזמן השלמת המשימות יתקצר ב-24%. גם לאחר השלמת המשימות תוך השימוש בבינה מלאכותית, העריכו המפתחים שהם קיצרו את זמני המשימות ב-20%. אבל המחקר גילה שהשימוש בבינה מלאכותית עשה את ההיפך הגמור: הוא הגדיל את זמן השלמת המשימות ב-19%. התוצאות הדהימו את הכותבים הראשיים של המחקר, ג'ואל בקר ונייט רש: לפני המחקר, כתב רש כי הוא מצפה ל"האצה פי 2 (בקצב העבודה), באופן די ברור".
הממצאים מערערים את האמונה שבינה מלאכותית הופכת תמיד את המהנדסים האנושיים היקרים לפרודוקטיביים יותר, מה שהביא להשקעות משמעותיות בחברות המוכרות מוצרי בינה מלאכותית לסיוע בפיתוח תוכנה. הציפייה הייתה שבינה מלאכותית תחליף גם עמדות קידוד ברמה התחלתית. דריו אמודיי, מנכ"ל Anthropic, אמר לאחרונה לאתר אקסיוס שהבינה המלאכותית עלולה למחוק חצי ממשרות הצווארון הלבן בטווח של השנה עד חמש השנים הבאות.
ספרות קודמת על שיפור הפרודוקטיביות מצאה הישגים משמעותיים: מחקר אחד מצא שהשימוש בבינה מלאכותית האיץ את העבודה ב-56%, ומחקר אחר מצא שמפתחים הצליחו להשלים 26% יותר משימות בזמן נתון. אבל המחקר החדש של METR מראה שהישגים אלה לא חלים על כל תרחישי פיתוח התוכנה. בפרט, מראה המחקר, שמפתחים מנוסים המכירים לעומק את הייחודיות והדרישות של בסיסי קוד פתוח גדולים ומבוססים, חוו האטה בהשלמת המשימות.
לפי כותבי המחקר, מחקרים אחרים מסתמכים לרוב על מדדי ביצועים לפיתוח תוכנה עבור בינה מלאכותית, שלפעמים מייצגים בצורה שגויה משימות מהעולם האמיתי. ההאטה נבעה מהצורך של המפתחים להשקיע זמן בעיון ובתיקון של הצעות המודלים של הבינה המלאכותית. "כשצפינו בסרטונים, גילינו שהבינה המלאכותית הציעה כמה הצעות לעבודת המפתחים, והכיוון היה נכון, אבל לא בדיוק מה שנדרש", אמר בקר.
הכותבים סייגו שהם אינם מצפים להאטה דומה בתרחישים אחרים, כמו למשל למהנדסים זוטרים או למהנדסים שעובדים בבסיסי קוד שהם לא מכירים. למרות זאת, רוב המשתתפים במחקר, כמו גם כותבי המחקר, ממשיכים להשתמש ב-Cursor גם היום. הכותבים מאמינים שזה בגלל שבינה מלאכותית הופכת את חוויית הפיתוח לקלה ונעימה יותר, בדומה לעריכה של חיבור במקום להתחיל מדף ריק. "למפתחים יש מטרות מלבד השלמת המשימה במהירות הרבה ביותר", אמר בקר. "אז הם הולכים בדרך הזו הפחות מאמצת".
