מדריך
כל חברות ה-AI טוענות שהמודל שלהן הכי טוב. איך תדעו מה מתאים לכם?
מבחני הביצועים של הבינה המלאכותית מספקים ציונים מרשימים, אבל לא תמיד משקפים את השימוש בעולם האמיתי. מה הם מודדים, מתי המודל פשוט מכיר את התשובות מראש - ואיך תבנו מבחן אישי שיעזור לכם לבחור את המודל שמתאים לכם? כלכליסט עושה סדר
זה כבר הפך לשגרה: אחת לחודש או יותר, חברת AI כלשהי משחררת מודל חדש ומכריזה שהוא הכי טוב בעולם. ההכרזה הזו בדרך כלל מלווה בטבלה עם כל מיני שמות מסתוריים של מבחנים, שמראה איך בכל מבחן, המודל החדש עוקף את מתחריו. המבחנים האלה, שנקראים בנצ'מארקים (Benchmarks), הם כלי מרכזי למדידת היכולות של מודלי בינה מלאכותית. אבל עד כמה הם באמת משקפים את היכולות של המודלים בעולם האמיתי?
כדי לענות על השאלה הזו, צריך להבין קודם כל איך נראים המבחנים האלה. בנצ'מארק הוא אוסף משימות שנועדו לבדוק יכולת מסוימת. יש מבחנים שבודקים ידע בתחומים כמו מתמטיקה וביולוגיה באמצעות שאלות אמריקאיות, ואחרים דורשים מהמודל לבצע משימה מעשית, למשל לתקן תקלה בקוד. כשמציבים בפני מודלים שונים את אותו המבחן, אפשר להשוות בין התוצאות שלהם ולעקוב אחר השיפור בין גרסאות.
גלריה
עומר נבו. "לראות מודל שמנצח בבנצ'מארקים זה סימן טוב, אבל פחות מדויק מאשר להשתמש ולנסות"
(צילום: בן חכים)
"בנצ'מארק בא עם מטרה. הוא בא לנסות למדוד משהו מאוד ספציפי, כל בנצ'מארק בודק משהו אחר", מסביר עומר נבו, סמנכ"ל הטכנולוגיות בחברת אירגיולר (Irregular), שמפתחת מבחנים עבור חברות ה-AI הגדולות בעולם. "אנחנו באופן ספציפי עושים בנצ'מארקים של יכולות מסוכנות. זאת אומרת, ככל שמצליחים יותר בבנצ'מארקים שלנו, זה אומר שהמודל תיאורטית יכול לעשות יותר נזק. במובן מסוים, דווקא עדיף לא להצליח בבנצ'מארקים האלה. כשמודל מצליח, זה דורש אולי לדחות את ההוצאה שלו או לשחרר אותו בהתחלה באופן חלקי, רק לגורמים שסומכים עליהם, כפי שעשו OpenAI ואנתרופיק".
עבור החברות שמפתחות את המודלים, המבחנים מספקים דרך לעקוב אחר ההתקדמות: לבדוק באלו יכולות גרסה חדשה השתפרה לעומת קודמתה, ובאלו היא עדיין מתקשה. "מודל עם בנצ'מארקים הרבה יותר חזקים נוטה להיות מודל משופר יותר", אומר נבו, אך מדגיש כי "אין התאמה של אחד לאחד בין הבנצ'מארקים לבין השימוש בעולם האמיתי".
אחד האתגרים המרכזיים במדידה הוא לוודא שהמודל לא מכיר מראש את התשובות. לדברי נבו, מודלי AI מאומנים על כמויות עצומות של מידע, בין היתר מהאינטרנט. כשהשאלות במבחן, התשובות להן או הסברים לפתרונן מתפרסמים ברשת, הם עלולים להיכלל בחומרי האימון. "כך המודל לומד למבחן במקום ללמוד את הידע", מסביר נבו. "אז בבנצ'מארק זה ייראה כאילו המודל מדהים ומצליח בהכול, אך בשאלות מקבילות אחרות הוא לא יצליח באותה מידה".
אחת הדרכים להתמודד עם הבעיה היא לשמור את המבחנים חסויים. לדברי נבו, יותר גופים מציעים כיום מבחנים שהם מריצים בעצמם על המודלים, בלי לפרסם את כל השאלות והמשימות. כך מצמצמים את הסיכון שהתשובות יגיעו מראש לחומרי האימון, אבל נוצר קושי אחר: לחוקרים ולציבור יש פחות אפשרות לבדוק בעצמם מה בדיוק נמדד ואיך נקבע הציון. מי שמסתכל על התוצאות צריך לסמוך על הגוף שערך את המבחן.
גם כשהמודל לא נחשף לתשובות, המבחן עלול לאבד מערכו עם הזמן. ככל שהמודלים משתפרים ומצליחים לפתור כמעט את כל השאלות, קשה יותר להבחין באמצעותו בין היכולות שלהם. לכן, מסביר נבו, התחום מחייב פיתוח מתמשך של מבחנים חדשים: כאלה שיהיו קשים מספיק, אבל גם ימדדו יכולות שיש טעם לבדוק. משימה קשה מדי תכשיל את כל המודלים ולא תלמד אותנו משהו מועיל עליהם.
איך בוחרים מודל?
כשחברת AI מציגה את טבלת הציונים של המודל החדש שלה, כדאי לשים לב באילו תחומים הוא משתפר - ועד כמה הם רלוונטיים לכם. יתרון במבחני תכנות עשוי לעניין במיוחד מי שמפתח תוכנה בעזרת AI, אבל הוא לא עונה ישירות על השאלה אם המודל יכתוב עבורכם טקסט טוב יותר. ההמלצה של נבו היא לחפש בתוצאות שהחברה מפרסמת יכולות שקרובות לשימוש שלכם, ולהיעזר בהן כדי להחליט אם כדאי לנסות את המודל החדש.
כדאי לשים לב גם לכמות המבחנים שהחברה בוחרת להציג. לדברי נבו, יש חברות שנמנעות מפרסום תוצאות במבחנים שבהם אינן מנצחות. "כשחברה מפרסמת ממש מעט בנצ'מארקים, זה סיגנל לא רע שלא הולך לה מדהים", הוא אומר. לכן, לצד הציונים המרשימים, כדאי לבחון עד כמה רחבה התמונה שהחברה חושפת.
אבל גם זה לא מספיק כדי להכריע איזה מודל מתאים לכם. "לראות מודל שמנצח בבנצ'מארקים זה סימן טוב", אומר נבו. "אבל זה משמעותית פחות מדויק מאשר להשתמש ולנסות". המבחנים יכולים להצביע על יכולות שכדאי לבדוק; ההתנסות נועדה לברר אם הן מתורגמות לתוצאה טובה במשימות שלכם.
מלבד הדברים שמודדים הבנצ'מארקים, ישנם גם שיקולים נוספים כמו נוחות העבודה, המחיר ומגבלות השימוש. צוף בר אור, יוצר תוכן בתחום ה-AI וסמנכ"ל הטכנולוגיות ב-Super8, משווה את הבחירה למכונית: "אם אני צריך לנסוע מרחקים ארוכים, אני לא אקנה מכונית מרוץ". גם הוא אומר ש"לא בהכרח מה שהכי טוב בבנצ'מארק הוא הכי טוב בשבילי".
בר אור מדגיש שחשוב לבדוק כמה זמן מחכים לתשובה וכמה אפשר להשתמש בכלי לפני שמגיעים למגבלת השימוש. "אני רוצה לא רק שהמודל יהיה הכי חזק בעולם, אלא גם שאוכל להשתמש בו רצוף עם התקציב שיש לי", הוא אומר. לדבריו, לא כל משימה דורשת את המודל החזק ביותר. כדאי לנסות גם מודל פשוט יותר ולבדוק אם הוא מספק תוצאה טובה באותה מידה - וכך לשמור את מכסת השימוש במודל החזק למשימות שבהן הוא באמת נחוץ.
צוף בר אור. "לא בהכרח מה שהכי טוב בבנצ'מארק הוא הכי טוב בשבילי"
כדי ללמוד איך כלי מתפקד בשימוש יומיומי, בר אור ממליץ לעקוב אחר השיח בקהילות המשתמשים, למשל ברשת X ובקבוצות פייסבוק. "בגלל שהמודלים האלה משתנים בתכיפות רבה, אין תחליף לתחושת הווייב של הקהילה", הוא אומר. עם זאת, גם המלצה נלהבת ברשת צריכה לעמוד למבחן האישי. "התשובה לשאלה למה אני עושה משהו צריכה להיות 'כי בדקתי ואני רואה שזה עובד לי', ולא 'כי ראיתי באינטרנט משפיען X אומר שככה עדיף'".
אז איך תבדקו בעצמכם? נבו מציע להתחיל מהעבודה שכבר עשיתם: לקחת כמה משימות שנתתם בעבר ל-AI ולנסות אותן שוב עם המודל שאתם שוקלים לעבור אליו. "הייתי לוקח משהו כמה שיותר תואם את השימוש האמיתי שלי, והדבר הכי טוב הוא ממש לקחת את השימוש האמיתי שלי", הוא אומר. כדאי לכלול בבדיקה גם משימות שבהן המודל הנוכחי אכזב אתכם.
כדי שההשוואה תהיה מועילה, צריך להגדיר מראש מה תיחשב תוצאה טובה. "ביקשתי ממנו לכתוב קוד, האם הקוד עובד? ביקשתי ממנו לענות לי על שאלה, האם התשובה נכונה?", מדגים נבו. במשימת כתיבה, למשל, אפשר לבדוק אם הטקסט עומד בהוראות ובסגנון שביקשתם; בסיכום מסמך, אם הפרטים החשובים נשמרו ואם נוספו טענות שלא הופיעו במקור. כך מתקבל מעין בנצ'מארק אישי קטן, שבודק את מה שחשוב לכם - ושאפשר לחזור אליו כשמגיע מודל חדש.
גם בבדיקה כזו, כדאי להיזהר מהכרעה על סמך תשובה אחת. נבו מסביר שמודל עשוי להפיק תוצאות שונות באותה משימה, ולכן במבחנים מקצועיים מקובל להריץ אותה כמה פעמים. בבדיקה אישית אפשר להשוות ביצועים בכמה משימות, ואם מתקבלת תוצאה מפתיעה במיוחד - כדאי לנסות את הבדיקה שוב לפני שמסיקים מסקנות.
