הנימוס משתלם? למה OpenAI משלמת מיליונים על ה"תודה" שלכם ל-ChatGPT
לפי סם אלטמן, מנכ"ל ומייסד OpenAI, החברה השקיעה עשרות מיליוני דולרים בעיבוד מילים כמו "בבקשה" ו"תודה" שמשתמשים כתבו ל-ChatGPT. מומחים ממליצים לקצר ולדייק בפניות ל-AI כדי לחסוך בטוקנים יקרים, במיוחד במודלים חינמיים עם מגבלת שימוש. עם זאת, מחקרים מראים שנימוס מתון עשוי לשפר את איכות התשובות
מדברים בנימוס ל-ChatGPT? מסתבר שזה עולה ל-OpenAI לא מעט כסף - כך לפחות טוען המייסד והמנכ"ל סם אלטמן. בסוף השבוע פורסם ב-X פוסט בו תהה משתמש כמה כסף הפסידה OpenAI בעלויות חשמל מאנשים שאמרו "בבקשה" ו"תודה" למודלים שלהם. "עשרות מיליוני דולרים שהושקעו היטב - אי אפשר לדעת", השיב אלטמן.
פרופ' לב מוצ'ניק, ראש המחלקה למדעי הנתונים בבית הספר למנהל עסקים באוניברסיטה העברית, מסביר שהסיבה לכך היא שזה מאריך את השאלה. בניגוד לבני אדם, שככל שמסבירים להם יותר הם צריכים להתאמץ פחות כדי להבין, במקרה של AI, ככל שהשאלה ארוכה יותר כך נדרש יותר כוח מיחשוב על מנת להבין אותה. כשמודל שפה מעבד שאלה, הוא מפרק אותה לטוקנים (Tokens). לפעמים טוקן יכול להיות מילה שלמה, חלק ממילה, או אפילו סימן פיסוק. המודל מעבד כל טוקן בהקשר של הטוקן שלפניו. ככל שהטקסט ארוך יותר, כך המודל נדרש ליותר חישובים - ויותר כסף.
לשם המחשה, דף בספר צורך סדר גודל של כ-300 טוקנים - ששווים כ-3 עשיריות סנט. לכך יש להוסיף את העובדה שככל שהשאלה ארוכה יותר ובנויה משלבים רבים יותר, כך התשובה תהיה ארוכה בהתאם. לדברי מוצ'ניק, הטוקנים של התשובה יקרים פי 3 מאלו של השאלה.
סקר מסוף 2024 מצא כי 67% מהמשיבים בארה"ב דיווחו שהם נחמדים לצ'אטבוטים שלהם. מבין אלה שנוהגים באדיבות, 55% אמרו שהם עושים זאת "כי זה הדבר הנכון לעשות", בעוד 12% עשו זאת כדי לרצות את האלגוריתם במקרה שה-AI ישתלט על העולם.
אולם האם יש תועלת בלהיות מנומסים ל-AI? מוצ'ניק מסביר כי אם משתמשים ב"תודה" או "בבקשה", זה משפיע על ההבנה של שאר המילים בטקסט, מה שעשוי להשפיע על התוצאה. עם זאת, הוא טוען כי לא ניתן לומר באופן כולל שזה משפר את התוצאה או מניע את המודל לכיוון מסוים: "זה תלוי איך אימנו את המודל", אמר.
לדברי שירה וינברג הראל, יזמת ומרצה בתחומי AI ומוצר ומגישת הפודקאסט "בינה בקטנה", "מחקרים מראים שיש נטייה לתשובות יותר טובות כשמנומסים ל-AI במידה סבירה (כלומר 'תודה', 'בבקשה' וכו', אין צורך בחנופות רבות). אחת הסיבות היא גם קונקרטית - בניסוח מנומס בדרך כלל ניתן יותר פירוט וקונטקסט, מה שמאפשר ל-AI לתת לנו תשובה יותר מדויקת לצרכים שלנו".
אחת הסיבות להימנע משימוש במילים כמו "תודה" ו"בבקשה" היא שמודלי השפה החינמיים מגבילים את המשתמשים למספר מסוים של טוקנים. כלומר, שאלות ותשובות ארוכות יותר יצרכו יותר טוקנים, וכך המכסה נגמרת מהר יותר. וינברג הראל מציעה כמה טיפים לחיסכון בטוקנים: לקצר ולהיות מדויקים (אך לא על חשבון איכות הפרומפט); לבקש תשובות קצרות יותר; לפתוח שיחה חדשה ונקייה כשאפשר - כך הצ'אט לא צריך לזכור את כל הקונטקסט, מה שצורך פחות טוקנים.
