זול פי 20 ועם אותן תוצאות: כך עובד מודל ה-AI של דיפסיק הסינית
האפליקציה הסינית זינקה לראש טבלת ההורדות של אפסטור ומטלטלת את שוק ה-AI. מבדקים שנערכו העלו שבחלק מהתחומים מודל ה-GenAI שלה משתווה או אפילו עולה בביצועיו על המודלים של OpenAI, גוגל ואנת'רופיק, וזאת עם השקעה של מיליונים בודדים. מה זה "למידת חיזוק", האם יש סכנה בכך שהמודל בקוד פתוח, והאם הענקיות בתחום צריכות לחשוש?
בימים האחרונים מנסה דונלד טראמפ למצוא פתרון שיאפשר את המשך פעילותה בארה"ב של טיקטוק. אבל בשעה שבבית הלבן מנסים לסגור עסקה, בחנויות האפליקציות מתעוררת לחיים אפליקציה סינית אחרת, שזינקה השבוע לראש טבלת ההורדות באפסטור של אפל – צ'טבוט בינה מלאכותית של חברה שעד לא מזמן היתה אלמונית בעבור רבים: DeepSeek. הסיבה? מודל ה-GenAI של החברה עושה פחות או יותר את מה שמסוגל לעשות ChatGPT של OpenAI, אבל אומן ודורש הרבה פחות כוח מחשוב כדי לעשות זאת, ומסתמך על שבבי AI מתקדמים הרבה פחות משבבי הדגל של אנבידיה.
"פריצת דרך מדהימה"
כך סטארט-אפ סיני קטן מרעיד את עמק הסיליקון
דיפסיק השיק מודל AI חדש שמערער את ההנחות לגבי הצורך בכוח מחשוב עצום והוצאות גבוהות. המודל שנקרא 1R ופותח בתקציב מצומצם, כבר עורר סערה בשוקי ההון והראה כי סין יכולה להפוך למתחרה משמעותית בשוק ה-AI - גם לחברות גדולות כמו OpenAI ומטא
לכתבה המלאה
אם אכן מדובר בפריצת דרך חדשה ביכולות אימון מודלי AI, אלו יכולות להיות חדשות רעות מאוד לאנבידיה, שמהפכת הבינה המלאכותית של שלוש השנים האחרונות הזניקה אותה לשווי מטורף של כ-3.5 טריליון דולר, וגם לחברות השבבים האחרות שקיוו לתפוס נתח מהתחום. ואת התודה, או הקללות, במקרה זה יוכלו החברות לכוון למטרה אחת: נשיא ארה"ב לשעבר ג'ו ביידן, ומדיניות ייצוא השבבים שהנהיג בכהונתו.
ב-20 בינואר חשפה דיפסיק את מודל ה-GenAI העדכני שלה, R1. בשנה שעברה כבר הציגה החברה גרסת לייט של מודל זה, אבל הגרסה המלאה היוותה זינוק דרך משמעותי. מבדקים שנערכו העלו שהמודל משתווה או אפילו עולה בביצועיו על מודלים מובילים של חברות כמו OpenAI, גוגל ואנת'רופיק, בתחומים כמו פתרון בעיות מתמטיות וכתיבת קוד. בנוסף, בניגוד למודלים מובילים אחרים (פרט למודל של מטא), הוא גם מונגש בקוד פתוח. כלומר, כל אדם בעל ידע יכול לראות איך המודל בנוי, או להשתמש בו בעצמו בסביבת המחשוב שלו, בלי תלות ב-DeepSeek.
"דיפסיק הוא אחת מפריצות הדרך המדהימות והמרשימות שראיתי", קבע המשקיע מארק אנדרסן, מהדמויות המשפיעות בעמק הסיליקון. "והוא בקוד פתוח. מתנה משמעותית לעולם".
מה שהרשים את אנדרסן לא היו יכולות המודל לבדן, דומות להן קיימות במודלים אחרים, אלא איך שדיפסיק הגיעה אליהן. השיטה המקובלת לפיתוח מודלי GenAI היא לאסוף כמות עצומה של מידע, ואז לזרוק עליו כוח מחשוב. הרבה כוח מחשוב. כמות מטורפת של כוח מחשוב. חברות AI מוציאות עשרות מיליארדים על הקמת ותחזוקת דאטה-סנטרים לאימון והפעלה של מודלי בינה מלאכותית. יצרניות שבבי AI, ובראשן אנבידיה שמהווה מונופול דה-פקטו בתחום, רושמות קופה משמעותית ממכירות שבבים אלו ומתקשות לעמוד בביקוש.
התפיסה המקובלת היא שהמגמה הזו תימשך גם בעתיד הנראה לעין. רק בשבוע שעבר, טראמפ היה השובבין בהכרזת מיזם חדש של OpenAI, סופטבנק ואורקל להקמת מערך תשתיות מחשוב לפיתוח, אימון והרצה של מערכות AI בעלות כוללת של חצי טריליון דולר. גם ההרצה של מודלי AI שכבר אומנו נחשבת ליקרה ביותר, כאשר כל שאילתה צורכת מספיק אנרגיה על מנת להפעיל נורה למשך כמה דקות. זאת, בניגוד לשאילתות במנועי חיפוש מסורתיים, שנחשבות ליעילות ומייצרות צריכת אנרגיה מזערית.
הדרך היחידה, גורסת הסברה השולטת, לפתח מודלי AI מתקדמים יותר היא לזרוק עליהם כוח מחשוב רב, מתוחכם ויקר יותר. תפיסה זו היתה גם בבסיס מדיניות ייצוא השבבים וה-AI שהוביל ממשל ביידן לאורך מרבית פעילותו. על בסיס ההבנה שכוח מחשוב, קרי שבבים, נמצא ביסוד הפיתוחים החשובים ביותר בעולם המודרני – מבינה מלאכותית ועד מערכות נשק מתקדמות – ממשל ביידן החל באוקטובר 2022 להטיל מגבלות על ייצוא שבבים עתירי ביצועים לסין, ועל מכונות וכלים לפיתוח וייצור שבבים כאלו. המגבלות התהדקו תקופתית לאורך השנתיים וקצת האחרונות, כשהתברר שהרף הקודם אינו מספק. ההידוק האחרון, והמשמעותי ביותר, התרחש ממש בשלהי כהונת ביידן, כשהוצגה תוכנית מאסיבית להגבלת ייצוא כוח מחשוב AI למרבית מדינות העולם, כאשר סין נכללה בקבוצת מדינות שאליהן ייאסר לחלוטין ייצוא מעבדי AI.
"למידת חיזוק" - כך זה עובד: אחרי אימון בסיסי קצר, מבקשים מהמודל לייצר פלטים לשאילתות שונות. פלטים אלו מוערכים על ידי מודל AI אחר, שבוחר את אלו בעלי האיכות הטובה ביותר. בדרך זו, לומד המודל להבחין בין תשובות טובות לרעות, ולמקסם את השיטות הטובות
מנותקות מגישה למעבדים החזקים והטובים ביותר, נאלצות דיפסיק וחברות AI סיניות אחרות להתמודד עם כוח מחשוב מוגבל ותעשיית שבבים מקומית שלא מסוגלת לנפק שבבים מהדור החדש ביותר או בקנה מידה גדול דיו. בלית ברירה, הן נאלצו לשבור את הפרדיגמה המקובלת ולמצוא דרכים לפתח מודלי GenAI בלי כוח המחשוב המאסיבי שעומד לרשות חברות אמריקאיות.
השיטה המרכזית שבה משתמשת דיפסיק, מכונה "למידת חיזוק" (Reinforcement Learning). השיטה מחקה את אופן הלימוד האנושי של ניסוי וטעייה, בניגוד לשיטה המסורתית שמבוססת על מידע מתויג ודורשת מעורבות אנושית גדולה וכוח מחשוב משמעותי. כך עובדת השיטה, בקווים גסים: אחרי אימון בסיסי קצר, מבקשים מהמודל לייצר פלטים לשאילתות שונות. פלטים אלו מוערכים על ידי מודל AI אחר, שבוחר את אלו בעלי האיכות הטובה ביותר. בדרך זו, לומד המודל להבחין בין תשובות טובות לרעות, ולמקסם את השיטות הטובות.
המודל לומד, למעשה, בכוחות עצמו ותוך צריכת כוח מחשוב נמוכה משמעותית. הודות לשיטה זו, לדברי דיפסיק היא הוציאה רק 6 מיליון דולר על כוח מחשוב לצורך פיתוח המודל. לפי הערכות, מדובר ב-3% עד 5% מהעלות של פיתוח מודל o1 של OpenAI. שיטת האימון של המודל גם מאפשרת לו לפעול תוך צריכת כוח מחשוב נמוכה הרבה יותר, והוא יעיל מספיק על מנת לרוץ על מערכות מחשוב מקומיות חזקות דיין. כל אלו יכולים לבשר מהפכה בשוק ה-AI כפי שהוא התגבש בשנים האחרונות.
"מספר החברות שיש להם 6 מיליון דולר להשקיע גדול הרבה יותר ממספר החברות שיש להן 100 מיליון דולר או מיליארד דולר", אמר לניו יורק טיימס כריס ניקולסון מקרן ההון סיכון ממוקדת הבינה המלאכותית Page One. אם עד עתה היה מחסום כניסה של מיליארדי דולרים לשחקניות חדשות בתחום ה-GenAI, דיפסיק הדגימה שיזמים מוכשרים עם קצת כסף יכולים גם הם להותיר את חותמם על התחום, ולייצר תחרות לחברות שממומנות במיליארדי דולרים.
העובדה שהמודל זמין בקוד פתוח גם מנגישה את היכולות של מודלי GenAI מתקדמים לכל חוקר, מדען, מקצוען או חובב שמעוניין בהן, בלי מגבלות ותעריפים שגובות החברות הגדולות. יש לכך יתרונות רבים – אקדמאים יוכלו לחקור את המודלים ולהשתמש בהם בצורה חופשית, וכך לרשום פריצות דרך משמעותיות. אבל גם חסרונות: בלי הפיקוח שקיים בפלטפורמות כמו ChatGPT (שזיהתה ועצרה שימוש של שחקני השפעה איראניים בפלטפורמה) אין דרך לזהות ולעצור שימושים לרעה במודלים.
סכנה להגמוניה?
סוגיה אחרת היא איך הדבר ישפיע על השוק הקיים. חברות כמו OpenAI חשבו שביצרו את מעמדן בזכות השקעות של מאות מיליארדים, שהביאו להן גישה ליכולות מחשוב שלשחקנים צעירים יותר אין סיכוי לקבל. מיזם חצי טריליון הדולר של החברה נועד לבצר יכולות אלו עוד יותר. אנבידיה, בינתיים, הפכה לחברת הטכנולוגיה החשובה בעולם ולכוח המניע מאחורי מהפכת ה-AI, כאשר השבבים עתירי-הביצועים והיקרים שלה הם רכיב מרכזי בכל מערכת בינה מלאכותית מודרנית.
אבל אם לא צריך כוח מחשוב מרובה ויקר, אם כמעט כל אחד יכול להציב תחרות למודלים היקרים ורעבי האנרגיה של OpenAI, ולעשות זאת בלי שבבים של אנבידיה או עם מעט מאוד מהם – אין שום ודאות למעמדן של חברות הבינה המלאכותית או ענקית השבבים.
עוד מוקדם לשפוט לאן ילך השוק. המודל של דיפסיק צריך להוכיח את עצמו לאורך זמן, וצריך להמתין ולראות האם שיטות האימון של החברה יכולות להביא פריצות דרך נוספות. אבל אם התשובה חיובית, שוק ה-AI הצעיר שעד לא מזמן נראה מקובע כל כך יכול לעבור טלטלה משמעותית. נכון לעכשיו, אף אחד לא יוכל להגיד בוודאות איך הוא יראה אחרי טלטלה זו.
