מדד ה-doom: איך מסיבות בסן פרנסיסקו מכתיבות את ההשקעות בבינה המלאכותית
למה שיחות סלון על אפוקליפסה במסיבות ביתיות בסיליקון ואלי מניעות השקעות של מילארדי דולרים
“אז מה ה-p-doom שלך?"
השאלה הזו עולה זמן קצר אחרי שאני מתחילה שיחה עם קבוצת אנשים בסלון באחוזה בסן פרנסיסקו.
אני נמצאת במסיבה באחת מהקומונות הרבות שאפשר למצוא בעיר. כל עשרת האנשים שגרים כאן עוסקים בטכנולוגיה, ורובם בבינה מלאכותית. חלקם בחברות כמו גוגל, מיקרוסופט, open ai, ומטא, וחלקם בסטארטפים "קטנים" יותר ששוויים רק מילארדי דולרים בודדים.
אחרי כמעט שנה באיזור הסיליקון ואלי, ועבודה בסטארטאפ בתחום ה-AI, שמעתי את השאלה הזאת פעמים רבות במפגשים חברתיים, כמו משפט פתיחה סתמי, כמו לזרוק הערה על מזג האוויר.
פי-דום (probability of doom), הוא המספר שאנשים נותנים לסיכוי לקץ האנושות או העולם. זה התחיל בכלל כבדיחה בפורומים של חוקרי בינה מלאכותית ופילוסופים שמנסים לחזות את העתיד.
ההשערה שאותה קובע כל אדם לעצמו, נעה בין אפס למאה. כשאפס מסמל את הרעיון שהבינה המלאכותית תפעל רק לטובתנו העליונה, ושלא ייגרם נזק לטווח הארוך מהפיתוח שלה, ו-100 מסמל את הרעיון שהאנושות הולכת להיחרב ואין טעם אפילו להמשיך לתכנן לטובת העתיד (אלא אם כן נספיק לעצור את זה).
קווין, שעובד כחוקר באחד מחברות ה-AI הגדולות, שאל אותי את השאלה הזאת השבוע, כאילו מדובר בתוכניות לסופ"ש.
בסלון האחוזה, ישבנו הוא, אני, דיאנה, מנהלת מוצר בסטארט-אפ, ובן, שעובד באחת מעמותות ה-ai safety, שצצו כאן כפטריות אחרי הגשם, ארגונים שמטרתם לנטר את יכולות הבינה המלאכותית ולוודא שאנחנו לא פועלים בצורה לא אחראית.
"אני נותנת 35, אבל קווין אומר שהוא באיזור ה-60, למרות שהוא קנה טסלה השבוע - אז לכי תדעי, אולי הוא לא באמת מאמין שניכחד", אמרה דיאנה. "אילון מאסק הוא באיזור ה-20-30, ודאריו אמודאיי, המנכ"ל של אנתרופיק, הוא בין 10-50. אליעזר יודקובסקי (ממקימי MIRI, אחד ממכוני המחקר שנועדו למנוע הרס על ידי בינה מלאכותית) חושב שהמספר הוא 95, נקווה שהוא טועה".
כולנו עובדים במהלך היום על בניית המודלים האלו, ובלילה דנים בשאלה האם אותה בינה מלאכותית תיהיה זאת שתשים קץ לקיום שלנו.
האנשים שבמספרים הגבוהים, בטוחים שהעולם הולך להיגמר בעוד פחות מעשור, וכשהם לא עובדים על מוצרים פורצי דרך, הם שורפים את הכסף שלהם, חיים חיי נהנתנות, עושים המון סמים, נמצאים במערכות יחסים בהרכבים שלא נראו מחוץ לאיזור הסיליקון ואלי, ומעודדים את קרוביהם לא לחסוך כסף לעתיד כי גם ככה העולם מגיע אל סופו.
אלו שבמספרים הנמוכים, בטוחים שבזכות הבינה המלאכותית האנושות תחיה בשפע בלתי נגמר, וכולנו נוכל לשכב כל היום על החוף, לצייר ולנפוש.
התרגיל המחשבתי הזה הוא מעבר לדיון פילוסופי של גאוני מחשבים. המספרים האלו משפיעים על השאלה לאן זורמים מילארדי הדולרים שמושקעים בחברות הבינה המלאכותית. אותם החוקרים, מנהלי המוצר, המהנדסים, הם אלו שבונים את העתיד שנחיה בו.
קחו לדוגמא שתי חברות בצדדי המתרס:
Safe Superintelligence עם מרכז פיתוח בתל אביב, הוקמה על ידי איליה סצקובר אחד ממקימי open ai ומוערכת ב-32 מיליארד דולר. בלי מוצר, בלי רווח, רק עם הרעיון של בינה מלאכותית שתוביל את האנושות למקום בטוח.
מהצד השני, open ai, שעובדיה נמצאים בכל המסיבות אותן הזכרתי קודם, גייסה לפי שווי של מעל 300 מיליארד דולר. open ai, כדאי להזכיר, התחילה כארגון ללא מטרות רווח. סם אלטמן והחוקרים הבכירים בחברה היו מהמאמינים האדוקים של אליעזר יודקובסקי, אותו חוקר ראשון שהתריע על סכנות הבינה המלאכותית. התורה שלו הייתה הסיבה שבגינה הקימו את open ai. אבל אחרי ההצלחה הגדולה, רבים טוענים שהם אלו שמקדמים אותנו בצעדי ענק לקץ.
בינתיים המימון זורם לשני צידי המתרס, תלוי באיזו אמונה המשקיעים מחזיקים - אותה אמונה שמעוצבת על ידי החוקרים, המהנדסים ואנשי הטכנולוגיה במסיבות הביתיות.
ומאחורי הקלעים - פילנטרופים ומובילי דעה מודאגים ממה שהמונופול שנוצר על ידי החברות המובילות במירוץ (כמו open ai ו-anthropic) יכול לעשות לאנושות. הם מזרימים מיליוני דולרים לסטארטאפים שהם מזהים בהם פוטנציאל להתחרות ולהקטין את ההשפעה של מעבדות הבינה הגדולות, בתקווה שאותם היזמים בסטארטפים הקטנים, יתמכו ברעיון של בינה מלאכותית בטוחה יותר לאנושות.
ולאט לאט גם סצנת הסייבר הישראלי נכנסת לתמונה והופכת למוקד השקעות חם ככל שיש יותר אנשים שנמצאים במחנה "המספרים הגדולים", שמודאג ממה שיכול לקרות אם ניתן למפלצת ה-AI להמשיך לגדול ללא שליטה.
"מה המספר שלך?" אני נשאלת שוב ומבינה שאין דרך להתחמק מלתת תשובה. מה יכול להיכנס למספר הזה, שמסמל את "הקץ"? האם זה סוף האנושות? חוסר תעסוקה גלובלי? משבר כלכלי או מחסור במשאבים?
המספר שלי יחסית נמוך, אולי עשרים, ולו רק בגלל שאני אדם אופטימי מטבעי. אבל כל אחד מבאי המסיבות מבין שהמספר של שהם נוקבים בו לא באמת אומר הרבה, והדבר היחיד שניתן לעשות הוא לקוות שהפסימיים מבינינו טועים.
ניקול לוין היא בכירה בסטארט-אפ AI בסן פרנסיסקו שטרם נחשף
