הבוטים כבר מדברים ביניהם – ואנחנו לא מוכנים לזה
בהעדר חקיקה הופכת ישראל לגן עדן לניסויים בטכנולוגיות מניפולציה, כשהאזרחים משמשים כשפני ניסיונות
השיחה הגיעה בשעה 14:00. מהנדס בכיר בחברת Arup הבריטית התיישב מול המסך לשיחת וידאו דחופה עם הנהלת החברה. הכל נראה תקין - הפנים המוכרות, הקולות המוכרים, הלחץ המוכר של החלטה פיננסית דחופה. 25 מיליון דולר הועברו באותו היום לחשבון בנק בהונג קונג. רק שאף אחד מהמשתתפים בשיחה לא היה אמיתי.
ברוכים הבאים לעידן שבו הטכנולוגיה להעתקת זהות קולית ווידאו זמינה לכל אחד. כמו במקרים רבים אחרים, החוק הישראלי מפגר מאחור ועדיין מתנהל כאילו האיום הגדול ביותר הוא ספאם ב-SMS.
Cartesia מציעה כיום יכולת שכפול קול מלא תוך 15 שניות בלבד ואילו ElevenLabs מספקת שכפול קול באיכות אולפן. אבל הסכנה האמיתית טמונה במודלי קוד פתוח, חינמי, זמין להורדה בקלות, ללא רישום, ללא פיקוח, ללא עקבות. בפועל כל אדם עם מוטיבציה ומחשב יכול להקים "אולפן שכפולי קול" ביתי ולהתחיל לפעול תוך דקות.
הבעיה לא נגמרת בהונאות טלפוניות. אנחנו עומדים בפני שינוי פרדיגמה מוחלט באופן שבו אנו מתקשרים ומקבלים החלטות. בתוך שנים ספורות, רוב השיחות העסקיות לא יתנהלו בין בני אדם. העוזר הדיגיטלי, נקרא לו "הבוט האישי", יסנן שיחות, ינהל משא ומתן, ואף יאשר עסקאות. כל זאת אל מול בוט מתוחכם של חברת ביטוח או בנק, חמוש בפרופיל פסיכולוגי מפורט של הלקוח ובתקציב בלתי מוגבל.
זו לא דיסטופיה - זו המציאות שכבר מתגבשת. ההבדל? הבוט של הצרכן הפרטי יהיה כנראה הגרסה החינמית מהאפסטור, בעוד התאגידים ישקיעו מיליונים בפיתוח בוטים מניפולטיביים ברמה שטרם ראינו.
האיחוד האירופי פועל וכבר מחייב סימון ברור של תוכן סינתטי וה-FTC האמריקאי מטיל קנסות כבדים על שימוש מטעה בבוטים, אולם ישראל נותרה עם חור שחור רגולטורי. בדצמבר 2023 פורסמה "מדיניות לאומית ל-AI" והרשות להגנת הפרטיות פרסמה טיוטת הנחיה. אבל בפועל אין חוק ייעודי, אין חובת הזדהות לבוטים, אין מנגנון אחריות ברור, ואין תקן לאימות קולות אמיתיים מול סינתטיים. התוצאה: ישראל הופכת לגן עדן לניסויים בטכנולוגיות מניפולציה, כשהאזרחים משמשים כשפני ניסיונות.
יש סדרה של דרישות שהרגולטור הישראלי יכול להציב באופן מיידי: חובת הזדהות אוניברסלית שבה כל אינטראקציה עם מערכת לא-אנושית תחל בהצהרה ברורה וחד-משמעית. ללא יוצאים מן הכלל, תקן חתימה דיגיטלית לאודיו - טכנולוגיית Watermarking לאודיו קיימת ובשלה. יש להטמיע אותה כחובה בכל תוכן קולי סינתטי, מנגנון תיעוד ואישור שבו כל עסקה שנערכה באמצעות בוטים תחייב תיעוד מלא ואישור אנושי מפורש תוך 24 שעות, חיוב בוטים המורשים לבצע פעולות פיננסיות או משפטיות ברישוי, ביטוח, ומנגנון פיצוי ברור והגבלות על שימוש במידע פסיכולוגי - שימוש בפרופילים התנהגותיים למטרות שכנוע מסחרי יוגדר כ"סיכון גבוה" ויחייב רגולציה מיוחדת.
כיזם בתחום ה-Voice AI, אני עד לקצב המסחרר של ההתפתחות הטכנולוגית. מה שנראה כמדע בדיוני לפני שנה הוא מוצר מדף היום. GPT-5 ודומיו יביאו יכולות שיחה ברמה אנושית מלאה בעברית תוך חודשים, לא שנים. הכנסת יכולה, בחקיקה ממוקדת אחת, למנוע את התסריט הגרוע ביותר. זו לא שאלה של חדשנות מול רגולציה - זו שאלה של אמון בסיסי במערכות שישלטו בחיינו. בסופו של דבר, בעולם שבו כל קול יכול להיות מזויף וכל שיחה יכולה להיות מניפולציה, האמון הוא המטבע היחיד שנותר. ובלי רגולציה נכונה, אנחנו עומדים לפשוט את הרגל.
עד שהרגולציה תגיע, טיפ פרקטי: בכל שיחה חשודה, בקשו מהצד השני לבצע משימה אנושית פשוטה, למשל לספור לאחור מ-17 בקפיצות של 3, לתאר זיכרון משותף ספציפי, או פשוט לצחוק באופן ספונטני. לבוטים, אין חוש הומור. בינתיים.
רפאל מימון הוא מנהל Truecaller ישראל, ופעיל בקידום תחום הבינה המלאכותית בישראל
