האתיקה של האוטומטיקה

אחר הצהריים בצומת כפר שמריהו. משאית מסוג סמיטריילר נוסעת מצפון לדרום, חיפה הרחק מאחוריה, תל אביב קצת לפנים. לפתע מכונית פרטית מגיחה מימין. נהג הסמיטריילר לוחץ על הבלם ושובר שמאלה. המפלצת בעלת 12 הגלגלים פוגעת בדופן המכונית ופוצעת את נהגה, וגם פוגעת בשלוש מכוניות שנסעו בנתיב הנגדי. במזל - או אולי בזכות הניסיון והאינטואיציה של נהג הסמיטריילר - איש לא נהרג בתאונה הזאת, שידיעה קטנה עליה פורסמה ב"ידיעות אחרונות" בנובמבר 1988.

המכונית העצמאית של גוגל בעת מבחן נהיגה בספטמבר. ווקר־סמית: "אם המכונית צריכה להחליט לעתים קרובות את מי לדרוס, כנראה שהיא פשוט נוסעת מהר מדי" צילום: רויטרס

את התשובות נקבל כנראה בתוך שלוש עד חמש שנים. הן יגיעו בדמות הדור הבא של התחבורה, במכוניות עצמאיות, הקרויות גם מכוניות ללא־נהג או מכוניות רובוטיות - שלושה שמות זמניים שמתארים את אותו הדבר: מכונית שכל מערכותיה מופעלות בידי בינה מלאכותית מתקדמת, שנוהגת ברכב ברחובות העיר. נהג אנושי לא יהיה בה, ומהנוסעים ברכב יידרש רק להקליד כתובת במכשיר הניווט ולהתרווח במושב האחורי.

ביוני הודיע יזם־העל אלון מאסק שחברת טסלה שבבעלותו תתחיל למכור מכוניות עצמאיות ב־2018. גרסה מוקדמת של טכנולוגיית הנהיגה הזאת שולבה השנה באחד מדגמי המכוניות של החברה - טסלה S. לחיצה על כפתור "טייס אוטומטי" בלוח המכוונים תגרום למחשב הרכב להשתלט על ההגה, הגז והבלמים (בשלב זה רק בנסיעה ישרה בדרכים בין־עירוניות), וגם להחנות אותו. שדרוגים עתידיים יעודכנו ישירות למחשב המכונית.

וטסלה אינה השחקן המרכזי. לפני חמישה שבועות הזמינה גוגל קומץ עיתונאים לנסיעות מבחן במכונית העצמאית שהיא מפתחת מאז 2012. 23 מכוניות נטולות נהג של החברה גמאו עד היום יותר מ־2 מיליון ק"מ על כבישי קליפורניה, נבאדה וטקסס, במסגרת פעולות הפיתוח והבדיקה של הרכב הרובוטי. "אני לוחצת על כפתור ה־Go, והמכונית מתניעה בזהירות", דיווחה כתבת "פורצ'ן" כריסטין קורוזק מהמושב האחורי במכונית, "בארבע הדקות הבאות המכונית פוגשת הולך רגל, רוכב אופניים, כמה קונוסים כתומים ומכונית נוספת. את כל המבחנים היא צולחת באמצעות האטה מיידית וניווטי־הימנעות קטנים. הגה או דוושת בלמים אין, כי מי צריך אותם?". גוגל מצפה להתחיל למכור את המכוניות שלה ב־2020.

באחרונה נחשף כי גם אפל עובדת בסוד על מכונית דומה. וכשגם ניסאן, טויוטה, פולקסווגן, רנו, ב.מ.וו, מרצדס, וולוו ויגואר הצהירו כי הן פועלות בכיוון, לאחר ש־Uber הודיעה כי צי הרכבים העתידי שלה יהיה נטול־נהגים לחלוטין, ולאחר שחוות דעת משפטיות קבעו שכבר כיום מערכת החוק האמריקאית אינה אוסרת נהיגה במכוניות עצמאיות - ברור שהעידן הבא בתחבורה הפרטית קרוב. קרוב יותר מטיסה מאוישת למאדים. אפילו יותר מהרכבת הקלה בתל אביב.

הדגמת גרסה ראשונית של מערכת "הנהג האוטונומי", במכונית ניסאן Leaf, טוקיו 2013. צילום: רויטרס

"אבל אף על פי שצריך להמשיך לפתח את הטכנולוגיה הזאת, אסור להפוך אותה לנפילה חופשית", אומר ל"מוסף כלכליסט" פרופ' בריאנט ווקר־סמית, מהנדס, משפטן וחוקר תעבורה מאוניברסיטאות סטנפורד ודרום קרוליינה, וחלוץ עולמי בחקר ההשלכות הטכנולוגיות, המשפטיות והחברתיות של כניסת מכוניות עצמאיות לחיינו. "ב'נפילה חופשית' אני מתכוון למה שקרה בראשית ימי המכוניות הממונעות, כשהיעדר דיון ציבורי הוביל לכך שיצרני הרכב קבעו לעצמם את התקנים, בלא פיקוח. הם קבעו את עובי חישוק הגלגל, ועיבו אותו רק כשיותר מדי גלגלים נשברו בנסיעה, והם תיקנו אותם בשיטת ניסוי ותעייה - כל פעם קצת, ועצרו כשהתאונות פסקו. זו גם שיטת העבודה בעולם התוכנה, אבל כאן, כשהחלטות הנהיגה האוטונומיות והבטיחות הן נושא כל כך קריטי, אסור לזה לקרות כך".

על מה מכוניות חושבות

העיסוק התקשורתי במכוניות העצמאיות מתמקד בעולם בעיקר בטכנולוגיה, במירוץ שמתנהל בין היצרניות ובהשתאות כללית מהחזון. רק כעת, כשההמצאה המהפכנית כבר צופרת מתחת לחלון, מתחילים לדבר על עוד סוגיה, מעורפלת יותר אך אולי החשובה מכולן: שיקול הדעת של המכוניות הרובוטיות. ההחלטות שיקבלו בכביש.

המומחים בתחום מסכימים שמכוניות עצמאיות יהפכו את הכבישים לבטוחים יותר. רכב עצמאי לא מתעייף, לא מתעצבן ולא מסמס. הוא מגיב מיד לכל דבר, ולא מפספס אף פרט בכביש ואף פסיק בספר תקנות התעבורה. הכתבים שנסעו במכונית של גוגל אף דיווחו על שעמום: המכונית נסעה לאט ובטוח, והרבתה להאט, לאותת ולעצור. כמו טסט מושלם שאינו נגמר.

אבל כמו בחיים, גם הכביש מזמן מקרים שלא נפתרים באמצעות נוסחה. למשל, האם מכונית עצמאית תעבור את המהירות המותרת כדי להבהיל חולה לטיפול נמרץ? האם היא תחצה קו הפרדה רצוף כדי לא לדרוס חתול? אם המגב לא תקין כנדרש בחוק, האם היא בכלל תתניע? איזה יצרן רכב יקבל עליו את האחריות לתכנת אלגוריתם נהיגה ש"מעלים עין" מהחוק? ואלה בעיות קלות.

הדמיית וידיאו של ניתוח תנאי הדרך על ידי המכונית של גוגל, מוצגת לעיתונאים בספטמבר במטה גוגל. כמה כתבים תיארו את נסיעת המבחן כבטוחה עד שעמום צילום: רויטרס

ויש גם שאלות מורכבות יותר: כיצד תפעל מכונית עצמאית במקרה שבו גם בלימה מיידית לא תמנע תאונה? נהג אנושי, כאמור, עשוי, באופן רפלקסיבי, לבצע אלתור מסוכן למען הסיכוי למזער את מספר הנפגעים. האם מכונית עצמאית תעשה זאת? האם היא תפעל באופן שיגדיל את מספר הקורבנות, ובלבד שבעליה יהיו בטוחים יותר? האם היא תדרוס פעוט שיקפוץ לכביש, כי בלימה עלולה לפגוע בו וגם לגרום לתאונה נוספת? או שמא היא תעלה על המדרכה ותפגע במבוגר כדי להציל את חיי הילד?

הבעיות הללו, שמדאיגות מומחים שמשקיפים על התחום, סבוכות כל כך כי הן אינן שייכות לתחום התחבורה, התוכנה או אפילו המשפט, אלא לתחום המוסר, האתיקה. מהנדסי המכוניות העצמאיות מתכנתים לתוכן כיום את דפוסי הפעולה שבהן ינקטו בהיעדר כללים חד־משמעיים. אתיקה היא שם נרדף לאינספור ההחלטות והתגובות שמעצבות את חיי היומיום, בתור, בעבודה ובשעת צרה. נהגים מסוג חדש, עם אתיקה רובוטית חדשה ומחושבת, ישנו לחלוטין את כבישי המחר.

דגם אבטיפוס של מכונית עצמאית נוסע ברחובות בירת ארגנטינה בואנוס איירס, באוגוסט השנה. גם ענקיות הטכנולוגיה וגם יצרניות הרכב עובדות על פיתוח מכוניות ללא נהג צילום: רויטרס

אלא שאיש לא יודע כיצד. גוגל לא חשפה את מערכת "שיקול הדעת" של המכונית העצמאית שאת פיתוחה היא משלימה. Uber, שהכריזה כי תקים עם אוניברסיטת קרנגי־מלון מכון משותף לחקר מכוניות עצמאיות, התעלמה גם היא מהעניין. יצרניות הרכב האחרות שותקות גם הן, וכך גם הרגולטורים בעולם. רק בית הנבחרים של מרילנד בארצות הברית דן השנה בהצעת חוק להקמת צוות לבדיקת השלכות המכוניות העצמאיות. ההצעה נדחתה. "וזו היתה שגיאה", כתב ב"בולטימור סאן" ד"ר ג'סי קירקפטריק מהמכון לפילוסופיה ומדיניות ציבורית באוניברסיטת ג'ורג' מייסון, "בית המחוקקים התעלם מכך שהמכוניות העצמאיות אמנם יגבירו את הבטיחות בכבישים ואת היעילות הכלכלית, אך שהן בכל זאת מעוררות שאלות אתיות".

הבטיחות שלי היא הסכנה שלך

פרופ' ווקר־סמית הוא כנראה הכתובת המתאימה ביותר כיום לשאלות על אתיקת מכוניות העתיד. הוא מהנדס תחבורה שהפך עורך דין, השלים תואר דוקטור במשפטים באוניברסיטת ניו יורק, והיה מחלוצי העוסקים באתיקה ובמשפט של מכוניות עצמאיות. בחמש השנים האחרונות הוא עמית במרכז לחקר מכשירים ממונעים ובמרכז לחקר החברה והאינטרנט, שני המרכזים באוניברסיטת סטנפורד. הוא ניהל באוניברסיטה במשך שלוש שנים את התוכנית לחקר התחבורה העצמאית ולימד את הקורס הראשון אי פעם על מכוניות עצמאיות והחוק. במקביל הוא מלמד בבתי הספר למשפטים ולהנדסה באוניברסיטת קרוליינה הדרומית ומכהן כיו"ר הוועדה להיבטים משפטיים בטכנולוגיות חדשות של המועצה לחקר התחבורה באקדמיה הלאומית למדעים, משפטים ורפואה בארצות הברית. רקורד מקצועי נדיר למומחה בתחום כה צעיר.

אלון מאסק מציג את טכנולוגיית "הטייס האוטומטי" ברכבי טסלה, החודש. ווקר־סמית: "כל עוד האדם יוכל לנהוג בעצמו ייווצר בלבול משפטי" צילום: בלומברג

בעיני ווקר־סמית, סוגיית האתיקה במכוניות רחבה בהרבה מתרגילי מחשבה כגון "את מי היית דורס". "החלטות אתיות הכתיבו מההתחלה את הפעולות בתעשיית הרכב", הוא אומר, ואפילו את זהות נפגעי התאונות. "קח לדוגמה כריות אוויר. הן הצילו אינספור חיים, ומדי פעם כרית אוויר פצעה או הרגה אדם, שאחרת אולי היה שורד". עבור היצרנים זו היתה דילמה אכזרית: מאה כריות אוויר שמצילות חיים לא נהפכות לכותרת בעיתון. כרית אחת שהורגת פוגעת קשות בתדמית. "זה שקלול שהיצרנים עשו במשך שנים, עד שהמחוקק חייב להתקין כריות אוויר בכל המכוניות. וגם אז, עיצוב הכריות הותאם לזכרים בגובה ומשקל ממוצע. אנשים גבוהים, נמוכים, שמנים או נשים נחשפו ליותר סכנה, פשוט בשל החלטה ששיקפה את הלך המחשבה בחטיבות ההנדסה של חברות מסחריות. ביקורת ציבורית ובחינה מעמיקה לא היו”.

לכן, ווקר־סמית אומר, אנו זקוקים לשקיפות: "היצרניות צריכות לומר אילו החלטות ערכיות קיבלו, ואיך. הדרישה לדיון פתוח בהחלט מעשית יותר מלדרוש הקמת גוף מרכזי אחד שיקבע לכולם".

חשוב לחדד את הצד המטריד ביותר בכניסתם לכביש של נהגים רובוטיים, בעלי דפוסי תגובה חדשים שיתוכנתו בהם מראש. במאמר מ־2013 תיאר מגזין הטכנולוגיה היוקרתי "Wired" את מקור הטרדה: "נניח שמכוניות עצמאיות יחתכו את מספר הרוגי התאונות במחצית: במקום 32 אלף, ייהרגו מדי שנה בשנה רק 16 אלף. אבל זה העניין: ההרוגים הללו כנראה יהיו אחרים ממי שהיו נהרגים בכבישים נטולי מכוניות רובוטיות. זה מעלה מחשבות מרתיעות על הקרבה או "סחר חליפין" בחיי אדם. ונניח שמכוניות רובוטיות היו חוסכות רק 1,000 מיתות בשנה. עדיין טוב. אך אם הן יעשו זאת על ידי מניעת כל 32 אלף מקרי המוות, אגב גרימת 31 אלף מקרי מוות מסוג חדש לגמרי, של אנשים שאחרת היו נותרים בריאים ושלמים, נשמח פחות מהעסקה". 

ווקר־סמית. "האתיקה גוזרת גורלות" צילום: Amanda Avila

בסופו של דבר, ווקר־סמית מסביר, התגובות ה"אתיות" של הרכב ייגזרו מרשימת סדרי עדיפויות שמבוססת על מספרים: "בארצות הברית נהוג להצמיד ערך של 10-5 מיליון דולר לכל חיי אדם שטכנולוגיה מצילה. החלטות אתיות מתקבלות לרוב על סמך החישוב הזה". הוא גם מצפה שהשיקול הקר הזה ינחה את "מהנדסי אתיקת הרכב": "כל שחקן, רגולטור או מפתח, צריך להיות מסוגל, במקרה של תאונה, לומר 'פעלתי באופן הגיוני ולפי העקרונות המוכרים והבטוחים'. עליו להיות מסוגל לומר באופן אמין לנפגעים ולציבור שאף על פי שהתאונה הספציפית היתה טרגית, אפשר לשים אותה בהקשר של מאמץ להציל חיים”.

גם אוטו הוא רק בנאדם

ווקר־סמית תומך בטכנולוגיה החדשה. הוא תומך בה נחרצות. למעשה, הוא סבור שפתיחת דיון ציבורי או רגולטורי באתיקת המכוניות תהיה כרגע משגה שיעכב באופן משמעותי את הגעת הטכנולוגיה לכביש, ואולי יחבל בה.

"לפני ששואלים מה יקרה כשילד יתפרץ לכביש, אנחנו צריכים לקחת צעד לאחור. צריך להתחיל בשאלה מה מהירות הנסיעה שמלכתחילה תיצור פחות מצבים מסוכנים. הרבה בעיות אתיות־כביכול שייווצרו עם הגעת המכוניות לכבישים ייפתרו על ידי שינויים בהגדרות הבסיס התחבורתיות. אם המכונית צריכה לעתים קרובות מדי להחליט את מי לדרוס, אולי היא פשוט נוסעת מהר מדי".

ובכל זאת, כשזה מגיע לילד ההיפותטי שיתפרץ לכביש מול הנהג הרובוטי, לווקר־סמית יש עמדה אתית ברורה. לדעתו הפתרון הטכנולוגי צריך לחקות את מהות התגובה האנושית. "כשאדם יגיב למצב כזה ברפלקס, הוא תחילה יימנע מלהתנגש במה שמולו, ועם כל היתר הוא יתמודד מיד אחר כך. אוטומציה יכולה לשקלל ברפלקס יותר משתנים, אבל אני בספק אם למכונית יהיה תמיד מידע מספיק. ברגע האמת סביר להניח שהמחשב יידע להעריך רק בכלליות לאן הילד ירוץ ומה יקרה אם נסטה שמאלה. הוא לא יוכל לחשב זאת במדויק. לכן סביר יותר לתכנת את הרכב לדייק בתהליך, ולא בתוצאה. למשל תמיד להאט לנוכח סימני אזהרה קטנים, תמיד לסטות מהנתיב כשאין שהות לבלום, ואז להמשיך להתמודד עם המצב החדש שנוצר. התפיסה הזאת גם תואמת את יכולות הטכנולוגיה בשלב הנוכחי. היא עדיפה על תכנונים לעתיד טכנולוגי מדומיין ומתקדם יותר".

כלומר, המכוניות העצמאיות הראשונות שיגיעו אלינו לא יהיו בהכרח מדויקות יותר מנהגים אנושיים?

"בהחלט מצופה מהן להיות בטיחותיות יותר, אבל יש להיזהר מהערכת יתר ליכולות שלהן. אני לא אומר שמתכננים מכוניות שמגיבות כמו אדם. אבל כמו בני אדם, ברגעים הקשים גם המכונית העצמאית תפעל על סמך מידע מוגבל. רובו המוחץ של הקטל בכבישים נובע מהסחת דעת, נהיגה בשכרות ועוד חולשות אנושיות שאין למכוניות, ורוב היתר נובע מתקלות ברכב או בעיות תשתית. הרבה מהדברים האלה ייפתרו לפני שנגיע לדילמות המורכבות".

חלום בלהות של שופט תעבורה

את ווקר־סמית מעסיקה גם שאלת החבות המשפטית, Liability באנגלית. כיום כמעט בכל תאונה אשם אחד הנהגים המעורבים. כשמדובר בתקלה ברכב האשם עשוי להיות היצרן. אך במכונית עצמאית שאלת האחריות מורכבת יותר. בעל הרכב לא שלט בו, המהנדס והיצרנית סיימו את תפקידם מזמן, ולא קשורים לאירוע ולנסיבות בשטח. אם תנאי שטח מסוימים גורמים ל"באג" שבתורו גורם לתאונות, את מי תובעים?

ואן דר־הובן. "אפשר לצרוב מוסר"

ווקר־סמית מאמין שהאחריות לתאונות תיקבע בכל מקרה לגופו - כמו היום. "השאלות שנשאלות כיום בבתי משפט, מה הנהג עשה, איך הרכב תוחזק, מה היו תנאי הדרך ומה במפרט הרכב תרם לתאונה, יישאלו גם בעידן האוטומציה", הוא אומר, "יהיה יותר מידע, אולי הרכב ישמור תיעוד מפורט, אבל אל תבלבל מידע עם ודאות. אי־הוודאות המשפטית רק תגבר. גם כיום בתי משפט לעתים מחלקים את האחריות בין כמה גורמים. במכוניות עצמאיות מספר השותפים עולה. היצרן יכול להימצא אחראי כי לא הזהיר את המשתמש לגבי מגבלה כלשהי, ספק של היצרן יכול לחלוק באחריות בשל תפקוד לקוי של רכיב, בעל הרכב יהיה אשם כי התרשל בתחזוקת המערכת והנוסע עלול להצטרף בגלל שגיאה בשימוש במערכות שבשליטתו. אולי אפילו יגיעו אל ספק המידע למערכת המיפוי, בגלל תרומתה לנסיבות התאונה. ברכב עתידני ועצמאי לחלוטין אני סבור שהאחריות תוטל לרוב על היצרן, במכוניות הראשונות שיגיעו, שבהן ינהג לפעמים האדם, לפעמים המערכת ולפעמים שניהם בשיתוף פעולה, תאונות דרכים ייהפכו למסובכות יותר משפטית. בגדול, המגמה תהיה הרבה פחות תאונות, וחבות משפטית גדולה יותר על היצרנים. הם יקבלו פרוסה גדולה יותר מעוגה קטנה יותר. אבל צריך לזכור משהו חשוב: המכוניות בארצות הברית לבדה גומאות 3 טריליון ק"מ בשנה. זה מספר בלתי נתפס, אז כל מה שיכול לקרות יקרה מתישהו. ועם מכוניות עצמאיות יקרו דברים מאוד מוזרים".

אם זה הולך להיות כל כך מוזר, כדאי להתכונן מראש, לא? איך עושים זאת?

"בעבר חששו שעליית החבות המשפטית על השחקנים עם הכי הרבה מידע, קרי היצרנים, תעכב את פיתוח המכוניות האלה. כעת, כשהחשש הזה התבדה, צריך להתחיל לצד הפיתוח הטכנולוגי בפיתוח חוקי ומשפטי. ראוי שהיצרניות הגדולות יציעו מודל למערך משפטי ואתי, מאחר שלהן יש את המידע על המערכות ואת התמריץ והמשאבים לקדם את הנושא ולפתור בעיות שיכולות ליצור עיכוב רגולטורי. אבל כמו שאמרתי, יש סכנה בניסיון לפתור את כל הבעיות מראש. הרבה מהן יתפתחו וייפתרו במקביל לטכנולוגיה, ואם ננסה לפתור אותן מראש, ניתקע בנתיבים לא רצויים. לדוגמה, מישיגן אסרה שימוש פרטי בכלי רכב עצמאיים. הדרך שלה להתמודד עם הבעיות היתה לקפוא במקום. קליפורניה עושה מאמץ ראוי להערכה לפתור כמה סוגיות של בטיחות, עיצוב ורישוי, והתוצאה היא שקליפורניה נהפכה למדינה אטרקטיבית פחות לפיתוח הטכנולוגיה.

"בכל טכנולוגיה יש סדרה של תועלות ידועות ושל עלויות ידועות, וסדרה ארוכה הרבה יותר של תועלות ועלויות לא ידועות. כבר עכשיו ברור שאחת התועלות היא הצלת חיים של אנשים שהיו נהרגים בשל טעות אנוש, וגרימת מוות לאנשים בשל כשל ברכב העצמאי. זה ברור. אבל רשימת ההשלכות הנסתרות חשובה לחיינו הרבה יותר. רכב עצמאי יהיה חסכונייותר בדלק, אז האם התועלת כוללת אנשים שלא ימותו מזיהום אוויר? אולי. רכב עצמאי יעודד יותר נסיעות, ואולי יגביר את זיהום האוויר. אז אולי זו עלות? קורבנות תאונות דרכים הם מקור משמעותי לתרומות איברים. איבריו של אדם שמת בכביש יכולים להציל כמה וכמה אנשים. אז אולי יש בתועלת גם עלות? ומה לגבי שיפור איכות חייהם של עיוורים ומוגבלים פיזית? ומה לגבי הירידה ברמת הפעילות הגופנית עקב נוחות הנסיעה? ואם זה יוזיל את מחיר התחבורה, ואם זה ייקר אותה - על מה אנשים יוציאו פחות? בשלב מסוים נצטרך למתוח את הקו ולומר 'השאלה הזאת כבר רחוקה מדי'. הבעיה היא שלא ברור איפה הקו הזה נמצא. גם המיקום שלו הוא החלטה ערכית, עם הקשר אתי".

כולנו יודעים מה יקרה בסוף. הטכנולוגיה תוביל והרגולציה תגיב באיחור.

"אני לא אומר שזה אידאלי, אבל כך זה באמת עובד. לפני 15 שנה מעטים היו אומרים לך שהם אי פעם יצטרכו סמארטפון. הסמארטפונים הידידותיים הגיעו, בבת אחת כולם קנו אותם, ורק אחר כך התחלנו לשאול שאלות על פרטיות ותהליכים חברתיים. לטוב ולרע, זה מה שיקרה גם כאן”.

גם רובוטי הלחימה מקבלים עצמאות

אם המכוניות העצמאיות חוקיות באמריקה כבר היום, אזי גם כלי נשק עצמאיים הם חוקיים בה. לפי השיטה האמריקאית, והישראלית, כל דבר הוא חוקי אלא אם כן נאסר מפורשות בחוק, ורובוטי לחימה כמו אלה שמפתחת חברת בוסטון דיינאמיקס שבבעלות גוגל וכמו תוכניות מגירה של כמה מדינות, טרם נאסרו, או זכו לכל התייחסות בחוק. חוקית, מותר להציב מכונת ירייה בעלת בינה מלאכותית במקום מאבטח בשר ודם. כרגע אין לכך משמעות, לפחות מחוץ לשטחי מלחמה. אולם ככל שטכנולוגיית הרובוטים תבשיל וככל שהטרור ימשיך להכתיב את שדות הקרב של העתיד, כך הגבולות המעורפלים בתחום ייהפכו למאתגרים ומדממים יותר.

חיילי מארינס מתאמנים עם רובוט לחימה של בוסטון דיינאמיקס צילום: אי פי איי

“הבינה המלאכותית של רובוטי הקרב העצמאיים, שתחליט בלא מעורבות אנושית את מי להרוג, היכן ומתי, תחולל את

שארקי עם כלת פרס נובל לשלום ג'ודי וויליאמס, מוחה נגד פיתוח רובוטי קרב עצמאיים צילום: אימג'בנק, Gettyimages

השינוי הגדול ביותר אי פעם בלוחמה צבאית", כתב כבר ב־2009 מדען המחשב האירי פרופ' נואל שארקי מאוניברסיטת שפילד, במאמר "פישוט ההרג: מג'ויסטיקים לפוליטיקה". המאמר שב ונדפס בשנה שעברה בספר עיון חדש ששמו "Robot Ethics". “כיום אין אמנה או הנחיות בינלאומיות לגבי שימוש ברובוטי קרב עצמאיים. לכל הפחות נחוץ דיון דחוף בכך. רובוטים עדיין אינם מסוגלים להבחין בין חפים מפשע ללוחמים, אך מניע פוליטי חזק להפעלתם יאפשר לממשלות ליצור

טיעונים משפטיים שלא יותירו מקום לביקורת חיצונית, לדוגמה כשהרובוטים יופעלו באזורים שבהם מספר לוחמי האויב הוא יותר ממספר האזרחים התמימים", כתב. "יש לדון כבר עכשיו בהטלת מגבלות על הפעולות ועל טווח השימוש ברובוטי קרב עצמאיים, ולחוקק חוקים חדשים שיסדירו את השימוש בהם ויגבילו אותו".

שארקי, עורך כתבי העת המדעיים "Artificial Intelligence Review" ו־"Robotics and Autonomous Systems", מכהן גם כיו"ר עמותת "הוועידה הבינלאומית לפיקוח על נשק רובוטי". הוא חושש העתיד של רובוטי לחימה, אך סבור שכניסתם לשדה הקרב בלתי נמנעת, ולכן פועל להסדרת פעילותם.

אבל יש גם קולות אופטימיים. הפילוסופים ד"ר גרט־יאן לוקהורסט ופרופ' ירואן ואן דר־הובן מאוניברסיטת דלפט בהולנד טוענים מנגד שגם לרובוטי קרב אפשר לפתח מקבילה של מוסר. “אי אפשר להתקין את החוק הבינלאומי על מחשב", כתבו במאמר אחר שנדפס ב"Robot Ethics", “סוגיות משפטיות ואתיות נרחבות אמורות להיות מטופלות כבר בשלבים הראשונים ביותר של תהליך הפיתוח. מטרת המדענים צריכה להיות מציאת דרך 'לצרוב' ברובוטים את הנורמות האתיות והמשפטיות הרצויות".