לא. רכב אוטונומי – בעיות מוסריות בתכנון

הדילמות הגורליות והמוסריות שמעוררת המכונית האוטונומית  – כותרת מעיתון גלובס

"העתיד שייך למכוניות אוטונומיות ללא נהג ■ אבל מה יקרה במקרי חירום שבהם נדרשת קבלת החלטה של חיים ומוות? מי יקבע: מהנדסים? מתכנתים? פילוסופים? מחוקקים?"

חברות ניסאן מוטורס ווולוו הודיעו כי בשנת 2020 יימכרו הדגמים הראשונים של מכוניות אוטונומיות בפיתוחן. סביר כי כ-5 שנים לאחר מכן מכוניות כאלה יימכרו בשיווק המוני.

אחד המכשולים הגדולים ביותר בדרך למכונית אוטונומית, נוגע לסוגיה שכלל אינה נוגעת לטכנולוגיה – אלא לחוק ומוסר. האם המחשב במכונית האוטונומית יקבע מי ימות ומי יחיה בתאונה?

והשאלה היא לכאורה פשוטה: כיצד אלגוריתם ממוחשב, מתוחכם ככל שיהיה, יכול להחליט בסוגיות של חיים ומוות. למשל במקרה בו כלב קופץ לכביש וצריך לבצע תמרון התחמקות – האם המכונית תדרוס את הכלב כדי למנוע פגיעה בנוסעים? האם תתחמק מהכלב ותסתכן בפגיעה בהולך רגל? והאם תתרסק תוך סיכון לנוסעים שבתוכה?

מומחים מזהירים גם כי בניגוד לבן אדם, עדיין לא הומצא מחשב שיכול להביע אמפתיה ולקחת החלטות שיש להן השלכות מוסריות.[1]

אם הדיון הוא רק בנוגע לנזק, יש לומר שבזה "חייך קודמין" ואין מאי חזית, וכן מפורש בשו"ע חו"מ שפ"ח סוף ס"ב ברמ"א:

היה רואה נזק בא עליו, מותר להציל עצמו אף על פי שע"י זה בא הנזק לאחר (נ"י פ' השותפין).

וע' ש"ך קס"ג יח:

המלך או שר שמטיל איזה דבר על עשיר א' או ב' ויש ליהודי א' כח בהיכל המלך והשר להשתדל לפוטרם אם הדבר ברור ודאי שאם יפטרם לאלו יטיל על אחרים אי רשאי להצילם לאלו או לא פסק בתשו' מהריב"ל ח"ב סי' מ' דאם כבר הטיל המלך על אנשים ידועים ופרט אותם ונלכדו ברשתו אזי אין יהודי רשאי להשתדל לפוטרן בשום ענין שיזיק לאחרים בודאי אבל אם יצא גזרה להטיל על ב' אנשים בסתם יכול יהודי להשתדל על איזה אנשים שרוצה שלא יהיו בכלל הגזירה אף שבודאי יכנסו אחרים והביא ראיה ברור' ממפיבש' בפרק הערל שהתפלל דוד עליו שלא יקלטנו הארון.

אם כן בנזק ניתן לתכנן שהנזק יקרה למשהו אחר ולא לי.

מה יקרה כשמכונית כזו תחליק בכביש רטוב לעבר חמשה אנשים, יש לה ברירה להכנס בקיר ולהרוג את הנהג. האם מותר לתכנן מראש שהנהג יהרג, או להשאיר בתוכנה במצב של שב ואל תעשה?

מה קורה כשיש נהג מאחורי ההגה, וברכב האוטומטי יהרגו במקרה כזה נוסעים נוספים, האם מותר לו להציל רבים על ידי הריגה בידים של יחיד?  מה יהיה כשהמצב הוא הפוך, שיהרגו יותר נוסעים ברכב שממול?

האם במכונית ללא נהג, בתכנות, זו שאלה של שב ואל תעשה משני הצדדים, או קום ועשה?

כאן לגבי המתכנת המצב הוא מצב של גרמא, האם זה משנה את הדין?

לכאורה הרי לגבי דיני נפשות אנו אומרים מאי חזית דדמא דידך סמיק טפי ואין לאדם לינצל על ידי שיהרוג את חברו. ואם כן גם כאן, אינו יכול להציל בכלל את עצמו בזה שיגרום הריגה לחברו?

ע' יומא פב ע"ב ברש"י בגמרא שם נאמר:

ורוצח גופיה מנא לן סברא היא דההוא דאתא לקמיה (דרבא) (מסורת הש"ס [דרבה]) אמר ליה אמר לי מרי דוראי קטליה לפלניא ואי לא קטילנא לך אמר ליה נקטלך ולא תקטול מאי חזית דדמא דידך סומק טפי דילמא דמא דההוא גברא סומק טפי.

האם שייכת גם כאן סברת מאי חזית דדמא דידך סומק טפי?  ע' רש"י שם:

מאי חזית דדמא דידך סומק טפי – כלומר מאי דעתיך למשרי מילתא משום וחי בהם ולא שימות בהם, טעמו של דבר לפי שחביבה נפשן של ישראל לפני המקום יותר מן המצות, אמר הקדוש ברוך הוא: תבטל המצוה ויחיה זה, אבל עכשיו, שיש כאן ישראל נהרג והמצוה בטילה למה ייטב בעיני המקום לעבור על מצותו, למה יהיה דמך חביב עליו יותר מדם חבירך ישראל?

לפי רש"י סברת מאי חזית בנויה על כך שעדיף שיהרג הוא ולא תהיה גם הריגה של נפש וגם איסור רציחה: "עכשיו שיש כאן ישראל נהרג והמצוה בטילה למה ייטב בעיני המקום לעבור על מצוותו" – אם כן במקום שלא יהיה איסור רציחה בידים, אולי אכן דדמא דידך סומק טפי כמו לגבי שנים שהולכים במדבר, בבא מציעא דף סב ע"א:

שנים שהיו מהלכין בדרך וביד אחד מהן קיתון של מים אם שותין שניהם מתים ואם שותה אחד מהן מגיע לישוב דרש בן פטורא מוטב שישתו שניהם וימותו ואל יראה אחד מהם במיתתו של חבירו עד שבא רבי עקיבא ולימד וחי אחיך עמך חייך קודמים לחיי חבירך.

לדברי רש"י רק כיש גם עבירה של רציחה אומרים מאי חזית, אבל לא במקום שזה שב ואל תעשה, ואם כן לכאורה יהיה גם מותר לתכנן מצב של שב ואל תעשה, והרי ברור שהנהג אין לו דין של רוצח, וגם המתכנן הוא מצב של שב ואל תעשה ולא שייך לגביו לומר מאי חזית, שהרי לגבי המתכנן שניהם שוים (אלא שאחד מהם – הנהג – שילם לו כסף לתכנן). ולכאורה יהיה מותר לו לתכנן כדי להציל את הנהג.

ע' שו"ת ממעמקים ח"ה סימן א'

שאלה דומה נדונה בשו"ת חוות בנימין סימן יח, על ידי הרב ישראלי זצ"ל.

ב-4 בנובמבר 1983, התפוצצה מכונית תופת ליד שער הכניסה למפקדת צה"ל ומשמר הגבול בצור, וגרמה ל-60 הרוגים. בפיצוץ קרס הבניין בו שכנה מפקדת השב"כ ומפקדת משמר הגבול שלידה. יחידת החילוץ של צה"ל עמלה בחילוץ קשה ומסובך לאתר ניצולים בבניין. לאחר המבצע נשאל הרב ישראלי כיצד יש לבצע את החילוץ כאשר לפעמים כדי להגיע לניצול אחד הדחפורים נאלצו לפגוע בפצוע אחר שסיכויו להנצל פחותים יותר.

במשנה תרומות פרק ח' משנה יב שנינו: "וכן נשים שאמרו להם עובדי כוכבים תנו אחת מכם ונטמא ואם לאו הרי אנו מטמאים את כולכם יטמאו את כולן ואל ימסרו להם נפש אחת מישראל" וירושלמי תרומות פ"ח הלכה ד':

תני סיעות בני אדם שהיו מהלכין בדרך פגעו להן גוים ואמרו תנו לנו אחד מכם ונהרוג אותו ואם לאו הרי אנו הורגים את כולכם אפי' כולן נהרגים לא ימסרו נפש אחת מישראל ייחדו להן אחד כגון שבע בן בכרי ימסרו אותו ואל ייהרגו א"ר שמעון בן לקיש והוא שיהא חייב מיתה כשבע בן בכרי ורבי יוחנן אמר אף על פי שאינו חייב מיתה כשבע בן בכרי עולא בר קושב תבעתיה מלכותא ערק ואזיל ליה ללוד גבי ריב"ל אתון ואקפון מדינתא אמרו להן אין לית אתון יהבון ליה לן אנן מחרבין מדינתא סלק גביה ריב"ל ופייסיה ויהביה לון והוה אליהו זכור לטוב יליף מתגלי עלוי ולא אתגלי וצם כמה צומין ואיתגלי עלוי אמר ליה ולמסורות אני נגלה א"ל ולא משנה עשיתי א"ל וזו משנת החסידים

הרמב"ם פסק כריש לקיש, פ"ה מה' יסוה"ת הל' ה' נאמר:

"אם אמרו להם עכו"ם תנו לנו אחד מכם ונהרגנו ואם לאו נהרוג את כולכם, יהרגו כולם ואל ימסרו להם נפש אחת מישראל; ואם יחדוהו להם ואמרו תנו לנו פלוני או נהרוג את כולכם, אם היה מחויב מיתה כשבע בן בכרי יתנו אותו להם; ואין מורין להם כן לכתחילה. ואם אינו חייב מיתה יהרגו כולם ואל ימסרו להם נפש אחת מישראל".

פסק הלכה זה הוא כדעת ר"ל שנחלק בזה בירוש' תרומות פ"ח עם ר' יוחנן, ודעת ר"י היא שגם כשלא היה חייב מיתה כל שיחדוהו מותר למוסרו להם.

והתקשה הכס"מ בדעת ר"ל, מה טעם לא ימסרוהו גם כשלא היה מחויב מיתה, כיון שממילא יהרג יחד עם אחרים, א"כ ל"ש כאן סברת מאי חזית וכו', (סנהדרין עד, א) שבגלל זה אמרינן שבשפ"ד יהרג ואל יעבור. ותירץ דס"ל לר"ל שמ"ש דבשפ"ד סברא הוא (מצד מאי חזית וכו') אינו עיקר הטעם, דקבלה היתה בידם דשפ"ד יהרג ואל יעבור, דאפילו היכא דל"ש האי טעמא, הוי דינא הכי, דיהרג ואל יעבור.

ולפי זה נופל גם מ"ש לעיל בחשבון מאי חזית על פי רש"י ביומא שם. ועוד, שכאן גם המסירה היא גרמא לכאורה, כיון שלא ודאי שיהרגו, ובכל זאת אסור למסור אף באופן זה.

וכתב הרב ישראלי שם:

למדנו מדברי הכס"מ, וכן ממה שכל עיקר לא הוקשה לו אלא מצד שבין כך ייהרג הלה שיחדוהו, שאסור להנצל ואפילו הם רבים, ע"י מסירת האחד, [ואעפ"י שבעיקר ביאורו את דברי הרמב"ם יש לדון הרבה, וכבר דנו בהם במק"א (קובץ "תורה שבעל פה" כרך יד, להלן סי' צג) והעלינו די"ל שהוא רק דין בעכו"ם שמבקשים להרוג נפשות מישראל, והוא מדיני קדוש השם, ואכמ"ל בזה].

אך עכ"פ זאת למדנו גם מתוך קושיתו, שהיא כנ"ל רק בכה"ג שממילא גם הוא היה נהרג, דבגוונא דילן שהמועטים יכולים להנצל, וזה ללא כל פעולה מצד המצילים לפגוע ח"ו ברבים, פשיטא ליה שזה ודאי אסור. ואפילו להללו שעומדים בספק הריגה ובאים להציל עצמם, מכ"ש שאסור לאחרים להציל את הרבים ע"י הריגת המועטים, כי בזה ודאי יש לומר "מאי חזית", ואין הבדל לענין סברת "מאי חזית" בין רבים למועטים, ואפילו יחיד וכנ"ל (ר' שם).

המאירי (סנהדרין עב,ב) חולק על הרמב"ם וסובר שהלכה כר"י.

ויראה כר' יוחנן… ומעתה אם לא נתחייב מיתה… אם אמר הריני הורג את כולכם או אתה והוא, ימסרהו ואל יהרגו שניהם או כולם….

אך למרות זאת מוסיף הוא בסוף דבריו:

ומ"מ נראה שלא הותר אלא למסרו שמא יקח ממנו כופר או יתחרט עליו, אבל להרגו בידים לא.

ולכן גם לדעת המאירי אין פתרון לשאלתנו.

האם לאדם הפסיבי שמחליק וגורם לתאונה, יש לו גדר של רודף בדומה לעובר? לכאורה עובר עושה מעשה שמסכן את האם, מה שאין כן מי שיהרג כתוצאה מהצלת אחרים מהתאונה, כאן אינו עושה מעשה כלל.

ויש לשאול על המאירי הנ"ל שמחלק ואומר שלהרוג בידים אסור, והרי המעשה של שבע בן בכרי שם הרגוהו בידים כנאמר (שמ"ב כ) "הנה ראשו מושלך אליך", מנין לו איפוא למאירי החילוק בין מסירתו לבין הריגתו בידים?

כתב על זה הרב ישראלי:

צריך לומר דס"ל למאירי שודאי לא מסתבר לומר שר"י ס"ל שיש ללמוד מהא דשבע ב"ב את ההלכה להתיר מסירתו כדי להנצל, שהרי שם היה באמת מחויב מיתה וכפי שאומר ר"ל, אלא ר"י סובר שהברייתא נקטה את שבע ב"ב רק בתוך דוגמא ל"יחדוהו". אבל עצם ההלכה של הברייתא היא מסברא, אך היא רק באופן שנאמר בברייתא, שאינם מתבקשים להורגו בידים רק למוסרו להם, ומדלא נקטה דוגמא כשתובעים העכו"ם שהם עצמם יהרגוהו, מזה למד שגם לר"י אסור לעשות זאת בידים, וההבדל שבין מסירתו לידי העכו"ם לבין הריגה בידים מבואר בדבריו, שהמסירה אינה עדיין ודאית למיתה "שמא יקח ממנו כופר או יתחרט עליו". ונראה שאין כוונתו לומר שזה ספק שקול, שהרי העכו"ם יחדוהו ואמרו בפירוש שיהרגוהו, אלא שר"ל שכיון שעכ"פ יתכן עוד נדנוד של אפשרות שינצל, אין המסירה בגדר הריגה בידים אלא היא בדין גרמא שאי"ב חיוב מיתת בי"ד. וזה בדומה למה שהעלה המאירי בענין כפתו לפני הארי (סנהדרין עז,ב) שכ' שם "כפתו לפני הארי, כגון שהיה הארי בר תרבות אצל זה הכופת ולא אצל האחר, והוא כופתו ומניחו לפניו, הואיל ואינו משיכו בהדיא – פטור, שהרי אין הממית נוגע בו בשעת כפיתה ואחר זמן הוא שבא".

ואם כן לתכנן מראש שכך יקרה, הרי זה ודאי גרמא, ואם כן לדעת המאירי יהיה מותר גם למסור בידים. וממילא יש לדון את המתכנן כגרמא ואינו חייב.

אלא שזה אינו פותר את השאלה העקרונית, האם כך ניתן לעשות לכתחילה? ולכאורה מוכח מהרמב"ם, ואולי גם מהמאירי שברמה העקרונית, אין למסור יחיד עבור רבים.

במשנה במסכת אהלות פרק ז' משנה ו':

האשה שהיא מקשה לילד מחתכין את הולד במעיה ומוציאין אותו אברים אברים מפני שחייה קודמין לחייו יצא רובו אין נוגעין בו שאין דוחין נפש מפני נפש:

ובסוגיה בסנהדרין עב ע"ב:

אמר רב הונא קטן הרודף ניתן להצילו בנפשו קסבר רודף אינו צריך התראה לא שנא גדול ולא שנא קטן איתיביה רב חסדא לרב הונא יצא ראשו אין נוגעין בו לפי שאין דוחין נפש מפני נפש ואמאי רודף הוא שאני התם דמשמיא קא רדפי לה.

ורש"י במסכת סנהדרין ע"ב ע"ב כתב:

יצא ראשו – באשה המקשה לילד ומסוכנת, וקתני רישא: החיה פושטת ידה וחותכתו ומוציאתו לאברים, דכל זמן שלא יצא לאויר העולם לאו נפש הוא וניתן להורגו ולהציל את אמו, אבל יצא ראשו – אין נוגעים בו להורגו, דהוה ליה כילוד ואין דוחין נפש מפני נפש, ואם תאמר מעשה דשבע בן בכרי (שמואל ב, כ) הנה ראשו מושלך אליך דדחו נפש מפני נפש – התם משום דאפילו לא מסרוהו לו היה נהרג בעיר כשיתפשנה יואב והן נהרגין עמו, אבל אם היה הוא ניצול אף על פי שהן נהרגין לא היו רשאין למסרו כדי להציל עצמן, אי נמי: משום דמורד במלכות הוה, והכי מפרש לה בתוספתא.

הרי שלרש"י אם היה הוא ניצול לא רשאין למסור אותו כדי להציל.

שאלתנו אם כן, הרי בסוגיה מבואר שהקטן היה נחשב רודף לולא משמיא קא רדפו לה. ואם היה רודף היה ניתן להורגו. אם כן לכאורה, אם מולי יש רכב הסוטה ממסלולו יש לו גדר של רודף, ויהיה מותר לגרום לו תאונה קטלנית באופן שאני אציל את עצמו.

אלא שהרכב אינו מיכוין לפגוע בי, אלא הוא נרדם/איבד שליטה/החליק, האם גם במקרה כזה אתן לו דין של רודף? לכאורה מוכח מקטן שנחשב לרודף אף שהוא שב ואל תעשה ואינו עושה כלום.

וע' רמב"ם הלכות רוצח הלכה ט' שהביא את הדין והוסיף: "וזהו טבעו של עולם":

הרי זו מצות לא תעשה שלא לחוס על נפש הרודף. לפיכך הורו חכמי שהעוברה שהיא מקשה לילד מותר  לחתוך העובר במיעיה בין בסם בין ביד מפני שהוא כרודף אחריה להורגה, ואם משהוציא ראשו אין נוגעין בו  שאין דוחין נפש מפני נפש וזהו טבעו של עולם.

ועל פי הרמב"ם אין ללמוד מעובר, כיון ש"זהו טבעו של עולם" אבל יש לנו מקרה נוסף שבו יש דין רודף פסיבי, ב"ק קי"ז ע"ב:

ההוא גברא דאקדים ואסיק חמרא למברא קמי דסליקו אינשי במברא בעי לאטבועי אתא ההוא גברא מלח  ליה לחמרא דההוא גברא ושדייה לנהרא וטבע אתא לקמיה דרבה פטריה. אמר ליה אביי והא מציל עצמו  בממון חבירו הוא אמר ליה האי מעיקרא רודף הוה.

וברמב"ם הלכות חובל ומזיק פ"ח הט"ו:

ספינה שחשבה להשבר מכובד המשוי ועמד אחד מהן והקל ממשאה והשליך בים פטור, שהמשא שבה כמו  רודף אחריהם להרגם ומצוה רבה עשה שהשליך והושיעם.

אם הרמב"ם למד מדין רודף לגבי משא, א"כ יש גדר של רודף שאינו עושה מעשה. אבל מרש"י ד"ה בעא,  משמע שהחמור עצמו הוא רודף על ידי תנועתיו וא"כ הוא רודף ממש.

ועוד יש לברר, האם יהיו שייכים כאן גדרי קדימה שיש בסוגיה בהוריות ממשנה בסוף מסכת הוריות יג ע"א:

האיש קודם לאשה להחיות ולהשב אבדה והאשה קודמת לאיש לכסות ולהוציא מבית השבי. בזמן ששניהם עומדים בקלקלה האיש קודם לאשה: כהן קודם ללוי לוי לישראל ישראל לממזר וממזר לנתין ונתין לגר וגר לעבד משוחרר. אימתי בזמן שכולם שוים אבל אם היה ממזר תלמיד חכם וכהן גדול עם הארץ ממזר תלמיד חכם קודם לכהן גדול עם הארץ.

וזה ודאי גם מחשב בעל בינה מלאכותית לא יכול לדעת האם מי שעומד להדרס הוא כהן או ישראל, או תלמיד חכם.

אבל כבר כתב הרב קוק במשפט כהן בתשובה ארוכה הדנה במעין שאלה זו, אם אדם צריך למסור את עצמו למען הצלת הכלל. וכתב שם, לגבי כל הדיון הנ"ל שבעצם לכאורה היה צורך להקדים על פי הסוגיה בהוריות, ואנו רואים ששיקולים אלו לא נכנסים לזה.

וכתב הרב במשפט כהן סימן קמג:

ובגוף הדבר סתמו עלינו רבותינו אבות ההוראה ז"ל את הדרך של המשקל כאן. ונראה מסתימתם, שאפילו אם אנו רואים שאחד הוא הדיוט וקטן שבישראל, והשני הוא גדול ורם ונשא בתורה ומע"ט, מ"מ אנו מבטלים את דעתנו ונאמר האדם יראה לעינים, ויש כאן מאי חזית, ואין דוחין נפש מפני נפש, וכדתנן באהלות, ומייתי לה בפ' בן סו"מ (סנהדרין ע"ב ב'), בקטן הנולד שיצא רובו, שאין נוגעים בו להציל את אמו על ידו, ואין בזה חילוק אפילו אם תהי' האם גדולה בישראל ומעשים טובים ונביאה, למשל כמרים ודבורה וחולדה וכיו"ב. ולכאורה צריך הדבר תלמוד מנא לן הא, כיון דעיקר הדבר סברא הוא דמאי חזית, והרי לענין להחיותו קיי"ל שאנו מחלקים את המדרגות, וכדתנן הוריות י"ג א' האיש קודם לאשה וכהן קודם ללוי ות"ח לע"ה, וזהו בלהחיותו כשהם טובעים בנהר, וכמש"כ רמ"א בהגהה יו"ד רנ"ב סק"ח, א"כ למה לא יכריע משקל זה שלנו ג"כ את הסברא דמאי חזית.

וע"ש שניסה לענות על השאלה, ומכל מקום אנו רואים ששיקולים אלו לא נכנסים לכאן.

ומתוך מסקנות הרב ישראלי שם:

ד . אם שנים עומדים באותה סכנה ולא ניתן להציל אלא את אחד, קיים סדר הקדמה המפורט במס' הוריות ובהלכה.

ה . הוא הדין אם עומדת הברירה בין הצלת רבים לבין הצלת מועטים (והם שוים בערך במובן איכותי), יש להעדיף את הצלת הרבים על המועטים.

ו . היו המועטים עדיפים מבחינה איכותית על הרבים הדבר צריך שיקול והכרעה מתוך כובד ראש ועיון רב.

ז . בשום פנים ואופן אסור להציל, אפילו רבים וחשובים, כשהצלתם מחייבת הריגתו (או אפילו גרם הריגתו) של אחד שאילולא זה לא היה נהרג.

אם כן לכאורה הוא אוסר אפילו בגרמא להרוג את היחיד לעומת הרבים.

אלא שכל הדיון כאן הוא על הריגה בידים או בגרמא. אבל מה לגבי תכנון מראש של מחשב שברכב ללא נהג המצב היה של "קום עשה" של המחשב להרוג את המעטים. האם תכנון רכב אוטומטי דומה לסעיף ז' במסקנת הרב ישראלי או דומה לסעיף ה'?

בסברא יש לחלק בין המחשב ובין אדם ולומר שלגבי המחשב שתי האפשרויות הם או קום עשה או ששתיהן הן שב ואל תעשה. אלא שצריך למצא את האסמכתאות ההלכתית לכך.

מאמר בהארץ:

דברים שעלינו ללמד את המכונית האוטונומית

משחק רשת שבוחן את הדילמות האתיות שמתלוות לעלייתן לכביש של המכוניות האוטונומיות מעלה שאנשים במדינות שונות ותחת משטרים שונים מצפים מכלי הרכב האלה להכרעות שונות בנוגע לחיי אדם. אז כיצד תנהג מכונית אוטונומית שיוצרה בסין, נרכשה בגרמניה וחצתה את הגבול לצרפת? אף אחד לא יודע, אבל כדאי לנו לוודא שלציבור תהיה השפעה על התשובה העתידית לכך
אורי אביב

26.10.2016

אתם יושבים במכונית, בדרך לחתונה של חברים קרובים, לבושים היטב. התבקשתם להקליט ברכת וידיאו לערב ושכחתם, אז אתם עושים את זה מהדרך, מרימים כוסית לחייהם. חמש השניות הבאות יידמו כנצח. לכביש מתפרצת ילדה קטנה. היא דוהרת בחוסר תשומת לב לסביבתה בעקבות גור הכלבים החדש שקיבלה ליום הולדתה. סבא וסבתא על המדרכה, זועקים לעברה, לעברכם. הילדה מפנה את מבטה, מביטה אל האורות המתקרבים. הסביבה כולה קופאת. האם תסטו מהכביש שמאלה ותפגעו בסבא ובסבתא, תסטו ימינה אל תוך עץ, או שתישארו במסלול ותקפדו את חייה? מזל שאתם כלל לא נדרשים לדילמה. המכונית היא שתקבל את ההחלטה.

החיים של מי שווים יותר? מי ראוי יותר ליום נוסף? הזקן או הילדה, הגבר או האשה, ואילו מדדים ישנו את התשובה שלכם בנושא — בריאות? פשיעה? צבע עור? מוצא? דת? אם מישהו מהם עומד בראש בנק גדול, חברת כנסת, מדענית זוכת פרס נובל או פעיל חברתי? והאם התשובות אחידות בין תרבויות ומשטרים?

מכוניות אוטונומיות כבר עולות על הכביש וימשיכו בשנים הקרובות. ראשונה היתה זו גוגל שהציגה את הפלא הטכנולוגי ב–2014, ואחריה טסלה של אילון מאסק הניעה את תעשיית הרכב לכיוון האוטונומי. יצרניות רכב בעולם כולו, בהן BMW, דיימלר, GM, ניסאן, הונדה, פורד ורבות אחרות הציגו רכבים אוטונומיים בשנה האחרונה, ואל השוק נכנסו גם חברות דוגמת אובּר, שהחלה להציע באוגוסט נסיעות מבחן ברכביה האוטונומיים ברחובות פיטסבורג, בפרויקט משותף עם וולוו. הסוגיות האתיות, ובראשן כיצד ינהגו ויתנהגו המכוניות האוטונומיות ברגעי האמת של תאונת דרכים, עומדות לפתחן של כל החברות הללו, אך האם זה בראש מעיינייהן?

הקטל בכבישים והמכונה המוסרית

357 ישראלים נהרגו ב–2015 בתאונות דרכים, אלפים רבים נפצעו. התשתית להתנהלותן של מכוניות אוטונומיות על הכביש מונחת בימים אלו. חקיקה ואלגוריתמיקה הן שיקבעו כיצד יתנהלו מכוניות העתיד, או בשפה בוטה יותר, כיצד הן יכמתו את האנשים שסביבן ואת מי הן יבחרו להציל או להרוג. התומכים במהלך צופים עלייה דרמטית באיכות החיים ובעיקר ירידה דרמטית במקרי המוות והפגיעה הקשה מתאונות דרכים. שיפורים טכנולוגיים בתשתיות הדרכים ובמכוניות עצמן הצילו חיים לאורך השנים, וקשה להתווכח עם זה לנוכח המספרים. בני אדם הם כנראה נהגים לא טובים בהשוואה לרובוטים.

אנו הרי מבצעים הכרעות בדבר חיים ומוות כל הזמן. אלו שמתקבלות ברגעים המובילים לתאונות דרכים הן לרוב בהולות, אימפולסיביות, אינסטינקטיביות. קשה לומר שמתקבלת בהן החלטה של ממש, ודאי שלא אחת שהיא מודעת. נשמע שיהיה זה נבון לשלב בשברירי שנייה אלו בינה מלאכותית, מהירה לאין שיעור מהחשיבה האנושית, כזו שתקבל החלטה מושכלת המסתמכת על הנתונים בשטח ועל חוקיות שמיטב המוחות האנושיים התחבטו, התלבטו והכריעו לגביה. או שאולי, דווקא ברגעים אלו עלינו להעדיף את הכאוס האנושי.

ב–23 ביוני השנה פירסמה קבוצת חוקרים בהובלת ד"ר עיאד ראהוואן (Rahwan) ממעבדת המדיה של MIT משחק רשת בשם "המכונה המוסרית" (The Moral Machine), הבוחן בדיוק את השאלות האלו. במשחק מתוארת סיטואציה שבה הבלמים של רכב אוטונומי מתקלקלים. על השחקן להחליט אם הרכב יסטה ממסלולו, יתנגש במחסום ויהרוג את יושביו, או יישאר במסלולו תוך שהוא פוגע בהולכי רגל החוצים במעבר חציה. בגרסה מעודכנת לדילמת הקרונית המפורסמת (האם להסיט את הקרונית ולהרוג אדם אחד במקום חמישה), המשחק מעמיד שורה של אפשרויות בפני השחקנים במטרה לאסוף מידע ולבחון את נטיותינו המוסריות: אילו סוגיות יהיו חשובות לנו כשאנו מבצעים את הבחירה בין הרג היושבים במכונית לחיסול הולכי הרגל? האם הגיל, המגדר, התרומה לחברה (רופאים למול פושעים), המעמד הסוציו־אקונומי (מנהלים מול תפרנים) ואף מידת הכבוד שלנו לחוק ולסדר (האם הולכי הרגל חצו את הכביש באור ירוק או אדום) משנות לנו. חוקרי MIT בדקו אפילו את יחסינו לבעלי חיים ולחיות מחמד המתלוות לבעליהן.

הסוגיות נבחרו בקפידה תוך התייעצות עם חוקרי כלכלה, פסיכולוגיה וחברה השותפים במחקר, בהם ז'אן־פרנסואה בונפון, פסיכולוג מבית הספר לכלכלה בטולוז, ועזים שריף, המוביל את מעבדת המחקר לתרבות ומוסר באוניברסיטת קליפורניה בארווין. המשחק הפך לוויראלי בשבועות האחרונים. יותר משני מיליון אנשים שיחקו בו עד כה וצוות המחקר אסף תגובות לכ–14 מיליון תרחישים. הנתונים עדיין נאספים, אך לעת עתה ניתן לומר כי באופן כללי אנו נוטים להציל נשים על פני גברים, תינוקות על פני קשישים, אנשים עם תרומה מוכחת לחברה וכבוד לחוק על פני פושעים, ובני אדם על פני חיות.

בשיחה עם מוסף "הארץ" אמר סוהאן דיסוזה (Dsouza), חבר בצוות המחקר, כי הם עדיין מעבדים ומנתחים את הנתונים שבידיהם, אך ניתן לראות כמה מגמות כלליות הקשורות לאופן שבו שחקנים במדינות שונות, ותחת משטרים שונים, מתייחסים לדילמות המוסריות המוצגות בו. לפי דיסוזה, במדינות המשויכות למערב השחקנים נוטים, בממוצע, להעדיף הצלת כמה שיותר חיים באשר הם, ולא מעניקים חשיבות לנוסעי הרכב על פני הולכי הרגל, זאת בניגוד לשחקנים ממשטרים אחרים, המשויכים לגוש מדינות המזרח.

הסוגיות האלו מסתבכות כשלוקחים בחשבון את העובדה שהחברות המייצרות כלי רכב אוטונומיים מעוניינות לדעת מה יעלה את הסבירות שלקוח ירכוש דווקא את הרכב שלהן. דיימלר, המייצרת בעיקר מכוניות יוקרה, הודיעה בשבוע שעבר כי המכוניות האוטונומיות שלה יתעדפו את חייו של הנוסע על פני אלו של הולכי הרגל שסביב. בראיון שהעניק כריסטוף פון הוגו, מנהל בכיר במרצדס למגזין "Car and Driver", הוא אמר כי "בוודאי שניתן להקריב את המכונית (כלומר על יושביה, א"א). אך אז האנשים שאתה מציל, אתה לא יודע מה קורה איתם בהמשך, במצבים שעלולים להיות מאוד מורכבים. אז אתה מציל את מי שאתה יודע שאתה יכול להציל. אם אתה יכול להציל לפחות אדם אחד, לפחות תציל אותו. תציל את האדם שבמכונית".

הציבור עצמו משנה את עמדותיו על פי האופן שבו הוא נפגש עם הסיטואציה עצמה — כלומר יש הבדל בין שאלה תיאורטית לגבי האנושות לבין תשובה של האדם אם הוא זה שנמצא ברכב. "רוב האנשים מעוניינים לחיות בעולם שבו מכוניות אוטונומיות מצמצמות את מניין הנפגעים בתאונות דרכים, למעט כשמדובר ברכבים שהם הנוסעים בהם", טוען ד"ר ראהוואן מ–MIT. "כולם רוצים שהרכב שלהם יגן עליהם בכל מחיר".

מבקרים יושבים בדגם רכב אוטונומי של מרצדס בנץ בתערוכת טכנולוגיה בלאס-וגאס. חלק משמעותי מאופיין של מדינות וערים נטוע בחוויית הנסיעה בהן ותרבות הנהיגה של תושביהן
צילום: אי־פי
לפי דיימלר, בעלות על הרכב מקנה חסינות, או קדימות מובהקת באלגוריתמיקת החיים והמוות, אך האם לא ההפך הוא הנכון? בהנחה שהמדינה מספקת אפשרויות התניידות ציבוריות, בעלות על רכב פרטי היא נטל שהאדם שבוחר בכך משית על החברה. האם האחריות והפריווילגיה שהם רכב פרטי לא ראוי שילוו בהסכמה עם סיכון מסוים? כמובן שגם כאן התשובה אינה פשוטה, שכן עדיין איננו יודעים מה יהיה המודל העסקי של התחבורה האוטונומית. מומחים טוענים כי בעלות על כלי רכב כאלה תהיה עניין נדיר יותר ושירותי הסעה שיתופיים (בדומה לאובר או ליפט) הם שיהפכו לנורמה. ולמה בעצם שהתחבורה הציבורית כולה לא תעבור לרכבים אוטונומיים? כיצד הסיכון לנוסע יחושב בתרחישים כאלו? חשוב לזכור שבניגוד לכל נוסעי התחבורה האוטונומית — פרטית או ציבורית — הולכי הרגל ורוכבי האופניים אינם בתוך המכונית ולא בחרו מרצונם לעשות שימוש במכונה השוקלת יותר מטונה, מסוגלת להגיע למהירויות של 200 קמ"ש ועלולה לסכן את חייהם של אחרים.

תרבות נהיגה גלובלית

"אנחנו מלמדים מכוניות להרוג!" היא כותרת טובה לא פחות מ"אנו מונעים את הקטל בכבישים", אך המציאות מורכבת הרבה יותר. אנו נוטים להפריד באופן מוחלט בין האדם למכונה המשרתת אותו, בין האנושות לטכנולוגיה, אך קו הגבול שבו מסתיים האדם ומתחילה המכונה לא קיים. השימוש בכלים — חיתוך פירות ורידוד בצק, בניית שולחנות ובניינים, שחיטת בעלי חיים ורכיבה על סוסים, וגם נהיגה במכוניות — מהווה חלק מהאנושיות שלנו.

עם המכונית והבעלות עליה מגיעים הקשרים חברתיים וסמלים תרבותיים שהם הרבה מעבר לצורך להתנייד מהעבודה לבית ולחתונה של החברים. המכונית היא סמל לתרבות הנהיגה, השונה באופן דרמטי בין חברות שונות, ויש לה השפעה עצומה על המרחב והסביבה העירונית בפרט. חלק משמעותי מאופיין של מדינות וערים נטוע בחוויית הנסיעה בהן ותרבות הנהיגה של תושביהן. התנועה בבייג'ין שונה מאוד מזו שבלוס אנג'לס, ואלו שונות מזו שברומא, דלהי, ירושלים או תל אביב.

האם האלגוריתמיקה הנכתבת בימים אלו עבור מכוניות אוטונומיות, שתכריע בדבר חיים ומוות, תיקח בחשבון את ההבדלים התרבותיים העדינים? האם מכונית אוטונומית תנהג אחרת על הכביש, תצפור יותר או פחות, תזגזג יותר או פחות, תאיץ או תאט, תוך התחשבות במקום שבו היא נמצאת? האם מנגנוני הלמידה של הבינה המלאכותית המפעילה את הרכב ילמדו את סביבתם ויתאימו את אופי הנהיגה של המכונית גם בהיעדרם של נהגים אנושיים? האם ימשיכו בצפירות ממושכות ובנהיגה משולחת רסן באזורים מסוימים אך יתמידו בנהיגה אטית וזהירה באחרים, הרבה אחרי שבני האדם כבר לא יהיו מאחורי ההגה?

אייזק אסימוב. חוקי הרובוטיקה כתשתית
צילום: מרטי לדרהנדלר / אי־פי
וכיצד מכוניות אוטונומיות שמיוצרות על ידי חברות במשטרים שונים יתנהלו על הכביש? האם מכונית אוטונומית שתיוצר בסין תנהג באופן אחר מזו של יצרנית רכב יפנית, הודית, אירופית או אמריקאית? האם לרכבים האלו תהיה "תרבות נהיגה" ייחודית לארץ מוצאם, והאם יפעלו לפי מוסר התואם למשטר שבו נוצרו? ולפי אילו כללי אתיקה תבוצע הנסיעה האפשרית של רכב אוטונומי מהונג קונג עד אדינבורו — האם הנוסעים יקבלו אינדיקציה כי הרכב עידכן אתיקה, וכעת פועל לפי הנהוג בפדרציה הרוסית או באיחוד האירופי?

זה לא רק חיים ומוות, זה כל מה שביניהם. הדיונים בדבר מחיקת זהות ותרבות הם ממש מעבר לפינה, בדרך המפותלת אל עבר השימוש הנרחב במכוניות האוטונומיות. אם אנו אכן עתידים להשטחה נוספת של הסביבה התרבותית שלנו ולכפייתם של סטנדרטים עולמיים אחידים — חשוב שתהיה לנו השפעה על כתיבת התקנים, וחשוב אף יותר שנצא נשכרים מכך, ושאכן נראה את הירידה הדרמטית המיוחלת בתאונות הדרכים.

התשתית הרגולטורית והפיזית לתחבורת כלי הרכב הנוכחית התהוותה לפני כמאה שנים. כדי להתנייד במהירות ממקום למקום, הסכמנו כחברה לקורבנות מסוימים, בראש ובראשונה, בתאונות הדרכים. עם האפשרות להגיע מתל אביב לירושלים במכונית בשעה במקום בנסיעה בת יום וחצי בדיליז'נס, כולל לינת לילה בשער הגיא, הסכמנו לקבל מאות הרוגים ואלפי פצועים בשנה, כל אחת ואחד מהם טרגדיה אנושית. אנו עומדים בפתחה של מהפכה שתשנה מקצה לקצה את האופן שבו אנו מתניידים. איתה ישתנו גם סמלים תרבותיים וסביבות המחיה שלנו. התועלות ברורות, אך עלינו לפעול על מנת שהנזקים המשניים יהיו מצומצמים ככל האפשר.

אייזק אסימוב ניסח זאת היטב בשנות ה–40, פשוט החליפו את המילה רובוט במילה מכונית:

1. לא יפגע רובוט לרעה באדם, ולא יניח, במחדל, שאדם ייפגע.

2. רובוט חייב לציית לפקודותיו של אדם, כל עוד אינן סותרות את החוק הראשון.

3. רובוט ידאג לשמור על קיומו ושלמותו, כל עוד הגנה זו אינה עומדת בסתירה לחוק הראשון או לחוק השני.

המדע הבדיוני הניח את יסודות החשיבה, שלושת חוקי הרובוטיקה הם התשתית, כעת צריך לפרוט זאת לרגולציה וחקיקה וליישם. הכתבה מעלה שאלות רבות אך לא מספקת תשובות, שכן הן טרם קיימות ברובן. זו גם היתה מטרתה של "המכונה המוסרית", אומר דיסוזה, איסוף מידע אמפירי על גישתם של אנשים מכל העולם לסוגיות הללו ועידוד הדיון בין כל בעלי העניין — רגולטורים, חברות ביטוח, מדענים, יצרני רכב וכמובן הציבור הרחב. עלינו לעקוב אחר השאלות שנשאלות, התשובות שאט־אט יינתנו להן והאינטרסים של מי שמספק אותן, ולעשות מאמץ שהאתיקה והרגולציה ייכתבו באופן שקוף ובשיתוף הציבור כולו.

[1] מתוך גלובס:

אבל מה שקרה באותו יום העמיד למבחן את ההחלטה. הכביש היה פנוי והמכונית נסעה בדיוק במהירות המותרת בחוק, אולם רגע לפני שהיא חלפה על פני חניה פרטית שנפתחה אל הכביש מימין, התפרצו לכביש שני ילדים בני שש או שבע שרדפו אחרי כדורגל.

מערכת האינטליגנציה המלאכותית של המכונית כבר ידעה שהכביש רטוב בגלל טפטוף קל שפקד את האזור רבע שעה קודם לכן והסיקה תוך שבריר שנייה שאין סיכוי בעולם שבלימה תמנע את הפגיעה. מימין לא הייתה מדרכה שניתן היה לעלות עליה ולעקוף את הילדים, וגם שבירה מלאה של ההגה לשמאל וחציית קו ההפרדה הלבן למסלול הנגדי לא הייתה אפשרות מוצלחת במיוחד. האינטליגנציה המלאכותית החליטה במהירות שבמקרה של סטייה שכזאת לשמאל, יתרסק הרכב המשפחתי לתוך מכונית משפחתית אוטונומית אחרת שעשתה את דרכה במעלה הגבעה. משום כך, האלגוריתמים פקדו על המכונית להישאר בנתיב, להמשיך קדימה ולדרוס את שני הילדים. פגיעה בהם הייתה האפשרות ההגיונית ביותר בהתחשב בנתונים הקיימים.

צליל החבטה האדיר תפס את המבוגרים שבמכונית לגמרי לא מוכנים. הם לא היו ערים לסכנה המתקרבת, לא היו שותפים להחלטה המהירה שגבתה את חייהם של שני הילדים, אבל אולי הצילה את חייהם שלהם ושל הנוסעים במכונית שנסעה בנתיב הנגדי, ועם כל הכאב שבדבר – הם גם לא ראו את עצמם אחראים לתוצאות התאונה הטרגית.

כמה חודשים לאחר מכן, כשהוגש לבית המשפט כתב התביעה של הורי שני הילדים שנהרגו, התברר שגם הם אינם רואים את בני המשפחה שישבו במכונית הפוגעת כאחראים לטרגדיה. הם לא כעסו על שני ההורים שלא ישבו עם פניהם אל כיוון הנסיעה משום שנתוני הנסיעה שהם קיבלו בצו בית משפט הראו מעבר לכל ספק, שאף נהג אנושי לא היה מצליח לעצור בזמן. מעבר לכך, הם ידעו היטב שמאז שהמכוניות האוטונומיות נכנסו לשימוש מאסיבי, מספר תאונות הדרכים שבהן הן היו מעורבות היה נמוך ביותר מ-90% מאלו שבהן היו מעורבים נהגים אנושיים.

משום כך, התביעה של ההורים השכולים התמקדה בכותבי הקוד שעמד בבסיס מערכת קבלת ההחלטות המורכבת של המכונית. באנשים שיצרו את הרצף הכמעט אינסופי של אותיות ומספרים שהרכיבו התניות ופקודות שהורו למכונית כיצד להתנהג בסיטואציות מורכבות. המכונית אולי הרגה את שני הילדים בעצמה, הם טענו, אולם הבחירות המוסריות שלה – הקוד האתי שהניע אותה – לא נגזר משום מוסר "טבעי". הוא היה תוצר ברור של החלטות שקיבלו בני אדם.

כל מי שעוקב אחר התפתחות טכנולוגיית המכוניות האוטונומיות יודע שתרחיש דמיוני כמו זה שתואר פה, כנראה קרוב מהצפוי. תעשיות התוכנה והרכב מבינות היטב שהעתיד שייך למכוניות ללא נהג, וחברות כמו גוגל, וולבו, ניסאן, פורד, מרצדס, אפל, טויוטה, אנבידיה, טסלה ואחרות כבר לוקחות חלק פעיל מאוד במירוץ אל היעד הנכסף.