הדילמות הגורליות והמוסריות שמעוררת המכונית האוטונומית – (כותרת מעיתון גלובס)
"העתיד שייך למכוניות אוטונומיות ללא נהג ■ אבל מה יקרה במקרי חירום שבהם נדרשת קבלת החלטה של חיים ומוות? מי יקבע: מהנדסים? מתכנתים? פילוסופים? מחוקקים?"
חברות ניסאן מוטורס ווולוו הודיעו כי בשנת 2020 יימכרו הדגמים הראשונים של מכוניות אוטונומיות בפיתוחן. סביר כי כ-5 שנים לאחר מכן מכוניות כאלה יימכרו בשיווק המוני.
אחד המכשולים הגדולים ביותר בדרך למכונית אוטונומית, נוגע לסוגיה שכלל אינה נוגעת לטכנולוגיה – אלא לחוק ומוסר. האם המחשב במכונית האוטונומית יקבע מי ימות ומי יחיה בתאונה?
והשאלה היא לכאורה פשוטה: כיצד אלגוריתם ממוחשב, מתוחכם ככל שיהיה, יכול להחליט בסוגיות של חיים ומוות. למשל במקרה בו כלב קופץ לכביש וצריך לבצע תמרון התחמקות – האם המכונית תדרוס את הכלב כדי למנוע פגיעה בנוסעים? האם תתחמק מהכלב ותסתכן בפגיעה בהולך רגל? והאם תתרסק תוך סיכון לנוסעים שבתוכה?
מומחים מזהירים גם כי בניגוד לבן אדם, עדיין לא הומצא מחשב שיכול להביע אמפתיה ולקחת החלטות שיש להן השלכות מוסריות.[1]
אם הדיון הוא רק בנוגע לנזק, יש לומר שבזה "חייך קודמין" ואין מאי חזית, וכן מפורש בשו"ע חו"מ שפ"ח סוף ס"ב ברמ"א:
היה רואה נזק בא עליו, מותר להציל עצמו אף על פי שע"י זה בא הנזק לאחר (נ"י פ' השותפין).
וע' ש"ך קס"ג יח:
המלך או שר שמטיל איזה דבר על עשיר א' או ב' ויש ליהודי א' כח בהיכל המלך והשר להשתדל לפוטרם אם הדבר ברור ודאי שאם יפטרם לאלו יטיל על אחרים אי רשאי להצילם לאלו או לא פסק בתשו' מהריב"ל ח"ב סי' מ' דאם כבר הטיל המלך על אנשים ידועים ופרט אותם ונלכדו ברשתו אזי אין יהודי רשאי להשתדל לפוטרן בשום ענין שיזיק לאחרים בודאי אבל אם יצא גזרה להטיל על ב' אנשים בסתם יכול יהודי להשתדל על איזה אנשים שרוצה שלא יהיו בכלל הגזירה אף שבודאי יכנסו אחרים והביא ראיה ברור' ממפיבש' בפרק הערל שהתפלל דוד עליו שלא יקלטנו הארון.
אם כן בנזק ניתן לתכנן שהנזק יקרה למשהו אחר ולא לי.
מה יקרה כשמכונית כזו תחליק בכביש רטוב לעבר חמשה אנשים, יש לה ברירה להכנס בקיר ולהרוג את הנהג. האם מותר לתכנן מראש שהנהג יהרג, או להשאיר בתוכנה במצב של שב ואל תעשה?
מה קורה כשיש נהג מאחורי ההגה, וברכב האוטומטי יהרגו במקרה כזה נוסעים נוספים, האם מותר לו להציל רבים על ידי הריגה בידים של יחיד? מה יהיה כשהמצב הוא הפוך, שיהרגו יותר נוסעים ברכב שממול?
האם במכונית ללא נהג, בתכנות, זו שאלה של שב ואל תעשה משני הצדדים, או קום ועשה?
כאן לגבי המתכנת המצב הוא מצב של גרמא, האם זה משנה את הדין?
לכאורה הרי לגבי דיני נפשות אנו אומרים מאי חזית דדמא דידך סמיק טפי ואין לאדם לינצל על ידי שיהרוג את חברו. ואם כן גם כאן, אינו יכול להציל בכלל את עצמו בזה שיגרום הריגה לחברו?
ע' יומא פב ע"ב ברש"י בגמרא שם נאמר:
ורוצח גופיה מנא לן סברא היא דההוא דאתא לקמיה (דרבא) (מסורת הש"ס [דרבה]) אמר ליה אמר לי מרי דוראי קטליה לפלניא ואי לא קטילנא לך אמר ליה נקטלך ולא תקטול מאי חזית דדמא דידך סומק טפי דילמא דמא דההוא גברא סומק טפי.
האם שייכת גם כאן סברת מאי חזית דדמא דידך סומק טפי? ע' רש"י שם:
מאי חזית דדמא דידך סומק טפי – כלומר מאי דעתיך למשרי מילתא משום וחי בהם ולא שימות בהם, טעמו של דבר לפי שחביבה נפשן של ישראל לפני המקום יותר מן המצות, אמר הקדוש ברוך הוא: תבטל המצוה ויחיה זה, אבל עכשיו, שיש כאן ישראל נהרג והמצוה בטילה למה ייטב בעיני המקום לעבור על מצותו, למה יהיה דמך חביב עליו יותר מדם חבירך ישראל?
לפי רש"י סברת מאי חזית בנויה על כך שעדיף שיהרג הוא ולא תהיה גם הריגה של נפש וגם איסור רציחה: "עכשיו שיש כאן ישראל נהרג והמצוה בטילה למה ייטב בעיני המקום לעבור על מצוותו" – אם כן במקום שלא יהיה איסור רציחה בידים, אולי אכן דדמא דידך סומק טפי כמו לגבי שנים שהולכים במדבר, בבא מציעא דף סב ע"א:
שנים שהיו מהלכין בדרך וביד אחד מהן קיתון של מים אם שותין שניהם מתים ואם שותה אחד מהן מגיע לישוב דרש בן פטורא מוטב שישתו שניהם וימותו ואל יראה אחד מהם במיתתו של חבירו עד שבא רבי עקיבא ולימד וחי אחיך עמך חייך קודמים לחיי חבירך.
לדברי רש"י רק כיש גם עבירה של רציחה אומרים מאי חזית, אבל לא במקום שזה שב ואל תעשה, ואם כן לכאורה יהיה גם מותר לתכנן מצב של שב ואל תעשה, והרי ברור שהנהג אין לו דין של רוצח, וגם המתכנן הוא מצב של שב ואל תעשה ולא שייך לגביו לומר מאי חזית, שהרי לגבי המתכנן שניהם שוים (אלא שאחד מהם – הנהג – שילם לו כסף לתכנן). ולכאורה יהיה מותר לו לתכנן כדי להציל את הנהג.
ע' שו"ת ממעמקים ח"ה סימן א'
שאלה דומה נדונה בשו"ת חוות בנימין סימן יח, על ידי הרב ישראלי זצ"ל.
ב-4 בנובמבר 1983, התפוצצה מכונית תופת ליד שער הכניסה למפקדת צה"ל ומשמר הגבול בצור, וגרמה ל-60 הרוגים. בפיצוץ קרס הבניין בו שכנה מפקדת השב"כ ומפקדת משמר הגבול שלידה. יחידת החילוץ של צה"ל עמלה בחילוץ קשה ומסובך לאתר ניצולים בבניין. לאחר המבצע נשאל הרב ישראלי כיצד יש לבצע את החילוץ כאשר לפעמים כדי להגיע לניצול אחד הדחפורים נאלצו לפגוע בפצוע אחר שסיכויו להנצל פחותים יותר.
במשנה תרומות פרק ח' משנה יב שנינו: "וכן נשים שאמרו להם עובדי כוכבים תנו אחת מכם ונטמא ואם לאו הרי אנו מטמאים את כולכם יטמאו את כולן ואל ימסרו להם נפש אחת מישראל" ובירושלמי תרומות פ"ח הלכה ד':
תני סיעות בני אדם שהיו מהלכין בדרך פגעו להן גוים ואמרו תנו לנו אחד מכם ונהרוג אותו ואם לאו הרי אנו הורגים את כולכם אפי' כולן נהרגים לא ימסרו נפש אחת מישראל ייחדו להן אחד כגון שבע בן בכרי ימסרו אותו ואל ייהרגו א"ר שמעון בן לקיש והוא שיהא חייב מיתה כשבע בן בכרי ורבי יוחנן אמר אף על פי שאינו חייב מיתה כשבע בן בכרי עולא בר קושב תבעתיה מלכותא ערק ואזיל ליה ללוד גבי ריב"ל אתון ואקפון מדינתא אמרו להן אין לית אתון יהבון ליה לן אנן מחרבין מדינתא סלק גביה ריב"ל ופייסיה ויהביה לון והוה אליהו זכור לטוב יליף מתגלי עלוי ולא אתגלי וצם כמה צומין ואיתגלי עלוי אמר ליה ולמסורות אני נגלה א"ל ולא משנה עשיתי א"ל וזו משנת החסידים
הרמב"ם פסק כריש לקיש, פ"ה מה' יסוה"ת הל' ה' נאמר:
"אם אמרו להם עכו"ם תנו לנו אחד מכם ונהרגנו ואם לאו נהרוג את כולכם, יהרגו כולם ואל ימסרו להם נפש אחת מישראל; ואם יחדוהו להם ואמרו תנו לנו פלוני או נהרוג את כולכם, אם היה מחויב מיתה כשבע בן בכרי יתנו אותו להם; ואין מורין להם כן לכתחילה. ואם אינו חייב מיתה יהרגו כולם ואל ימסרו להם נפש אחת מישראל".
פסק הלכה זה הוא כדעת ר"ל שנחלק בזה בירוש' תרומות פ"ח עם ר' יוחנן, ודעת ר"י היא שגם כשלא היה חייב מיתה כל שיחדוהו מותר למוסרו להם.
והתקשה הכס"מ בדעת ר"ל, מה טעם לא ימסרוהו גם כשלא היה מחויב מיתה, כיון שממילא יהרג יחד עם אחרים, א"כ ל"ש כאן סברת מאי חזית וכו', (סנהדרין עד, א) שבגלל זה אמרינן שבשפ"ד יהרג ואל יעבור. ותירץ דס"ל לר"ל שמ"ש דבשפ"ד סברא הוא (מצד מאי חזית וכו') אינו עיקר הטעם, דקבלה היתה בידם דשפ"ד יהרג ואל יעבור, דאפילו היכא דל"ש האי טעמא, הוי דינא הכי, דיהרג ואל יעבור.
ולפי זה נופל גם מ"ש לעיל בחשבון מאי חזית על פי רש"י ביומא שם. ועוד, שכאן גם המסירה היא גרמא לכאורה, כיון שלא ודאי שיהרגו, ובכל זאת אסור למסור אף באופן זה.
וכתב הרב ישראלי שם:
למדנו מדברי הכס"מ, וכן ממה שכל עיקר לא הוקשה לו אלא מצד שבין כך ייהרג הלה שיחדוהו, שאסור להנצל ואפילו הם רבים, ע"י מסירת האחד, [ואעפ"י שבעיקר ביאורו את דברי הרמב"ם יש לדון הרבה, וכבר דנו בהם במק"א (קובץ "תורה שבעל פה" כרך יד, להלן סי' צג) והעלינו די"ל שהוא רק דין בעכו"ם שמבקשים להרוג נפשות מישראל, והוא מדיני קדוש השם, ואכמ"ל בזה].
אך עכ"פ זאת למדנו גם מתוך קושיתו, שהיא כנ"ל רק בכה"ג שממילא גם הוא היה נהרג, דבגוונא דילן שהמועטים יכולים להנצל, וזה ללא כל פעולה מצד המצילים לפגוע ח"ו ברבים, פשיטא ליה שזה ודאי אסור. ואפילו להללו שעומדים בספק הריגה ובאים להציל עצמם, מכ"ש שאסור לאחרים להציל את הרבים ע"י הריגת המועטים, כי בזה ודאי יש לומר "מאי חזית", ואין הבדל לענין סברת "מאי חזית" בין רבים למועטים, ואפילו יחיד וכנ"ל (ר' שם).
המאירי (סנהדרין עב,ב) חולק על הרמב"ם וסובר שהלכה כר"י.
ויראה כר' יוחנן… ומעתה אם לא נתחייב מיתה… אם אמר הריני הורג את כולכם או אתה והוא, ימסרהו ואל יהרגו שניהם או כולם….
אך למרות זאת מוסיף הוא בסוף דבריו:
ומ"מ נראה שלא הותר אלא למסרו שמא יקח ממנו כופר או יתחרט עליו, אבל להרגו בידים לא.
ולכן גם לדעת המאירי אין פתרון לשאלתנו.
האם לאדם הפסיבי שמחליק וגורם לתאונה, יש לו גדר של רודף בדומה לעובר? לכאורה עובר עושה מעשה שמסכן את האם, מה שאין כן מי שיהרג כתוצאה מהצלת אחרים מהתאונה, כאן אינו עושה מעשה כלל.
ויש לשאול על המאירי הנ"ל שמחלק ואומר שלהרוג בידים אסור, והרי המעשה של שבע בן בכרי שם הרגוהו בידים כנאמר (שמ"ב כ) "הנה ראשו מושלך אליך", מנין לו איפוא למאירי החילוק בין מסירתו לבין הריגתו בידים?
כתב על זה הרב ישראלי:
צריך לומר דס"ל למאירי שודאי לא מסתבר לומר שר"י ס"ל שיש ללמוד מהא דשבע ב"ב את ההלכה להתיר מסירתו כדי להנצל, שהרי שם היה באמת מחויב מיתה וכפי שאומר ר"ל, אלא ר"י סובר שהברייתא נקטה את שבע ב"ב רק בתוך דוגמא ל"יחדוהו". אבל עצם ההלכה של הברייתא היא מסברא, אך היא רק באופן שנאמר בברייתא, שאינם מתבקשים להורגו בידים רק למוסרו להם, ומדלא נקטה דוגמא כשתובעים העכו"ם שהם עצמם יהרגוהו, מזה למד שגם לר"י אסור לעשות זאת בידים, וההבדל שבין מסירתו לידי העכו"ם לבין הריגה בידים מבואר בדבריו, שהמסירה אינה עדיין ודאית למיתה "שמא יקח ממנו כופר או יתחרט עליו". ונראה שאין כוונתו לומר שזה ספק שקול, שהרי העכו"ם יחדוהו ואמרו בפירוש שיהרגוהו, אלא שר"ל שכיון שעכ"פ יתכן עוד נדנוד של אפשרות שינצל, אין המסירה בגדר הריגה בידים אלא היא בדין גרמא שאי"ב חיוב מיתת בי"ד. וזה בדומה למה שהעלה המאירי בענין כפתו לפני הארי (סנהדרין עז,ב) שכ' שם "כפתו לפני הארי, כגון שהיה הארי בר תרבות אצל זה הכופת ולא אצל האחר, והוא כופתו ומניחו לפניו, הואיל ואינו משיכו בהדיא – פטור, שהרי אין הממית נוגע בו בשעת כפיתה ואחר זמן הוא שבא".
ואם כן לתכנן מראש שכך יקרה, הרי זה ודאי גרמא, ואם כן לדעת המאירי יהיה מותר גם למסור בידים. וממילא יש לדון את המתכנן כגרמא ואינו חייב.
אלא שזה אינו פותר את השאלה העקרונית, האם כך ניתן לעשות לכתחילה? ולכאורה מוכח מהרמב"ם, ואולי גם מהמאירי שברמה העקרונית, אין למסור יחיד עבור רבים.
במשנה במסכת אהלות פרק ז' משנה ו':
האשה שהיא מקשה לילד מחתכין את הולד במעיה ומוציאין אותו אברים אברים מפני שחייה קודמין לחייו יצא רובו אין נוגעין בו שאין דוחין נפש מפני נפש:
ובסוגיה בסנהדרין עב ע"ב:
אמר רב הונא קטן הרודף ניתן להצילו בנפשו קסבר רודף אינו צריך התראה לא שנא גדול ולא שנא קטן איתיביה רב חסדא לרב הונא יצא ראשו אין נוגעין בו לפי שאין דוחין נפש מפני נפש ואמאי רודף הוא שאני התם דמשמיא קא רדפי לה.
ורש"י במסכת סנהדרין ע"ב ע"ב כתב:
יצא ראשו – באשה המקשה לילד ומסוכנת, וקתני רישא: החיה פושטת ידה וחותכתו ומוציאתו לאברים, דכל זמן שלא יצא לאויר העולם לאו נפש הוא וניתן להורגו ולהציל את אמו, אבל יצא ראשו – אין נוגעים בו להורגו, דהוה ליה כילוד ואין דוחין נפש מפני נפש, ואם תאמר מעשה דשבע בן בכרי (שמואל ב, כ) הנה ראשו מושלך אליך דדחו נפש מפני נפש – התם משום דאפילו לא מסרוהו לו היה נהרג בעיר כשיתפשנה יואב והן נהרגין עמו, אבל אם היה הוא ניצול אף על פי שהן נהרגין לא היו רשאין למסרו כדי להציל עצמן, אי נמי: משום דמורד במלכות הוה, והכי מפרש לה בתוספתא.
הרי שלרש"י אם היה הוא ניצול לא רשאין למסור אותו כדי להציל.
שאלתנו אם כן, הרי בסוגיה מבואר שהקטן היה נחשב רודף לולא משמיא קא רדפו לה. ואם היה רודף היה ניתן להורגו. אם כן לכאורה, אם מולי יש רכב הסוטה ממסלולו יש לו גדר של רודף, ויהיה מותר לגרום לו תאונה קטלנית באופן שאני אציל את עצמו.
אלא שהרכב אינו מיכוין לפגוע בי, אלא הוא נרדם/איבד שליטה/החליק, האם גם במקרה כזה אתן לו דין של רודף? לכאורה מוכח מקטן שנחשב לרודף אף שהוא שב ואל תעשה ואינו עושה כלום.
וע' רמב"ם הלכות רוצח הלכה ט' שהביא את הדין והוסיף: "וזהו טבעו של עולם":
הרי זו מצות לא תעשה שלא לחוס על נפש הרודף. לפיכך הורו חכמי שהעוברה שהיא מקשה לילד מותר לחתוך העובר במיעיה בין בסם בין ביד מפני שהוא כרודף אחריה להורגה, ואם משהוציא ראשו אין נוגעין בו שאין דוחין נפש מפני נפש וזהו טבעו של עולם.
ועל פי הרמב"ם אין ללמוד מעובר, כיון ש"זהו טבעו של עולם" אבל יש לנו מקרה נוסף שבו יש דין רודף פסיבי, ב"ק קי"ז ע"ב:
ההוא גברא דאקדים ואסיק חמרא למברא קמי דסליקו אינשי במברא בעי לאטבועי אתא ההוא גברא מלח ליה לחמרא דההוא גברא ושדייה לנהרא וטבע אתא לקמיה דרבה פטריה. אמר ליה אביי והא מציל עצמו בממון חבירו הוא אמר ליה האי מעיקרא רודף הוה.
וברמב"ם הלכות חובל ומזיק פ"ח הט"ו:
ספינה שחשבה להשבר מכובד המשוי ועמד אחד מהן והקל ממשאה והשליך בים פטור, שהמשא שבה כמו רודף אחריהם להרגם ומצוה רבה עשה שהשליך והושיעם.
אם הרמב"ם למד מדין רודף לגבי משא, א"כ יש גדר של רודף שאינו עושה מעשה. אבל מרש"י ד"ה בעא, משמע שהחמור עצמו הוא רודף על ידי תנועתיו וא"כ הוא רודף ממש.
ועוד יש לברר, האם יהיו שייכים כאן גדרי קדימה שיש בסוגיה בהוריות ממשנה בסוף מסכת הוריות יג ע"א:
האיש קודם לאשה להחיות ולהשב אבדה והאשה קודמת לאיש לכסות ולהוציא מבית השבי. בזמן ששניהם עומדים בקלקלה האיש קודם לאשה: כהן קודם ללוי לוי לישראל ישראל לממזר וממזר לנתין ונתין לגר וגר לעבד משוחרר. אימתי בזמן שכולם שוים אבל אם היה ממזר תלמיד חכם וכהן גדול עם הארץ ממזר תלמיד חכם קודם לכהן גדול עם הארץ.
וזה ודאי גם מחשב בעל בינה מלאכותית לא יכול לדעת האם מי שעומד להדרס הוא כהן או ישראל, או תלמיד חכם.
אבל כבר כתב הרב קוק במשפט כהן בתשובה ארוכה הדנה במעין שאלה זו, אם אדם צריך למסור את עצמו למען הצלת הכלל. וכתב שם, לגבי כל הדיון הנ"ל שבעצם לכאורה היה צורך להקדים על פי הסוגיה בהוריות, ואנו רואים ששיקולים אלו לא נכנסים לזה.
וכתב הרב במשפט כהן סימן קמג:
ובגוף הדבר סתמו עלינו רבותינו אבות ההוראה ז"ל את הדרך של המשקל כאן. ונראה מסתימתם, שאפילו אם אנו רואים שאחד הוא הדיוט וקטן שבישראל, והשני הוא גדול ורם ונשא בתורה ומע"ט, מ"מ אנו מבטלים את דעתנו ונאמר האדם יראה לעינים, ויש כאן מאי חזית, ואין דוחין נפש מפני נפש, וכדתנן באהלות, ומייתי לה בפ' בן סו"מ (סנהדרין ע"ב ב'), בקטן הנולד שיצא רובו, שאין נוגעים בו להציל את אמו על ידו, ואין בזה חילוק אפילו אם תהי' האם גדולה בישראל ומעשים טובים ונביאה, למשל כמרים ודבורה וחולדה וכיו"ב. ולכאורה צריך הדבר תלמוד מנא לן הא, כיון דעיקר הדבר סברא הוא דמאי חזית, והרי לענין להחיותו קיי"ל שאנו מחלקים את המדרגות, וכדתנן הוריות י"ג א' האיש קודם לאשה וכהן קודם ללוי ות"ח לע"ה, וזהו בלהחיותו כשהם טובעים בנהר, וכמש"כ רמ"א בהגהה יו"ד רנ"ב סק"ח, א"כ למה לא יכריע משקל זה שלנו ג"כ את הסברא דמאי חזית.
וע"ש שניסה לענות על השאלה, ומכל מקום אנו רואים ששיקולים אלו לא נכנסים לכאן.
ומתוך מסקנות הרב ישראלי שם:
ד . אם שנים עומדים באותה סכנה ולא ניתן להציל אלא את אחד, קיים סדר הקדמה המפורט במס' הוריות ובהלכה.
ה . הוא הדין אם עומדת הברירה בין הצלת רבים לבין הצלת מועטים (והם שוים בערך במובן איכותי), יש להעדיף את הצלת הרבים על המועטים.
ו . היו המועטים עדיפים מבחינה איכותית על הרבים הדבר צריך שיקול והכרעה מתוך כובד ראש ועיון רב.
ז . בשום פנים ואופן אסור להציל, אפילו רבים וחשובים, כשהצלתם מחייבת הריגתו (או אפילו גרם הריגתו) של אחד שאילולא זה לא היה נהרג.
אם כן לכאורה הוא אוסר אפילו בגרמא להרוג את היחיד לעומת הרבים.
אלא שכל הדיון כאן הוא על הריגה בידים או בגרמא. אבל מה לגבי תכנון מראש של מחשב שברכב ללא נהג המצב היה של "קום עשה" של המחשב להרוג את המעטים. האם תכנון רכב אוטומטי דומה לסעיף ז' במסקנת הרב ישראלי או דומה לסעיף ה'?
בסברא יש לחלק בין המחשב ובין אדם ולומר שלגבי המחשב שתי האפשרויות הם או קום עשה או ששתיהן הן שב ואל תעשה. אלא שצריך למצא את האסמכתאות ההלכתית לכך.
[1] מתוך גלובס:
אבל מה שקרה באותו יום העמיד למבחן את ההחלטה. הכביש היה פנוי והמכונית נסעה בדיוק במהירות המותרת בחוק, אולם רגע לפני שהיא חלפה על פני חניה פרטית שנפתחה אל הכביש מימין, התפרצו לכביש שני ילדים בני שש או שבע שרדפו אחרי כדורגל.
מערכת האינטליגנציה המלאכותית של המכונית כבר ידעה שהכביש רטוב בגלל טפטוף קל שפקד את האזור רבע שעה קודם לכן והסיקה תוך שבריר שנייה שאין סיכוי בעולם שבלימה תמנע את הפגיעה. מימין לא הייתה מדרכה שניתן היה לעלות עליה ולעקוף את הילדים, וגם שבירה מלאה של ההגה לשמאל וחציית קו ההפרדה הלבן למסלול הנגדי לא הייתה אפשרות מוצלחת במיוחד. האינטליגנציה המלאכותית החליטה במהירות שבמקרה של סטייה שכזאת לשמאל, יתרסק הרכב המשפחתי לתוך מכונית משפחתית אוטונומית אחרת שעשתה את דרכה במעלה הגבעה. משום כך, האלגוריתמים פקדו על המכונית להישאר בנתיב, להמשיך קדימה ולדרוס את שני הילדים. פגיעה בהם הייתה האפשרות ההגיונית ביותר בהתחשב בנתונים הקיימים.
צליל החבטה האדיר תפס את המבוגרים שבמכונית לגמרי לא מוכנים. הם לא היו ערים לסכנה המתקרבת, לא היו שותפים להחלטה המהירה שגבתה את חייהם של שני הילדים, אבל אולי הצילה את חייהם שלהם ושל הנוסעים במכונית שנסעה בנתיב הנגדי, ועם כל הכאב שבדבר – הם גם לא ראו את עצמם אחראים לתוצאות התאונה הטרגית.
כמה חודשים לאחר מכן, כשהוגש לבית המשפט כתב התביעה של הורי שני הילדים שנהרגו, התברר שגם הם אינם רואים את בני המשפחה שישבו במכונית הפוגעת כאחראים לטרגדיה. הם לא כעסו על שני ההורים שלא ישבו עם פניהם אל כיוון הנסיעה משום שנתוני הנסיעה שהם קיבלו בצו בית משפט הראו מעבר לכל ספק, שאף נהג אנושי לא היה מצליח לעצור בזמן. מעבר לכך, הם ידעו היטב שמאז שהמכוניות האוטונומיות נכנסו לשימוש מאסיבי, מספר תאונות הדרכים שבהן הן היו מעורבות היה נמוך ביותר מ-90% מאלו שבהן היו מעורבים נהגים אנושיים.
משום כך, התביעה של ההורים השכולים התמקדה בכותבי הקוד שעמד בבסיס מערכת קבלת ההחלטות המורכבת של המכונית. באנשים שיצרו את הרצף הכמעט אינסופי של אותיות ומספרים שהרכיבו התניות ופקודות שהורו למכונית כיצד להתנהג בסיטואציות מורכבות. המכונית אולי הרגה את שני הילדים בעצמה, הם טענו, אולם הבחירות המוסריות שלה – הקוד האתי שהניע אותה – לא נגזר משום מוסר "טבעי". הוא היה תוצר ברור של החלטות שקיבלו בני אדם.
כל מי שעוקב אחר התפתחות טכנולוגיית המכוניות האוטונומיות יודע שתרחיש דמיוני כמו זה שתואר פה, כנראה קרוב מהצפוי. תעשיות התוכנה והרכב מבינות היטב שהעתיד שייך למכוניות ללא נהג, וחברות כמו גוגל, וולבו, ניסאן, פורד, מרצדס, אפל, טויוטה, אנבידיה, טסלה ואחרות כבר לוקחות חלק פעיל מאוד במירוץ אל היעד הנכסף.