La moraleja del transporte robótico: el problema del carro, los riesgos y las consecuencias

El lado moral del desarrollo de vehículos robóticos es muy complejo. Los desarrolladores creen firmemente que las pruebas deben llevarse a cabo en las vías públicas, aunque saben que esto supondrá un pequeño riesgo para los usuarios de carreteras desprevenidos. Los autos lanzados después de las pruebas ciertamente tendrán accidentes (incluidos los fatales), y este estado de cosas es una perspectiva aterradora y desalentadora. Al mismo tiempo, el éxito nos promete mejoras tremendas en la seguridad vial y salvar la vida de un gran número de personas que morirían si no hubiera oportunidad de reemplazar la conducción humana más peligrosa con un avión no tripulado.

Consideraremos aspectos tales como:

1. Comprensión de diferentes enfoques del razonamiento moral de las personas en diferentes (o las mismas) situaciones
2. Cómo se relacionan la ley, la sociedad y los seguros con la conducción riesgosa, los accidentes y los accidentes.
3. Riesgos y pérdidas durante la conducción (o entrenamiento de conducción) que parece que estamos dispuestos a aceptar por pequeños beneficios.
4. ¿Cómo cambia nuestra opinión de que "el fin justifica los medios" cambia según lo que está en juego: atrocidades intencionales o pequeños riesgos deliberados?
5. Las grandes ventajas que obtendremos cuando una pequeña flota de automóviles autónomos aprenda a conducir de manera más segura, después de lo cual su software se copiará en millones de otros automóviles, una situación que es imposible en el caso de los conductores humanos.
6. Riesgos y principios de los enfoques modernos para probar y desarrollar autos autónomos, y cómo Uber los violó.
7. Gran beneficio si podemos encontrar el enfoque correcto.

El hecho de que un accidente fatal que involucró un vehículo Uber se descubrió recientemente en Tempe, Arizona, solo aumenta la necesidad de comprender este problema. Se han escrito muchos textos y se han expresado muchas opiniones sobre cómo discutir los riesgos y principios de la moralidad en vehículos no tripulados. En este artículo, espero presentar una visión clara de este problema y una guía para la discusión al respecto.



La mayoría de los accidentes son máquinas individuales y pueden prevenirse. Sin embargo, llegamos a un acuerdo con este terrible riesgo sin pensar.

Resulta que una combinación de las lecciones que nos da el problema del carro (es decir, del carro, no del vehículo no tripulado) y medir las acciones que conducen a riesgos en lugar de tragedias puede ayudarnos a formar una mejor comprensión y un régimen legal para resolver preguntas complejas sobre robots que pueden y salvar vidas humanas y amenazarlas. Podemos salvar millones de vidas si estamos listos para aceptar los mismos riesgos que cuando enseñamos a los adolescentes antes de que comiencen a conducir (en lugar de los adolescentes, puede imaginarse apresurando a los repartidores de pizza). Casi todos los que trabajan en robots quieren que salven vidas y que comiencen a hacerlo lo antes posible, pero para esto el público debe comprender e incluso adoptar métodos de trabajo en esta área. Para hacer esto, debemos comprender tanto nuestros instintos morales como nuestras matemáticas internas, y la diferencia entre riesgo y tragedia.



Me di cuenta de la dificultad de entender estos problemas hace un año cuando estaba hablando en casa con mi amigo en la cena. Un amigo estaba muy preocupado por los riesgos que contenían los primeros prototipos. Le pregunté: ¿sería razonable que murieran 100 personas durante las pruebas, pero usar el producto final salvará millones de vidas? Le parecía obvio que esto estaba mal, y no estaba solo en esta opinión.

La moral humana es compleja y astuta, y puede funcionar de diferentes maneras dependiendo de la situación. Pocos de nosotros somos claros en nuestros principios, y esos principios que utilizamos en nuestras decisiones subjetivas pueden diferir de los utilizados en las decisiones colectivas en la sociedad o en los tribunales. Para comprender este problema y cómo llegar a una mejor solución, necesitamos entender cómo razona la gente sobre dicha moralidad y, posiblemente, cambiar este pensamiento para lograr un resultado que sea mejor en la opinión de la mayoría.

La respuesta puede estar en el hecho de que, aunque no estamos de acuerdo en que grandes objetivos puedan justificar medios inmorales, resulta que estamos dispuestos a admitir que incluso objetivos rentables modestos pueden justificar medios con pequeños riesgos inmorales.

Tipos de moralidad

En términos generales, los filósofos distinguen dos clases amplias de sistemas morales. El primero requiere un código de reglas y principios, y define un error como una violación de estas mismas reglas y principios, independientemente del resultado. El nombre complejo de tales sistemas es "deontológico", pero los llamaremos basados ​​en reglas. Por otro lado, tenemos sistemas basados ​​en resultados que miden lo correcto y lo incorrecto con lo que terminamos. También se les conoce como consecuencialistas. Un subconjunto específico de tales sistemas es utilitario, siguiendo la regla para lograr el mayor bien para la mayor cantidad de personas, o para hacer el menor daño a la menor cantidad de personas.

A veces amamos los sistemas morales utilitarios, especialmente como sociedad en su conjunto. Sin embargo, como individuos, tendemos a desconfiar de ellos, porque están asociados con la peligrosa idea de que "el fin justifica los medios", y esta idea ha generado muchos horrores morales a lo largo de la historia. La mayoría de nosotros no pertenecemos estrictamente a una de las escuelas. Como se señaló anteriormente, nuestro enfoque cambia dependiendo de si nos consideramos una persona separada o la sociedad en su conjunto, y cambiamos nuestro enfoque al razonamiento basado en nuestros puntos de vista personales más de lo que nos gustaría admitir.

Un adherente puro al enfoque utilitario aceptará fácilmente que los automóviles matarán a 100 personas para ahorrar un millón; en el caso de la moral utilitaria, ni siquiera hay una pregunta. Al mismo tiempo, no será fácil para muchos aceptar. Sospecho que la respuesta es comprender cómo nosotros, como individuos, prestamos especial atención a los incidentes y tragedias, mientras que en el papel de la sociedad, prestamos atención a la evaluación de riesgos y los bienes públicos.

Quienes leen mis textos saben que odio la aplicación estándar del "problema del tranvía" a los vehículos no tripulados . En esta aplicación, las personas imaginan el software en el automóvil, que debería decidir cuál de dos grupos diferentes de personas matar en un accidente. Nos abruma dolorosamente la idea de que ahora las máquinas deciden quién debe morir, aunque antes era un campo de actividad de los dioses. De hecho, esta es una situación extremadamente rara, y su resolución no está incluida en ninguna lista de prioridades. Los programadores y las empresas tampoco quieren escribir algoritmos relacionados con las elecciones morales, preferirían que los políticos respondan esas preguntas y escriban leyes que con mucho gusto seguirán.

Sin embargo, el problema original del carro tenía una función real que podría ser útil en esta situación. Fue creado para ayudarnos a comprender nuestro propio pensamiento y para ayudarnos a comprender la diferencia entre los sistemas morales basados ​​en reglas y aquellos que están orientados a resultados, es decir, en última instancia, con la ayuda del problema del tranvía, deberíamos tener una mejor comprensión de la filosofía. Y ella puede ayudarnos a comprender mejor esta situación.

Como recordará, en la tarea original, el carro se apresura a lo largo de los rieles con los frenos rotos. Alguien (realmente inmoral en esta situación) ató a 5 personas a la carretera principal y una persona a su rama. Puede presionar el interruptor para matar a una persona, pero ahorre cinco. Hasta el 90% de las personas eligen un enfoque utilitario (basado en resultados) y prefieren tirar de la palanca, pero algunos se niegan. (De hecho, es más probable que estas personas se comporten de esta manera en el ejercicio en el aula. Se realizó un experimento en el programa Mind Field en YouTube en el que se hizo pensar a las personas que realmente estaban en una situación con un carrito apresurado y personas adjuntas. Atención, spoiler : la mayoría de los sujetos simplemente se congelaron de horror)



Me gusta decir que la solución de ingeniería para este problema es más simple: debe reparar los frenos del trole . Los ingenieros de vehículos no tripulados trabajarán principalmente para garantizar que sus automóviles nunca entren en tales situaciones, incluso si ocurren muy raramente.

Las variaciones del problema del tranvía que surgieron los filósofos son mucho más interesantes que la redacción original. En una de las opciones, no es necesario presionar el interruptor, sino empujar al hombre gordo sobre los rieles para detener el carro; pocos lo harán, ya que este es un asesinato deliberado. En la versión más extrema, no tienes un carrito, pero hay 5 pacientes que necesitan urgentemente un trasplante de órgano. Puedes agarrar a un hombre que camina por la calle, cortarlo y salvar a cinco personas, casi nadie acepta hacerlo, aunque este es el mismo problema desde el punto de vista de un enfoque utilitario.

Casi nadie hará esto, porque entre nosotros hay pocos que pertenezcan estrictamente a una escuela moral en particular. Es más difícil para nosotros cambiar nuestro pensamiento. Para comprender y resolver problemas en el campo de las pruebas y la producción de vehículos no tripulados, debemos trascender el instinto natural e individual, percibir varios casos como tragedias "simplemente" separadas que representan, y pensar qué riesgos son aceptables y posibles. permitido como sociedad.

Además, somos mucho más rechazados por las tragedias que les ocurren a los transeúntes externos, aunque no nos importa tanto como exponer a estas personas a menores riesgos. Finalmente, tenemos más miedo de que máquinas independientes, en lugar de personas, nos hagan daño.
La gente es divertida porque, aunque la mayoría tiene miedo de morir a causa de los robots, es más probable que un criminal borracho nos mate.

Básicamente, la gente piensa que matar para salvar vidas está mal, es indiscutible. La verdadera pregunta es qué es realmente probar y liberar vehículos no tripulados en la carretera: matar para salvar vidas o correr riesgos con el mismo propósito. De hecho, en la mayoría de los casos, aceptamos arriesgarnos por salvar vidas, sujeto a un buen resultado.

Aspectos morales de la conducción.

Entonces, ¿cuál es la relación entre la filosofía moral y los automóviles? Para averiguarlo, debemos pensar en el aspecto moral de los accidentes de tráfico. Las personas y la sociedad en general tienen una actitud diferente a este problema. Las sociedades en general y la ley en particular, prefieren no describir nada como inmoral o malvado, a menos que haya una intención maliciosa, que se llama mens rea en la jurisprudencia. Casi todos los delitos penales involucran intenciones maliciosas, y si no es así, el castigo (en la mayoría de los casos) se mitiga. Debido a esto, las situaciones no son infrecuentes cuando alguien golpea a una persona en un automóvil y no es penalmente responsable de esto. El conductor enfrentará un castigo financiero, pero está cubierto por un seguro. El culpable saldrá de esta situación solo con un sentimiento de culpa por lo que sucedió. Pero todo esto es cierto solo si el asesinato de una persona fue completamente involuntario y en realidad completamente contrario a las intenciones del conductor. No puede haber asesinato (incluso involuntario) sin una intención clara o negligencia grave y deliberada al volante .

Al mismo tiempo, estamos trabajando arduamente para determinar si hay intenciones maliciosas o negligencia, porque estamos muy preocupados por el hecho de que algo tan trágico como la muerte pueda quedar sin respuesta. Pero si estamos hablando de la situación en la que realmente ocurrió el accidente (con lo que quiero decir que ocurrió dentro del marco de los riesgos habituales de conducir con cuidado), no hay consecuencias legales, lo más grave que puede suceder son las consecuencias financieras, que son totalmente pagadas por el seguro.

Por otro lado, considere acelerar. El exceso de velocidad es ilegal, incluso si a menudo se comete, pero rara vez se castiga en algunos lugares. Cuando aceleras, sabes (o debes saber) si superas o no. Al hacerlo, expone a otras personas a un riesgo adicional, aunque, afortunadamente, por regla general, no sucede nada terrible. A pesar de que sin duda recibirá una multa por exceso de velocidad, si este exceso conduce a un accidente, la mayoría de las multas se emiten por excesos que no perjudicaron a nadie. Casi todos superamos periódicamente la velocidad, y lo hacemos por la razón obvia: queremos llegar a un lugar un poco más rápido. Esto puede ser contrario a la intuición, pero el exceso de velocidad deliberado en nuestro sistema es más inmoral e ilegal que el asesinato aleatorio, aunque nosotros, como individuos, somos mucho más tolerantes con el exceso de velocidad.

Creo que el verdadero problema moral al conducir es que intencionalmente ponemos a otras personas en riesgo. O, para más detalles, un riesgo inaceptablemente alto. Conducir implica que otras personas estarán en riesgo. De hecho, es probable que al conducir expongamos con mayor frecuencia a otras personas al mayor riesgo. Todos conocemos un número asombroso de muertes, lesiones y daños materiales por conducir: más personas murieron en accidentes que en todas las guerras y como resultado de ataques terroristas en la historia de los Estados Unidos desde la Guerra Revolucionaria. Todo esto es terriblemente arriesgado, pero para nosotros es tan importante que decidimos aceptar este riesgo relativamente alto para nosotros y las personas que nos rodean. Hacemos esto a propósito, aunque a menudo lo olvidamos, y ciertamente no recordamos bien la esencia matemática de estos fenómenos. Consideramos que este nivel básico de riesgo es "aceptable" en nuestras leyes y nuestras vidas.

La sociedad decidió que la injusticia y la ilegalidad no están en víctimas específicas, sino en la exposición deliberada y descuidada de otras personas a un riesgo extremo.

Hemos escrito leyes que prohíben que exponga a otras personas a riesgos excepcionales, y usted recibe multas por exceso de velocidad, cambios de carril incorrectos y conducción descuidada. Consideramos que tales actos son inmorales, ya que se cometen intencionalmente o por negligencia, aunque no consideramos inmoral una muerte que en realidad no fue involuntaria. Esto no detiene a aquellos que ven esto como una gran tragedia, y esta es una reacción absolutamente natural. Pero como sociedad que escribe y hace cumplir las leyes, percibimos todo de manera diferente.

Encontramos un sorprendente número de riesgos de conducción aceptables:

1. Conducción de servicio pesado
2. Conducir bajo la lluvia, la nieve y la noche.
3. Conducir en lugares con muchos peatones y ciclistas.
4. Conducir un automóvil con leves problemas mecánicos.
5. Conducción sin frenado automático de emergencia y otras tecnologías avanzadas
6. Conducir en un estado de sueño incluso cuando nos quedamos dormidos (dos estados tienen leyes que prohíben conducir con sueño)
7. Conducir adolescentes sin preocupaciones con licencia reciente
8. Estudiantes adultos de manejo
9. Conducir a personas mayores con percepciones reducidas y tiempos de reacción más largos
10. Conducir con niveles de alcohol en la sangre justo debajo de lo permitido
11. Conducir en un estado enfermo (aunque sea ilegal)
12. Usar dispositivos y escribir mensajes mientras conduce (aunque esto es ilegal)
13. En los EE. UU., El exceso de velocidad es muy común, a menudo con un amplio margen de otros automóviles

Veamos un prototipo de vehículo no tripulado. Cuando un equipo de desarrollo pone un automóvil de este tipo en la carretera, deliberadamente ponen en riesgo a otros participantes del tráfico. Por supuesto, no tienen la intención de causar ningún accidente, de hecho, tienen la intención de evitarlo.

Por el momento, los drones de prueba, con la excepción de algunas excepciones, siempre funcionan bajo el control de un conductor humano que está listo para ponerse a trabajar en caso de problemas. Casi siempre hay una segunda persona que monitorea los sistemas y ocasionalmente mira el camino. Esto se puede comparar con la situación en la que un conductor adolescente con licencia de estudiante está acompañado por un instructor. El instructor tiene su propio pedal de freno y puede interceptar la rueda, como el conductor de un dron. Los conductores adolescentes, acompañados por instructores, en realidad tienen puntajes de seguridad bastante buenos, al igual que casi todos los equipos de vehículos no tripulados, con la excepción de Uber, de lo que hablaré más adelante.

Estos conductores adolescentes, después de haber obtenido una licencia después de pasar la prueba mínima, se convierten en los conductores más peligrosos en la carretera. Los lanzamos en el camino para darles movilidad, también porque esta es la única forma de hacerlos conductores adultos más cautelosos, en lo que eventualmente se convertirán. Asumimos los riesgos asociados con la conducción de un conductor adolescente, con la esperanza de obtener un conductor más cuidadoso en el futuro. De cada adolescente arriesgado en el camino, un adulto crece, un adulto más cauteloso (en realidad un poco menos de uno, porque no todos los adolescentes realmente alcanzan esta edad más segura).



Como se señaló anteriormente, el equipo de desarrollo de drones pone a las personas en riesgo, pero los beneficios que trae este riesgo son enormes. Un breve viaje de estudio mejorará la seguridad de todos los automóviles posteriores que se crearán más adelante, lo que en última instancia significa millones de automóviles mejorados. Al aceptar los riesgos principales de las pruebas y el desarrollo, nos beneficiamos de una reducción significativa en los riesgos en el futuro. La reducción del riesgo se producirá cuando los automóviles comiencen a conducir de manera más segura que las personas, y las personas dejen de poner en riesgo a los demás al elegir viajar en un automóvil no tripulado en lugar de conducir de manera independiente. Esto es especialmente cierto cuando se trata de personas que bebieron o están asociadas con alguno de los elementos de la lista anterior.

Algunos sostienen que debemos considerar no solo los riesgos extraordinarios, sino también los necesarios. Porque puede ser un error poner a las personas en riesgo ordinario si esto no es necesario. En particular, algunos argumentan que los equipos actuales realizan más pruebas de las necesarias y que esto está mal. Quizás este sea el enfoque correcto (aunque, por supuesto, el número requerido de pruebas sigue siendo motivo de controversia). Sin embargo, si consideramos las razones por las cuales las personas toman decisiones arriesgadas en el camino, desde la entrega de alimentos hasta el regreso a casa un minuto antes, difícilmente satisfacen el nivel de necesidad, a pesar del hecho de que toleramos estos riesgos.

Aquí debemos razonar, a partir de los resultados. , , , . - , . -, . – , – . .

, . , 0.1 . – , 1 . – 0.013 . , , . – , , , 1/250 . , , . , . , . , , ( ) , . 1.5 , . ( 1.7 ), .

, « », ? – , , . , , .

, . , ( ), 100 000 . 1.5 . . 100 000 – , 10 2-3 .

, . , , , , , . . , , , «» , . , -, . , , .

?

? Waymo. 7 , Google. 10 . , , , – , , , . , Waymo, , – , , . , .

Tesla , Tesla . 4.3 2.7 . Tesla , , , , . , , ( ) , , . , , - , , , . , Tesla , , . , Uber.

Uber

2018 Uber , , , . , . , , , , 99.9% . Uber , , - , , . , , , , , Uber, , , , - , . , . , . , — , , — . Uber 18 , .

, , , , . , . , Uber , . , , . - , , , Uber - , . Uber .

, , . , . , , . , , , , , . 0,07% , , , .

. , . , Uber ( ), , , , . , . , – . , , . , , . 3 .

Conclusión

, – , . , , , , . , , , .

, , 100 , . , , , , .

, . , , , — , — . , , , , - , , . , , .

, , . . , , .

---

Leer más artículos útiles:

• Cámaras o láser
• Autos autónomos en código abierto
• McKinsey: repensar la arquitectura de software y electrónica en automoción
• Otra guerra del sistema operativo ya está bajo el capó de los automóviles
• Código de programa en el auto
• En un automóvil moderno, hay más líneas de código que ...