"Pretenderlo": cómo los vehículos no tripulados "se rinden a la derecha"

Simulador de Nvidia

En términos generales, hay dos áreas en la certificación de automóviles. La autocertificación es popular en los Estados Unidos. Se publica un estándar de seguridad y los fabricantes afirman que su producto lo cumple. Si surge un problema y resulta que mintieron, se enfrentan a una responsabilidad legal adicional.

Los europeos se están inclinando hacia un enfoque diferente, conocido como homologación, en el que el gobierno o su agencia de pruebas externa certificada certifica que el vehículo cumple con los estándares.

En la vida real, a menudo nos encontramos con una combinación de estos enfoques. Por ejemplo, en los Estados Unidos, tanto la NHTSA (agencia gubernamental) como el Instituto de Seguros y Seguridad Vial realizan pruebas de choque externas. Por lo tanto, se obtuvo un sistema de calificación NCAP. Europa ha adoptado este sistema de calificación y se ha convertido en una forma clave de certificar la seguridad. El cumplimiento de NCAP es voluntario, pero los fabricantes de automóviles creen que si no ganan estrellas NCAP, tendrá un gran impacto en las ventas, por lo que en realidad no es tan voluntario.

Los defensores de cada método consideran que el otro enfoque es una locura. Esto es especialmente cierto cuando se trata de vehículos no tripulados que no obedecen muchas reglas antiguas.

En una conferencia sobre el acelerador de gráficos de Nvidia el miércoles, representantes de AVL, un importante laboratorio de pruebas privado europeo y la compañía privada más grande en la industria automotriz, presentaron sus ideas sobre cómo pueden probar y certificar vehículos no tripulados.

Era un plan de prueba que muchos podrían haber imaginado, e incluía los siguientes puntos:

• Pruebas privadas en vivo
• Pruebas de modulación de software y hardware con la adición de una selección aleatoria de scripts de una rica biblioteca de pruebas ya conocidas, incluidas las pruebas de situaciones extremas que no son fáciles de verificar en el mundo real.
• Algunas pruebas en vías públicas.

Los europeos expresaron la opinión de que un enfoque estadounidense más antiguo, que incluye la autocertificación de acuerdo con el estándar de seguridad funcional ISO 26262, así como el cumplimiento obligatorio del estándar federal de seguridad del vehículo y la calificación voluntaria NCAP, es incorrecto. Todos los demás modos de transporte son probados y certificados por la autoridad de supervisión estatal. También dijeron que los 737 accidentes recientes muestran lo que sucede cuando el enfoque es incorrecto, por lo que quieren más certificación con estándares más estrictos.

Este no es el único enfoque propuesto en Europa. La agencia de certificación holandesa RWB ha ofrecido una especie de licencia de conducir , que se parecerá más a un examen de manejo que a una certificación con una lista de parámetros.

Los controles de manejo humanos son terribles

Cualquier conjunto de pruebas estandarizadas cubrirá solo una pequeña fracción de lo que necesita ser verificado. Es difícil imaginar lo que podría ser diferente. Un ejemplo es obtener una licencia de conducir, especialmente en los Estados Unidos. Esta prueba apenas cubre nada, y los conductores adolescentes con un nivel de conocimiento terrible la pasan de manera rutinaria. Estamos de acuerdo con esto porque creemos que las personas saben inherentemente cómo hacer ciertas cosas sin probarlo en las pruebas, y porque no queremos que la prueba sea demasiado complicada. Pero en algunos países, las cosas son mucho más complicadas.

Considere al líder de la industria, Waymo. Los autos Waymo ya han recorrido 15 millones de millas de prueba. También registraron alrededor de 10 mil millones de "millas" en simulaciones. (Además, a diferencia de las millas reales, que en el 99.9% de los casos son simplemente aburridas, las millas en una simulación son situaciones especiales diseñadas para cargar software).

Pero a pesar de todo esto, Waymo apenas está listo para lanzar sus autos de manera segura en la carretera. El año pasado, anunciaron que operarían en tiempo real para fin de año, y que ya estaban operando vehículos que no tenían conductor, o un dispositivo con un monitor de seguridad que no podía tomar el control.
De hecho, implementaron solo una pequeña parte de las operaciones autónomas, y sus servicios comerciales son muy limitados (mi teoría es que el accidente con el automóvil Uber redujo la tolerancia pública e hizo que Waymo se comportara de manera más conservadora).

Sin embargo, el hecho es que incluso después de todas estas pruebas (que se llevaron a cabo miles de veces más que en cualquier laboratorio de investigación), Waymo todavía no está seguro de que estén listas para su lanzamiento, aunque existe la sensación de que ya están cerca. Repito, mil veces más pruebas.

Un laboratorio de certificación confirmaría en el mejor de los casos que el vehículo bajo prueba cumple con todos los requisitos básicos. Esto significará que el equipo de desarrollo no es negligente o carece de experiencia. Esto es importante y valioso, pero no confirma que el automóvil esté listo para salir de las carreteras sin supervisión. Es posible que un automóvil Uber no haya superado dicha prueba, pero no intentaron certificarlo para uso no tripulado o comercial. Era solo un prototipo que podría haber sido conducido por un conductor descuidado.

Por lo tanto, el proceso de certificación será costoso y lento, y difícilmente útil. Demasiada burocracia y la falta de un control de seguridad real no es un buen conjunto.

Simulación para certificación

Las pruebas estandarizadas, especialmente las simulaciones, no son adecuadas para la certificación. Esto se debe a que los fabricantes querrán y accederán a escenarios de simulación. Los fabricantes quieren probar sus automóviles en estos escenarios por adelantado, y si alguna de las pruebas falla, harán correcciones en la máquina. Los fabricantes no aprobarán el auto para la certificación hasta que reciba una excelente calificación en todas las pruebas. Esto obliga a los fabricantes a mejorar sus automóviles, pero no proporciona información sobre la calidad de estos automóviles. Solo sabemos que pasan las pruebas que deben pasar.



Calle simulada en un día lluvioso.

No sabrá qué tan bien está hecho un automóvil si lo prueba en pruebas que ya ha visto. Sabrás lo bueno que es cuando pasas un montón de pruebas que este automóvil ve por primera vez, y cuando ves lo bien que las maneja. Solo de esta manera puede descubrir qué tan bien este automóvil puede hacer frente a un número infinito de situaciones nuevas que enfrentará en el mundo real.

La única forma de experimentar realmente el automóvil es probarlo en situaciones difíciles que nunca antes había visto. Tan pronto como aparece la situación en cualquiera de las pruebas, los proveedores se enteran de esto y lo colocan en sus propias colecciones de pruebas. Esto significa que el organismo de certificación debe proponer constantemente una gran cantidad de pruebas nuevas, significativas y realistas. Hay muchas opciones diferentes para situaciones de prueba, y en el caso de vehículos no tripulados, se pueden encontrar casos de borde incluso en el medio de la calle, pero hay algunas limitaciones.

Los reguladores deben actualizar las pruebas regularmente. Muchos fabricantes de automóviles suelen lanzar nuevas versiones de software. Durante las pruebas, lanzan nuevas versiones todos los días. Cuando las máquinas se ponen en producción, las actualizaciones se lanzarán aproximadamente una vez al mes, y si se detectan errores de seguridad, incluso con mayor frecuencia. Realizar nuevas pruebas mensualmente para cada empresa no es práctico. Puede crear fácilmente escenarios de simulación de forma regular que son variaciones de los existentes, pero necesita pruebas realistas que sean similares a lo que puede suceder en el mundo real. No desea cometer un error o transferir una máquina a producción basándose únicamente en cómo maneja las situaciones que nunca sucederán.

También vale la pena señalar que los miles de millones de millas en la simulación que condujeron los automóviles Waymo son completamente diferentes de los de AVL o de los que mostró Nvidia. Son simuladores completos que requieren el reconocimiento de información visual que intentan crear un mundo virtual al estilo de los videojuegos, luego proporcionan al software del automóvil una imagen artificial de cámaras, escaneos lidar y datos de radar, después de lo cual le dan a la computadora la oportunidad de intentar controlar la máquina virtual. Hay tres niveles diferentes de prueba, que intentan simular la mayor cantidad de datos posible para maximizar el funcionamiento de la máquina.

Estas simulaciones son útiles, pero mucho más rápidas para hacer simulaciones que funcionen con información que no necesita ser reconocida. En este enfoque, no está creando un mundo virtual visible; en cambio, está creando su representación básica. El simulador sabe dónde están todos los objetos en el nivel abstracto, pero no los muestra para que el programa los reconozca. En cambio, las pruebas bajan un nivel y reemplazan el sistema perceptivo con un módulo que informa la misma información que el sistema reemplazado. Por ejemplo, puede informar que con una probabilidad del 85%, un automóvil viaja en una determinada dirección, o que un peatón se encuentra en un área determinada con una probabilidad del 90%. En tales simulaciones, se verifica que la máquina reciba toda esta información. Esto es solo una prueba parcial, pero es tan rápido que de esta manera puede realizar muchas más pruebas. Deben usarse combinaciones de diferentes métodos, pero la mayoría de las millas de prueba se aprobarán en pruebas posteriores a la percepción, y según tengo entendido, de esta manera se han obtenido miles de millones de millas de prueba para autos Waymo.

Las pruebas que requieren reconocimiento, o simulación con visualización, se ven mucho mejor como demostraciones, ya que ofrecen imágenes de estilo de videojuegos realistas que a las personas les gustan. Son buenos para probar todos los aspectos del automóvil, incluidos los sistemas de percepción, pero el problema es que prueban el automóvil en un mundo artificial, no real. Es posible que el sistema reconozca muy bien a los peatones de juegos virtuales, pero no muy bien con los reales en el mundo real. Esta situación significará que recibió información incorrecta de este tipo de simulación.

Los inspectores de las agencias gubernamentales van aún más lejos. Utilizan 3 tipos de simulaciones con pantalla visual:

• Una simulación básica en la que simplemente ejecuta el software del automóvil en una computadora, la computadora genera imágenes artificiales a partir de sensores y le permite controlar la máquina virtual mediante comandos de software.
• Modulación de software y hardware, en la que un automóvil real está conectado a una computadora con una simulación que intenta comportarse como sensores reales y un automóvil para la computadora a bordo de un automóvil real.
• Simulación de hardware de un paseo real, donde el automóvil se coloca en un soporte de rodillos, sobre el cual el automóvil puede desplazar las ruedas. Este stand se encuentra en una gran sala en la que los robots se vuelven a hacer para parecerse a automóviles y peatones y se mueven alrededor del stand, simulando el comportamiento de los objetos del mundo real. Idealmente, deberían usarse sensores reales, aunque puede ser necesario usar una cámara artificial y un radar. En el caso de las cámaras, puede apuntarlas a la pantalla bloqueada.

Todas estas opciones suenan bien, aunque el número 3 no es posible en algunos casos (por ejemplo, para un automóvil Waymo que detecta su posición a partir de una textura de carretera iluminada por láser que se escala debajo de sus ruedas y utiliza una serie de otros sensores complejos). Sin embargo, todas estas opciones son lentas, caras y sufren los problemas descritos anteriormente. Deberían funcionar en tiempo real, lo que de hecho puede ser una gran limitación en comparación con las pruebas convencionales o las pruebas sin pantalla, que se pueden escalar para realizar grandes cantidades de pruebas necesarias.

Los extraños no saben cómo evaluar

En el caso de un laboratorio externo, las pruebas sin visualización son muy diferentes. Solo se pueden llevar a cabo en estrecha colaboración con el equipo de desarrollo de vehículos. La verdad es que el equipo sabe cómo probar su auto mejor que nadie. Además, dado que estos equipos están desarrollando formas completamente nuevas para garantizar la seguridad que antes no existían, es posible que los extraños no puedan comprender completamente los sistemas de seguridad del vehículo bajo prueba. Los estándares solo pueden definir verdades comunes y las mejores prácticas existentes. No implican innovación. No existe una prueba clara para evaluar la calidad de la innovación en seguridad. Para hacer esto, deberá presentar una nueva prueba.

Todo esto no da una idea clara de la importancia del enfoque de laboratorio para las pruebas, pero esto no significa que no sea importante. Tal enfoque puede establecer requisitos mínimos de prueba, y los desarrolladores de vehículos no tripulados contratarán con compañías de prueba y usarán sus servicios para comprender que sus automóviles cumplen con estos requisitos mínimos. Y también se pueden celebrar contratos para elevar el nivel de calidad por encima de los requisitos mínimos.

Sin embargo, la prueba propuesta por AVL no proporcionaría suficiente información. Un vehículo no tripulado puede pasar estas pruebas y aún tener problemas serios y presentar un gran riesgo. La única forma de minimizar este riesgo es realizar pruebas que fueron desarrolladas por el fabricante del automóvil, así como pruebas en carreteras reales en diversas situaciones. Debe asegurarse de que los intereses del fabricante coincidan con los intereses de la sociedad, y de que existan fuertes razones para no engañar, no mentir y no descuidar. Este sigue siendo un problema no resuelto, pero se le ha prestado mucha atención.

---

Leer más artículos útiles:

• Cámaras o láser
• Autos autónomos en código abierto
• McKinsey: repensar la arquitectura de software y electrónica en automoción
• Otra guerra del sistema operativo ya está bajo el capó de los automóviles
• Código de programa en el auto
• En un automóvil moderno, hay más líneas de código que ...