La cámara híbrida y el LIDAR mejoran las capacidades de los robomóviles, complementando la información sobre el mundo exterior.

Los lidares y las cámaras son dos elementos de configuración estándar para casi cualquier robot móvil. Tanto el primer como el segundo trabajo con luz reflejada. Al mismo tiempo, las cámaras funcionan en modo pasivo, es decir, captan el reflejo de fuentes de luz de terceros, pero los lidares generan pulsos láser y luego miden la "respuesta" reflejada por los objetos cercanos. Las cámaras forman una imagen bidimensional, y los lidares forman una imagen tridimensional, algo así como una "nube de puntos".

Ouster ha desarrollado un dispositivo híbrido que funciona tanto como cámara como lidar. Este sistema se llama OS-1. Este dispositivo tiene una apertura mayor que la mayoría de las DSLR, y el sensor creado por la compañía es muy sensible.

Las imágenes obtenidas por el sistema constan de tres capas. La primera es la imagen obtenida como si fuera una cámara normal. La segunda es una capa "láser" obtenida utilizando la reflexión del rayo láser. Y la tercera es la capa "profunda", que le permite estimar la distancia entre los píxeles individuales de las dos primeras capas.

Vale la pena señalar que las imágenes todavía tienen limitaciones significativas. En primer lugar, estas son imágenes de baja resolución. En segundo lugar, son en blanco y negro, no de color. En tercer lugar, lidar no funciona con una fuente de luz visible; trata con un espectro cercano al infrarrojo.

Por el momento, el costo del lidar es bastante alto: alrededor de $ 12,000. A primera vista, no tiene sentido en un sistema que recibe imágenes de menor resolución que las cámaras estándar, pero cuesta como un puente de hierro fundido. Pero los desarrolladores afirman que aquí se usa un principio de trabajo diferente que en el caso habitual.


Estos son materiales gráficos proporcionados por Ouster. Aquí se muestran tres capas de imágenes y una "imagen" general, que resulta de

En una situación típica, los robomobiles combinan datos de varias fuentes diferentes, lo que lleva tiempo. Las cámaras y los lidars funcionan en diferentes modos, el resultado también es diferente. Además, generalmente se montan en varios lugares en la carrocería del automóvil, por lo que la computadora también tiene que lidiar con la correlación de imágenes para que sean compatibles. Además, los sensores requieren una recalibración regular, lo que no es tan simple.

Algunos desarrolladores de LIDAR ya han intentado combinar la cámara con LIDAR. Pero los resultados no fueron muy buenos. Era un sistema de "cámara estándar + lidar", que no difería demasiado de los esquemas existentes.

Ouster utiliza un sistema que permite que OS-1 recopile todos los datos en un estándar y desde una ubicación. Las tres capas de la imagen se correlacionan perfectamente, tanto en el tiempo como en el espacio. En este caso, la computadora comprende la distancia entre los píxeles individuales de la imagen final.

Según los autores del proyecto, este esquema es casi ideal para el aprendizaje automático. Para los sistemas informáticos, procesar este tipo de imagen no es difícil. Habiendo "alimentado" el sistema con varios cientos de imágenes, puede ser entrenado para comprender exactamente lo que se muestra en la "imagen" final.

Algunos tipos de redes neuronales están diseñadas de tal manera que funcionan con múltiples capas de mapas de píxeles sin problemas. Además, las imágenes pueden contener una capa roja, azul y verde. Entrenar tales sistemas para que funcionen con el resultado de OS-1 no es difícil. Ouster ya ha logrado esto.

Como material fuente, tomaron varias redes neuronales diseñadas para reconocer imágenes RGB y las modificaron para satisfacer sus necesidades, enseñándoles cómo trabajar con diferentes capas de sus imágenes. El procesamiento de datos se lleva a cabo en equipos con la Nvidia GTX 1060. Utilizando redes neuronales, se le enseñó a la computadora del automóvil a "pintar" la carretera en amarillo y los posibles obstáculos (otros automóviles) en rojo.



Según los desarrolladores, su sistema es adicional a los existentes, y no es un reemplazo. Es mejor combinar todo tipo de sensores, sensores, cámaras, lidares y sistemas híbridos para formar una imagen clara del entorno que ayudará al automóvil a navegar.