A câmera híbrida e o lidar melhoram as capacidades dos robomobiles, complementando informações sobre o mundo exterior

Lidares e câmeras são dois itens de configuração padrão para praticamente qualquer robomóvel. Tanto o primeiro como o segundo trabalham com luz refletida. Ao mesmo tempo, as câmeras operam no modo passivo, ou seja, captam o reflexo de fontes de luz de terceiros, mas os lidares geram pulsos de laser e medem a "resposta" refletida nos objetos próximos. As câmeras formam uma imagem bidimensional e os lidares formam uma imagem tridimensional, algo como uma “nuvem de pontos”.

A Ouster desenvolveu um dispositivo híbrido que funciona tanto como câmera quanto como lidar. Este sistema é chamado OS-1. Este dispositivo tem uma abertura maior que a maioria das DSLRs, e o sensor criado pela empresa é muito sensível.

As imagens obtidas pelo sistema consistem em três camadas. A primeira é a imagem obtida como se fosse uma câmera normal. O segundo é uma camada de "laser" obtida usando a reflexão do feixe de laser. E a terceira é a camada "profunda", que permite estimar a distância entre os pixels individuais das duas primeiras camadas.

Vale ressaltar que as imagens ainda têm limitações significativas. Em primeiro lugar, estas são imagens de baixa resolução. Em segundo lugar, eles são preto e branco, não coloridos. Em terceiro lugar, o lidar não funciona com uma fonte de luz visível, mas com um espectro próximo ao infravermelho.

No momento, o custo do lidar é bastante alto - cerca de US $ 12.000. À primeira vista, não há sentido em um sistema que receba imagens com resolução mais baixa que as câmeras padrão, mas custa como uma ponte de ferro fundido. Mas os desenvolvedores afirmam que um princípio diferente de trabalho é usado aqui do que no caso usual.


Estes são materiais gráficos fornecidos pela Ouster. Três camadas de imagens e uma “imagem” geral são mostradas aqui, o que resulta de

Em uma situação típica, os robomobiles combinam dados de várias fontes diferentes, o que leva tempo. Câmeras e lidares funcionam em diferentes modos, o resultado também é diferente. Além disso, eles geralmente são montados em vários locais da carroceria do carro, portanto o computador também precisa lidar com a correlação de imagens para que sejam compatíveis. Além disso, os sensores exigem recalibração regular, o que não é tão simples.

Alguns desenvolvedores do lidar já tentaram combinar a câmera com o lidar. Mas os resultados não foram muito bons. Era um sistema “câmera padrão + lidar”, que não diferia muito dos esquemas existentes.

O Ouster utiliza um sistema que permite ao OS-1 coletar todos os dados em um padrão e em um local. Todas as três camadas da imagem se correlacionam perfeitamente, no tempo e no espaço. Nesse caso, o computador entende a distância entre os pixels individuais da imagem final.

Segundo os autores do projeto, esse esquema é quase ideal para aprendizado de máquina. Para sistemas de computador, o processamento desse tipo de imagem não é difícil. Tendo “alimentado” o sistema várias centenas de fotos, ele pode ser treinado para entender exatamente o que é mostrado na “foto” final.

Alguns tipos de redes neurais são projetados de forma a trabalhar com várias camadas de mapas de pixels sem problemas. Além disso, as imagens podem conter uma camada vermelha, azul e verde. Treinar esses sistemas para trabalhar com o resultado do OS-1 não é difícil. Ouster já conseguiu isso.

Como material de origem, eles pegaram várias redes neurais projetadas para reconhecer imagens RGB e as modificaram para atender às suas necessidades, ensinando-as a trabalhar com diferentes camadas de suas imagens. O processamento de dados é realizado em equipamentos com o Nvidia GTX 1060. Usando redes neurais, o computador do carro foi ensinado a "pintar" a estrada em amarelo e os possíveis obstáculos - outros carros - em vermelho.



Segundo os desenvolvedores, seu sistema é um complemento dos já existentes, e não um substituto. É melhor combinar todos os tipos de sensores, sensores, câmeras, lidares e sistemas híbridos para formar uma imagem clara do ambiente que ajudará o carro a navegar.