Câmeras ou lasers

Quais sensores serão os mais importantes em veículos não tripulados? Esses sensores que controlam o chamado sistema de percepção, e isso é a coisa mais importante na direção. A tarefa do sistema de percepção é detectar todos os objetos importantes na estrada ou perto dela, por exemplo, outros veículos, pedestres, lixo e, em alguns casos, objetos da estrada, como sinais e marcações de faixa.

(O posicionamento na estrada também depende dos sensores).

O sistema de percepção deve detectar todos os obstáculos e tentar identificá-los. Ela precisa medir sua velocidade e direção, e também prever seu movimento. Esta é uma tarefa muito difícil.

Dois erros principais no sistema de percepção são falsos positivos (cegueira) e falsos positivos (objetos fantasmagóricos).

A resposta falso-negativa é uma situação em que um obstáculo não foi detectado. Isso pode levar a conseqüências desastrosas se o sistema funcionar dessa maneira por tanto tempo que você não conseguirá contornar o obstáculo com segurança. Um bom sistema quase nunca produz um resultado falso negativo. Pode levar alguns momentos para reconhecer um obstáculo, pode perder algo devido a flashes repentinos, mas erros repetidos podem levar a um acidente. Dizer "nunca", quero dizer "quase nunca", da ordem da unidade para muitos milhões.

Um resultado falso positivo é outro tipo de erro. No caso dela, o sistema vê algo que na verdade não existe, e isso força o carro a frear ou entrar em colapso. Isso irrita os passageiros e, se não forem presos, pode causar ferimentos. Também pode levar a um acidente se o outro carro estiver muito próximo ou com freios e curvas muito acentuados. Normalmente, esses casos não são perigosos, mas se isso acontecer com muita frequência, os usuários abandonarão o sistema.

A classificação incorreta também está associada aos erros acima. Uma classificação incorreta significa que o ciclista foi confundido com um pedestre ou que duas motocicletas foram confundidas com um carro. Mesmo sem identificação precisa, a máquina sabe como não colidir com um obstáculo, mas o sistema pode determinar incorretamente para onde está se movendo ou qual a melhor forma de responder a ela.

Outra classe de erros são falhas completas. O sensor ou seu software pode funcionar mal ou pode não funcionar corretamente. Surpreendentemente, isso é permitido com mais frequência do que a cegueira, porque o sistema saberá que o sensor está com defeito e não aceitará seus dados. Nesse caso, ela dependerá de sensores em espera ou se esforçará para sair da estrada o mais rápido possível usando outros sensores, se isso não for suficiente. Embora isso também não deva acontecer com muita frequência, caso contrário, as pessoas deixarão de confiar no sistema.

Existem muitos sensores importantes para veículos não tripulados, mas os mais pesquisados ​​e discutidos são os lidares e as câmeras.



Lidar é um radar baseado em luz. O sensor envia pulsos curtos de luz laser invisíveis aos olhos e detecta quanto tempo a luz refletida retorna. Assim, o sistema reconhece o brilho e o alcance do alvo com bastante precisão.

Lidar tem grandes vantagens:

• É extremamente confiável na detecção de vários objetos de tamanho suficiente e calcula sua distância, tamanho e posição muito próximos a 100% de confiabilidade.
• O resultado do lidar é um mapa 3D do mundo ao redor. É fácil selecionar algo dos objetos atrás do sensor (ou na frente dele)
• O Lidar usa luz emitida, por isso funciona independentemente da luz ambiente. Dia ou noite, nublado ou ensolarado, o céu está nublado ou o sol está brilhando - o lidar vê quase o mesmo em todas as condições.
• É resistente a interferências e possui uma resolução muito maior que o radar.
• Alguns lidares podem determinar a velocidade de um objeto usando o efeito Doppler.

No entanto, existem desvantagens:

• Inicialmente, os lidares eram muito caros. Os lidares de alta resolução foram produzidos em pequenas quantidades e custam mais que os carros (os novos modelos custam menos de US $ 1000)
• Resolução bastante modesta. Os melhores dispositivos recebem uma imagem de 128 pixels em varredura vertical com uma frequência de 10 Hz.
• O alcance é limitado. Os lidares médios enxergam a uma distância de 70 a 100 metros e recebem menos retorno de objetos grandes, como carros, a uma distância de cerca de cem metros. Alguns afirmam trabalhar até 200 metros, mas isso é duvidoso. Lidares de 1,5 mícrons, que são ainda mais caros, podem ver ainda mais.
• A maioria dos lidares possui partes móveis para escanear o mundo. Os lidares flash ficam sem peças móveis, mas agora eles são ainda mais caros (em lidares de estado sólido de nova geração, o número de peças móveis é minimizado ou são completamente eliminados).
• A taxa de atualização é geralmente mais baixa. Além disso, enquanto o lidar digitaliza a cena, ele fica distorcido devido ao movimento de carros escaneados e outros objetos, e como diferentes arestas da cena são escaneadas em momentos diferentes, ocorre um deslocamento.
• Os lidares podem encontrar problemas com chuva forte, neve e nevoeiro, embora outros sensores de luz, incluindo câmeras, se comportem da mesma forma. Às vezes, os lidares também podem acionar coisas invisíveis, como fumaça de escapamento.
• Os lidares são montados melhor do lado de fora. Eles precisam de todos os fótons, para não enfraquecê-los, instalando-os atrás do para-brisa.

Câmeras

Sistemas baseados em câmeras se comportam como seres humanos. Uma ou mais câmeras observam a cena e o software tenta fazer a mesma coisa que uma pessoa - imaginar e entender um mundo tridimensional a partir de uma imagem bidimensional.

• As câmeras são realmente baratas. O equipamento custa apenas dezenas de dólares, você pode ter muitos deles.
• Como as câmeras sensíveis à luz visível usam luz refletida, elas podem ver uma distância arbitrária durante o dia se tiverem um campo de visão bastante estreito e puderem ser direcionadas. À noite, eles devem usar luz transmitida - como seus faróis.
• Eles vêem cores. Os lidares percebem tons de cinza no espectro infravermelho.
• A menos que as câmeras sejam guiadas, elas não têm partes móveis; caso contrário, eles podem receber uma imagem de alta resolução mesmo para objetos remotos. Mesmo em amplo acesso, existem câmeras com uma resolução muito alta - enquanto o lidar vê 64 linhas, a câmera vê 3000.
• Devido à alta resolução e cor, as câmeras são capazes de tirar conclusões sobre cenas que não podem ser obtidas com a imagem de baixa resolução obtida no lidar.
• As câmeras podem ver semáforos, dimensões, sinais de mudança de direção e outras fontes de luz emitida. As câmeras são ótimas para a leitura de caracteres.

No entanto, as câmeras têm algumas desvantagens, e a primeira estraga muito:

• Hoje, a visão computacional não funciona bem o suficiente para detectar todos os recursos importantes com a confiabilidade necessária para uma direção segura.
• As câmeras devem funcionar com a mudança de iluminação. Os objetos observados geralmente estão sujeitos ao movimento das sombras e também podem ser iluminados de qualquer direção (ou não iluminados).
• À noite, as câmeras precisam de iluminação adicional e os faróis podem não ser suficientes.
• As tarefas de visão computacional requerem processadores de alto desempenho ou chips específicos para operar no nível dos requisitos atuais.

Visão computacional

O processamento de imagem da câmera pode ser dividido em duas categorias: "visão computacional" e "visão mecânica". A visão de máquina refere-se a uma análise simples e localizada de imagens digitais. Inclui tarefas como pesquisar detalhes e bordas de uma imagem, determinar movimento e paralaxe de movimento, além de aplicar paralaxe a imagens estéreo para determinar a distância. Esses métodos estão bem estabelecidos e muitos deles são bastante compreensíveis. Algumas tarefas de visão de máquina (como reconhecer e ler sinais de trânsito) são mais difíceis, mas serão resolvidas em breve.

A visão computacional refere-se a um conjunto mais complexo de tarefas que requerem habilidades humanas, incluindo a capacidade de entender imagens. Essas tarefas também implicam habilidades como a capacidade de dividir a imagem em segmentos e reconhecer objetos. Você pode mostrar a imagem de outra pessoa para uma pessoa que está em quase qualquer situação e sob qualquer luz, e o observador pode determinar facilmente o que a pessoa está na imagem e até que distância ele está. Podemos até determinar para onde a atenção é direcionada e o que a pessoa representada faz. Os algoritmos nessa área estão cada vez melhores, mas ainda não estão em um nível suficiente.

Algumas tarefas chegaram à zona da fronteira. As ferramentas de visão de máquina procuram detalhes na imagem e o fazem independentemente do tamanho e orientação da imagem. Isso permite detectar outros carros, pedestres, limites de estrada e marcações de estrada. O problema geral da identificação precisa é aquele que muitos acreditam que será finalmente resolvido, mas muito mais difícil de prever quando isso acontecerá. Dirigir exige que o sistema “nunca perca” nada que possa ser um problema de segurança. São particularmente difíceis os obstáculos estacionários que estão tão distantes que a imagem estéreo não funciona, e a paralaxe de movimento (a maneira como os objetos em segundo plano se movem em relação a outros objetos durante o movimento) também é limitada. (O objeto para o qual você está indo diretamente, como um pedestre ou um carro parado, terá uma paralaxe muito pequena de movimento)

Outro problema para os sistemas de visão artificial é a variedade de iluminação e sombreamento. Os objetos podem ser iluminados de qualquer direção. Além disso, o sol pode estar atrás deles. Muitas vezes, as sombras cruzam o próprio objeto. Nesse caso, será necessário usar as tecnologias HDR para poder ver os detalhes em cada uma das áreas da imagem, quando as bordas das sombras desfocam os recursos característicos do objeto na imagem de contraste.

Existe um tipo especial de câmera, conhecido como infravermelho de onda longa ou "térmico", que usa a luz emitida e não a refletida. Os objetos que estão na sombra em relação à luz do sol ainda serão obscurecidos na imagem, mas não haverá mais sombras em movimento. As imagens térmicas são monocromáticas e funcionam igualmente bem de dia e de noite, embora à noite o resultado seja um pouco melhor. Essas câmeras podem ser melhor vistas no nevoeiro e em outras condições climáticas. Eles podem ser muito bons em detectar coisas vivas, exceto quando a temperatura da Terra é igual à temperatura do corpo humano. Infelizmente, as câmeras térmicas são muito caras e os modelos com boa resolução são ainda mais caros. Eles também devem ser instalados externamente, pois as ondas infravermelhas não passam pelo vidro. Atualmente, não há relatos sobre o uso prático dessas câmeras, no entanto, algumas pesquisas estão sendo realizadas.

Existe algum potencial no campo da imagem "hiperespectral", na qual você possui câmeras que funcionam em várias faixas de cores, incluindo infravermelho e ultravioleta. Com essas imagens, será mais fácil reconhecer alguns tipos de objetos.

As pessoas são capazes de transformar as imagens bidimensionais observadas em um modelo tridimensional do mundo, e ao mesmo tempo melhoram muito depois de examinar a cena e observar a paralaxe do movimento. Atualmente, os computadores são modestos na análise de imagens estáticas e apenas ocasionalmente recorrem ao uso de movimento. As pessoas usam imagens estéreo, mas também podem dirigir quando um olho está fechado ou ausente.

Por sua vez, o lidar pode criar um mapa tridimensional completo da cena de uma só vez. Várias passagens podem melhorar a imagem - e ajudá-lo a apreciar a velocidade.

Aprendizagem profunda

A maior parte da excitação atual em visão computacional está associada a redes neurais convolucionais, em particular as criadas usando uma ferramenta chamada Deep Learning, que imita muitas das capacidades do cérebro biológico. Muitas pessoas pensam que essa direção será um avanço. As redes de aprendizado profundo trabalham com um grande conjunto de aprendizado (e até certo ponto podem até funcionar sem treinamento especial) para entender melhor a visão de mundo e agir. As pessoas criaram robôs, que foram conduzidos em terrenos acidentados usando técnicas de aprendizado profundo, após o que esses robôs foram capazes de aprender o movimento em condições semelhantes.

Este é um trabalho fantástico, mas ainda estamos longe da alta precisão necessária para veículos não tripulados. Também é preocupante que, quando se trabalha com aprendizado profundo, não sabemos exatamente por que isso funciona, temos apenas o fato de trabalhar. Você pode treinar novamente a rede neural para corrigir erros, mas não sabe ao certo por que o treinamento corrigiu tudo. A mesma desvantagem também é característica do cérebro humano, apenas uma pessoa pode explicar por que ele agiu de uma maneira ou de outra.

Existem pontos de vista diferentes sobre o treinamento profundo em veículos não tripulados do ponto de vista legal. O aprendizado de máquina pode prejudicá-lo porque você não entende como funciona, e pode ser útil porque você aplicou as melhores técnicas com bons indicadores de segurança e não cometeu nenhum erro que possa ser chamado de desleixado.

O aprendizado de máquina tende a melhorar a qualidade do trabalho com um aumento na quantidade de dados de treinamento, e é por isso que são feitos grandes esforços para criar grandes volumes desses dados. No entanto, as redes neurais não são capazes de reconhecer coisas que nunca viram (ou viram objetos semelhantes).

Outros sensores

O mais importante dos outros sensores é o radar. O radar tem vantagens fantásticas. Em primeiro lugar, ele vê bem através do nevoeiro, enquanto os sensores ópticos não conseguem lidar com isso. Em segundo lugar, ele vê bem outros carros e cada toque no radar fornece informações não apenas sobre distância, mas também sobre velocidade, graças ao efeito Doppler. Isso é ainda mais do que informações do lidar - um disparo do radar mostra todos os obstáculos em movimento e suas velocidades. O radar pode avaliar os reflexos da estrada sob o carro ou caminhão à sua frente e fornecer informações sobre as ações do carro na zona cega do caminhão - esse é um truque muito inteligente.

Os radares oferecem resolução muito menor. Existem radares experimentais de alta resolução, mas eles exigem um amplo espectro de rádio (faixa de frequência) - mais do que o que os reguladores produzem. É improvável que o radar diga se o alvo está na sua faixa ou não, ou se está em um viaduto ou na estrada à sua frente.

Objetos fixos também refletem sinais de radar, e isso é um problema. Terra, sinais, cercas - todos eles retornam sinais de que são objetos estáticos. Assim, quando um carro parado reflete um sinal de radar, você não pode ter certeza de que é um sinal de estrada ou um carro estacionado nele. A maioria dos radares de carros simplesmente ignora os reflexos de objetos estáticos, o que foi um dos motivos pelos quais, por um longo tempo, o controle automático de velocidade não funcionou nos fluxos de tráfego, nos quais você geralmente precisa pisar e frear.

Como resultado de uma nova pesquisa, um radar de maior resolução foi criado e também está sendo realizada uma pesquisa para reconhecer objetos por características em suas reflexões. Radares digitais com uma matriz em fases podem inspecionar a cena e aumentar a resolução em um grau. Isso não é suficiente, mas já é uma melhoria.

Associação de sensores

Quando você usa mais de um sensor, deseja combinar todos os dados para entender que a máquina que o radar detecta é a mesma que a câmera ou o lidar viram. Isso melhora a qualidade dos dados recebidos, mas também pode prejudicar. A combinação de sensores não é 100% confiável. O que você fará se o radar mostrar que há um carro na frente e a câmera considerar que não é (ou vice-versa)? Você terá que escolher em que acreditar. Se a escolha estiver incorreta, poderá ocorrer um problema. Se você acredita na mensagem sobre o obstáculo, pode reduzir a cegueira (o que é muito importante), mas pode levar em consideração os obstáculos inexistentes de ambos os sensores. Às vezes, você obtém o melhor dos dois mundos e, às vezes, o pior.

Apesar disso, como todos os sensores têm várias limitações, a integração dos sensores continua sendo o principal objetivo da maioria das equipes envolvidas em robôs.

A combinação de sensores pode ser realizada sem complicações, se cada sensor lidar melhor com uma tarefa específica ou com um campo de visão separado. Então você confia nos sensores o trabalho que eles fazem melhor.

(Observe que uma boa combinação de sensores é realizada levando em consideração os dados brutos de todos os sensores - você não toma apenas decisões com base no fato de o carro estar presente nos dados do radar, mas não nos dados da câmera. No entanto, muitos objetos serão exibidos em um o conjunto de dados do sensor é mais claro que em outro.)

Posicionamento

, (, ). , 3D, , .

GPS, . . GPS ( GPS ), .

, , , ?

, . ?

2020 . – .

. , Velodyne 75 000 $, 32 . . , , 1982 5- 3000 $, , . , , , .

, . , , , . , , . , ,

, , .

. , , . , .

MobilEye, Intel, (, , ), , , , . 4 , .

, . , , . , . .

, . , . , , , VisLab , , , Mercedes 6D MobilEye, .

, , , , – . , .

, , , . , , , .

, “Super Cruise”, , . ( , ) , . , , , , .

, – . , . 99% , 99% 99.9999% . . , , , .

. , , , , . , - . , 10-20% , , - , , . , , , , , , .

- , - . , , 100 000 $, 3000 $ .

?

, , , .

, . , 400 000 . 170 290 . , 3 , 6000 . , .

, . , - ( 80% , ). - . , . - , , – , . - , , , .

, , . , . , , . . .

, , , , , . , , , . - , , , – . , .

. , , , .

. , . , . ( , ) - .

, , , . , , , . , - .

, , , . , . , , ( ), , , . - , , .

, . , “ ” , 40 /. , 3D, .

, , ( Microsoft Kinect). 3D, , , .

, , . , . , – .

, , , . , . , . , , . . , , , . , . , 99.9% , , , , , . , .

, , - . , , . - – , . , 99.99999%, .

, , . , . , 1 10 000 100 000 , -, .

, -, 2017 2019 , . – , . , , , , . , , . , , .

, 2020, , , , , .

( 25 /) , .

, , , – , ?

Tesla

, Tesla , “” , “”. 8 , : . , , . , , .

Tesla , , , . , , , , . , - , .

, , . Velodyne, , , 64 . 10 . 905 (, ) . Velodyne 32 16 10 000 $.

, . , , , , , .

. – , . , , , , DVD. , , .

. 16- Velodyne 10 000 $. Quanergy, , 8 . Valeo/IBEO 250 4 , , Velodyne , 300 . .

, :

• , , , . . 360 , Velodyne . , , .
• Os lidares do flash enviam um flash brilhante por toda a área e, em seguida, são recebidos por uma série de sensores e temporizadores que podem tirar uma foto de toda a cena de uma só vez. Há muitas vantagens nesse design - não há partes móveis e você não terá artefatos de movimento, porque o mundo e o sensor se movem durante a digitalização. No lidar lidar, todos os objetos são esticados e distorcidos porque se movem em relação ao sensor. Hoje, um flash lidar é muito caro - ele precisa de um chip sensor especial e o pulso deve ser extremamente poderoso para iluminar todo o campo de visão de uma só vez.
• Microscanners são espelhos móveis ultrafinos feitos com base em chips de silício. É assim que a maioria dos projetores de vídeo funciona. Embora existam peças móveis, elas são muito pequenas e podem ser muito leves e duráveis. Alguns lidares de curto alcance foram construídos usando esta tecnologia.
• Se você usar luz na faixa de 1,5 mícron (infravermelho de médio alcance), o olho humano não a focalizará mais. Isso significa que você pode enviar pulsos muito mais brilhantes sem causar danos, e isso, por sua vez, significa que você pode ver a uma distância maior. A má notícia é que a luz de 1,5 mícron não aciona o silício, o que significa que você precisa usar outros tipos de eletrônicos, tecnologias que não têm o baixo custo de uma ampla produção, como o silício. Assim, os lidares de 1,5 mícrons são muito caros no momento.
• Alguns lidares especiais foram feitos para enxergar mais longe, e eles até aproveitam o efeito Doppler, para que saibam a rapidez com que o objeto que eles viram se move. Isso é difícil de fazer em tampas de alta resolução para uso geral.
• Algumas câmeras de tempo de voo estudam a luz com uma onda portadora e observam as mudanças de fase das reflexões retornadas para medir o tempo. Essas câmeras podem ser muito baratas, mas apresentam baixo alcance e ruído ao medir distâncias.

---

Leia artigos mais úteis:

• Carros autônomos em código aberto
• Carros autônomos levam em conta o nível de egoísmo das pessoas
• McKinsey: Repensando a arquitetura de software e eletrônica no setor automotivo
• Outra guerra do SO já está sob o capô dos carros
• Código do programa no carro
• Em um carro moderno, há mais linhas de código do que ...