"Finja": como veículos não tripulados "se rendem à direita"

Nvidia Simulator

Grosso modo, existem duas áreas na certificação de automóveis. A autocertificação é popular nos EUA. Um padrão de segurança é publicado e os fabricantes afirmam que seu produto o satisfaz. Se surgir um problema, e acontece que eles mentiram, eles enfrentam uma responsabilidade legal adicional.

Os europeus estão inclinados a uma abordagem diferente, conhecida como homologação, na qual o governo ou sua agência de testes terceirizada certifica que o veículo atende aos padrões.

Na vida real, geralmente encontramos uma combinação dessas abordagens. Por exemplo, nos EUA, testes de colisão externos são realizados pelo NHTSA (agência governamental) e pelo Institute for Insurance and Road Safety. Assim, um sistema de classificação NCAP foi obtido. A Europa adotou esse sistema de classificação e tornou-se uma maneira essencial de certificar a segurança. A conformidade com a NCAP é voluntária, mas os fabricantes de automóveis acreditam que, se não ganharem estrelas da NCAP, isso terá um grande impacto nas vendas, portanto, na verdade, não é tão voluntário.

Os proponentes de cada método consideram a outra abordagem insana. Isto é especialmente verdade quando se trata de veículos não tripulados que não obedecem a muitas regras antigas.

Em uma conferência sobre aceleradores gráficos da Nvidia na quarta-feira, representantes da AVL, um importante laboratório europeu de testes privados e a maior empresa privada da indústria automotiva, apresentaram suas idéias sobre como eles podem testar e certificar veículos não tripulados.

Era um plano de teste que muitos poderiam ter imaginado e incluía os seguintes pontos:

• Testes privados ao vivo
• Teste de modulação de software e hardware com a adição de uma seleção aleatória de scripts de uma rica biblioteca de testes já conhecidos, incluindo testes de situações extremas que não são fáceis de verificar no mundo real.
• Alguns testes em vias públicas

Os europeus expressaram a opinião de que uma abordagem americana mais antiga, que inclui autocertificação de acordo com o padrão de segurança funcional ISO 26262, além de conformidade obrigatória com o padrão federal de segurança de veículos e a classificação voluntária do NCAP, está incorreta. Todos os outros modos de transporte são testados e certificados pela autoridade supervisora ​​do estado. Eles também disseram que os recentes acidentes do 737 mostram o que acontece quando a abordagem errada, então eles querem mais certificação com padrões mais rigorosos.

Esta não é a única abordagem proposta na Europa. A agência de certificação holandesa RWB ofereceu um tipo de carteira de motorista , que seria mais como um teste de direção do que certificação em uma lista de parâmetros.

As verificações de condução humana são terríveis

Qualquer conjunto de testes padronizados cobrirá apenas uma pequena fração do que precisa ser verificado. É difícil imaginar o que poderia ser diferente. Um exemplo é a obtenção de uma carteira de motorista, especialmente nos Estados Unidos. Esse teste dificilmente cobre qualquer coisa, e os motoristas adolescentes com um nível terrível de conhecimento o passam rotineiramente. Concordamos com isso porque acreditamos que as pessoas sabem inerentemente fazer certas coisas sem provar isso nos testes e porque não queremos tornar o teste muito complicado. Mas em alguns países, as coisas são muito mais complicadas.

Considere o líder da indústria, Waymo. Os carros Waymo já percorreram 15 milhões de milhas de teste. Eles também registraram cerca de 10 bilhões de “milhas” em simulações. (Além disso, diferentemente das milhas reais, que em 99,9% dos casos são apenas chatas de dirigir, as milhas em uma simulação são situações especiais projetadas para carregar software).

Mas apesar de tudo isso, Waymo está quase pronto para liberar com segurança seus carros na estrada. No ano passado, eles anunciaram que operariam em tempo real até o final do ano e que já estavam operando veículos que não tinham motorista, ou um dispositivo com um monitor de segurança que não podia assumir o controle.
Na verdade, eles implementaram apenas uma pequena parte das operações autônomas e seus serviços comerciais são muito limitados (minha teoria é que o acidente com o carro Uber reduziu a tolerância pública e fez com que Waymo se comportasse de maneira mais conservadora).

No entanto, o fato é que, mesmo depois de todos esses testes (que foram realizados milhares de vezes mais do que em qualquer laboratório de pesquisa), a Waymo ainda não tem certeza de que está pronta para a liberação, embora haja a sensação de que eles já estão próximos. Repito, mil vezes mais testes.

Um laboratório de certificação confirmaria, na melhor das hipóteses, que o veículo em teste atende a todos os requisitos básicos. Isso significa que a equipe de desenvolvimento não é negligente ou não tem experiência. Isso é importante e valioso, mas não confirma que o carro está pronto para sair das ruas sem supervisão. Um carro do Uber pode não ter sido aprovado nesse teste, mas não tentou atestá-lo para uso não-tripulado ou comercial. Era apenas um protótipo que poderia ter sido conduzido por um motorista descuidado.

Assim, o processo de certificação será caro e demorado e dificilmente útil. Muita burocracia e falta de uma verificação de segurança real não são um bom cenário.

Simulação para certificação

Testes padronizados, especialmente simulações, não são adequados para certificação. Isso ocorre porque os fabricantes desejam e acessam os cenários de simulação. Os fabricantes desejam testar seus carros nesses cenários com antecedência e, se algum dos testes falhar, farão correções na máquina. Os fabricantes não passarão no carro para certificação até que ele receba uma nota excelente em todos os testes. Isso força os fabricantes a melhorar seus carros, mas não fornece informações sobre a qualidade desses carros. Só sabemos que eles passam nos testes que devem passar.



Rua simulada em um dia chuvoso.

Você não saberá o quão bem um carro é fabricado se testá-lo em testes que ele já viu. Você saberá o quão bom é quando você passar uma tonelada de testes que este carro vê pela primeira vez e quando você vê como ele lida com eles. Só assim você pode descobrir como esse carro pode lidar com um número infinito de novas situações que ele enfrentará no mundo real.

A única maneira de realmente experimentar o carro é testá-lo em situações difíceis que ele nunca tinha visto antes. Assim que a situação aparecer em qualquer um dos testes, os fornecedores descobrem e colocam em suas próprias coleções de testes. Isso significa que o organismo de certificação deve propor constantemente um grande número de testes novos, significativos e realistas. Existem muitas opções diferentes para situações de teste e, no caso de veículos não tripulados, podem ser encontrados casos extremos mesmo no meio da rua, mas existem algumas limitações.

Os reguladores devem atualizar os testes regularmente. Muitos fabricantes de automóveis costumam lançar novas versões de software. Durante o teste, eles lançam novas versões todos os dias. Quando as máquinas são colocadas em produção, as atualizações ainda serão lançadas aproximadamente uma vez por mês e, se forem detectados erros de segurança, com mais frequência. Realizar novos testes mensalmente para cada empresa é impraticável. É possível criar facilmente cenários de simulação regularmente, variações dos existentes, mas você precisa de testes realistas semelhantes ao que pode acontecer no mundo real. Você não deseja cometer um erro ou transferir uma máquina para produção com base apenas em como ela lida com situações que nunca acontecerão.

Também vale a pena notar que os bilhões de quilômetros na simulação que os carros da Waymo dirigiram são completamente diferentes daqueles da AVL ou daqueles mostrados pela Nvidia. Eles são simuladores de pleno direito que requerem reconhecimento de informações visuais que tentam criar um mundo virtual no estilo de videogame e, em seguida, fornecem ao software do carro uma imagem artificial de câmeras, digitalizações lidar e dados de radar, após o que eles dão ao computador a oportunidade de tentar controlar a máquina virtual. Existem três níveis diferentes de teste que tentam simular o máximo de dados possível para maximizar o desempenho da máquina.

Essas simulações são úteis, mas muito mais rápidas para fazer simulações que funcionam com informações que não precisam ser reconhecidas. Nesta abordagem, você não está criando um mundo virtual visível; em vez disso, está criando sua representação básica. O simulador sabe onde todos os objetos estão no nível abstrato, mas não os exibe para reconhecimento pelo programa. Em vez disso, os testes descem um nível e substituem o sistema perceptivo por um módulo que relata as mesmas informações que o sistema substituído. Por exemplo, ele pode relatar que, com uma probabilidade de 85%, um carro está viajando em uma determinada direção ou que um pedestre está em uma determinada área, com uma probabilidade de 90%. Nessas simulações, verifica-se que a máquina recebe todas essas informações. Este é apenas um teste parcial, mas é tão mais rápido que você pode realizar muito mais testes. Combinações de métodos diferentes devem ser usadas, mas a maioria das milhas de teste será aprovada em testes de pós-percepção e, pelo que entendi, bilhões de milhas de teste para carros Waymo foram obtidas dessa maneira.

Os testes que exigem reconhecimento ou simulação com visualização têm uma aparência muito melhor como demos, pois oferecem imagens realistas no estilo de videogame que as pessoas gostam. Eles são bons para testar todos os aspectos do carro, incluindo sistemas de percepção, mas o problema é que eles testam o carro em um mundo artificial, não real. É possível que o sistema reconheça muito bem os pedestres de jogos virtuais, mas não muito bem com os reais no mundo real. Essa situação significa que você recebeu informações incorretas desse tipo de simulação.

Os inspetores das agências governamentais vão ainda mais longe. Eles usam 3 tipos de simulações com exibição visual:

• Uma simulação básica na qual você simplesmente executa o software do carro em um computador, o computador gera imagens artificiais a partir de sensores e permite controlar a máquina virtual usando comandos de software.
• Modulação de software e hardware, na qual um carro real é conectado a um computador com uma simulação que tenta se comportar como sensores reais e um carro para o computador de bordo de um carro real.
• Simulação de hardware de um passeio real, onde o carro é colocado em um suporte de roletes, no qual o carro pode rolar as rodas. Este suporte está localizado em uma grande sala na qual os robôs são refeitos para se parecerem com carros e pedestres e se moverem pelo suporte, simulando o comportamento de objetos do mundo real. Idealmente, sensores reais devem ser usados, embora seja necessário o uso de uma câmera e radar artificiais. No caso de câmeras, você pode apenas apontá-las para a tela bloqueada.

Todas essas opções parecem boas, embora o número 3 não seja possível em alguns casos (por exemplo, para um carro da Waymo que detecta sua posição a partir de uma textura de estrada iluminada a laser que sobe sob as rodas e usa vários outros sensores complexos). No entanto, todas essas opções são lentas, caras e sofrem dos problemas descritos acima. Eles devem funcionar em tempo real, o que de fato pode ser uma grande limitação em comparação com testes convencionais ou testes sem tela, que podem ser dimensionados para realizar grandes quantidades de testes necessários.

Pessoas de fora não sabem como testar

No caso de um laboratório externo, os testes sem visualização são muito diferentes. Eles só podem ser realizados em estreita colaboração com a equipe de desenvolvimento do veículo. A verdade é que a equipe sabe como testar seu carro melhor do que qualquer outra pessoa. Além disso, como essas equipes estão desenvolvendo maneiras completamente novas de garantir a segurança que não existia antes, as pessoas de fora podem não conseguir entender completamente os sistemas de segurança do veículo em teste. Os padrões podem definir apenas verdades comuns e melhores práticas existentes. Eles não implicam inovação. Não há um teste claro para testar a qualidade da inovação em segurança. Para fazer isso, você precisará criar um novo teste.

Tudo isso não dá uma idéia clara da importância da abordagem laboratorial aos testes, mas isso não significa que não seja importante. Essa abordagem pode estabelecer requisitos mínimos de teste e os desenvolvedores de veículos não tripulados contratam empresas de teste e usam seus serviços para entender que seus carros atendem a esses requisitos mínimos. E também podem ser celebrados contratos para elevar o nível de qualidade acima dos requisitos mínimos.

O teste proposto pela AVL, no entanto, não forneceria informações suficientes. Um veículo não tripulado pode passar nesses testes e ainda ter problemas sérios e representar um grande risco. A única maneira de minimizar esse risco é realizar testes que foram desenvolvidos pelo fabricante do carro, bem como testes em estradas reais em várias situações. Você deve garantir que os interesses do fabricante coincidam com os da sociedade e que haja fortes razões para não trapacear, não mentir e não negligenciar. Esse ainda é um problema não resolvido, mas muita atenção foi dada a ele.

---

Leia artigos mais úteis:

• Câmeras ou lasers
• Carros autônomos em código aberto
• McKinsey: Repensando a arquitetura de software e eletrônica no setor automotivo
• Outra guerra do SO já está sob o capô dos carros
• Código do programa no carro
• Em um carro moderno, há mais linhas de código do que ...