Appareils photo ou lasers

Quels capteurs seront les plus importants dans les véhicules sans pilote? Ces capteurs qui contrôlent le soi-disant système de perception, et c'est la chose la plus importante dans la conduite. Le système de perception a pour tâche de détecter tous les objets importants sur ou près de la route, par exemple, d'autres véhicules, piétons, ordures et, dans certains cas, des objets de la route, tels que des panneaux et des marquages ​​de voie.

(Le positionnement sur la route dépend également des capteurs).

Le système de perception doit détecter tous les obstacles et essayer de les identifier. Elle a besoin de mesurer leur vitesse et leur direction, mais aussi de prévoir leur mouvement. C'est une tâche très difficile.

Deux erreurs clés dans le système de perception sont les faux positifs (cécité) et les faux positifs (objets fantomatiques).

Une fausse réponse négative est une situation dans laquelle aucun obstacle n'a été détecté. Cela peut entraîner des conséquences désastreuses si le système fonctionne de cette manière pendant si longtemps que vous ne pouvez pas contourner l'obstacle en toute sécurité. Un bon système ne produira presque jamais de faux résultats négatifs. La reconnaissance d'un obstacle peut prendre quelques instants supplémentaires, il peut manquer quelque chose en raison de flashs soudains, mais des erreurs répétées peuvent entraîner un accident. Dire «jamais», je veux dire «presque jamais», de l'ordre de l'unité à plusieurs millions.

Un résultat faussement positif est un autre type d'erreur. Dans son cas, le système voit quelque chose qui n'est pas là, ce qui oblige la voiture à freiner ou à s'effondrer. Cela dérange les passagers et s'ils ne sont pas attachés, cela peut entraîner des blessures. Cela peut également entraîner un accident si l'autre voiture se déplace très près ou avec un freinage et des virages trop serrés. En règle générale, de tels cas ne sont pas dangereux, mais si cela se produit trop souvent, les utilisateurs abandonneront le système.

Une classification incorrecte est également associée aux erreurs ci-dessus. Une classification incorrecte signifie que le cycliste a été confondu avec un piéton ou que deux motos ont été confondues avec une voiture. Même sans identification précise, la machine sait comment ne pas percuter un obstacle, mais le système peut déterminer de manière incorrecte où elle se déplace ou comment y répondre au mieux.

Une autre classe d'erreurs est celle des échecs complets. Le capteur ou son logiciel peut mal fonctionner ou ne pas fonctionner correctement. Étonnamment, cela est autorisé plus souvent que la cécité, car le système saura que le capteur est hors service et n'acceptera pas ses données. Dans ce cas, elle s'appuiera sur des capteurs de secours, ou s'efforcera de quitter la route dès que possible en utilisant d'autres capteurs, si cela ne suffit pas. Bien que cela ne devrait pas se produire trop souvent, sinon les gens cesseront de faire confiance au système.

Il existe de nombreux capteurs importants pour les véhicules sans pilote, mais les plus étudiés et discutés sont les lidars et les caméras.



Lidar est un radar à base de lumière. Le capteur envoie de courtes impulsions de lumière laser invisibles à l'œil et détecte la durée de retour de la lumière réfléchie. Ainsi, le système reconnaît assez précisément la luminosité et la plage de la cible.

Le Lidar présente de grands avantages:

• Il est extrêmement fiable pour détecter divers objets de taille suffisante et calcule leur distance, taille et position très proche de 100% de fiabilité.
• Le résultat du lidar est une carte 3D du monde autour. Il est facile de sélectionner quelque chose parmi les objets derrière le capteur (ou devant celui-ci)
• Le Lidar utilise la lumière émise, il fonctionne donc indépendamment de la lumière ambiante. De jour comme de nuit, nuageux ou ensoleillé, le ciel est couvert ou le soleil brille - le lidar voit presque la même chose dans toutes les conditions.
• Il résiste aux interférences et a une résolution beaucoup plus élevée que le radar.
• Certains lidars peuvent déterminer la vitesse d'un objet en utilisant l'effet Doppler.

Cependant, il y a des inconvénients:

• Au départ, les lidars étaient très chers. Les lidars haute résolution ont été produits en petites quantités et coûtent plus cher que les voitures (les nouveaux modèles apparaissent à un prix inférieur à 1000 $)
• Résolution assez modeste. Les meilleurs appareils reçoivent une image de 128 pixels en balayage vertical avec une fréquence de 10 Hz.
• La portée est limitée. Les lidars moyens voient à une distance de 70 à 100 mètres et reçoivent moins de retour de gros objets comme des voitures à une distance d'une centaine de mètres. Certains prétendent travailler jusqu'à 200 mètres, mais cela est douteux. Les lidars de 1,5 microns, qui sont encore plus chers, peuvent voir plus loin.
• La plupart des lidars ont des pièces mobiles pour parcourir le monde. Les lidars Flash se passent de pièces mobiles, mais maintenant ils sont encore plus chers (dans les lidars à semi-conducteurs de nouvelle génération, le nombre de pièces mobiles est minimisé ou complètement éliminé).
• Le taux de rafraîchissement est généralement plus faible. De plus, tandis que le lidar scanne la scène, il est déformé en raison du mouvement des voitures scannées et d'autres objets, et puisque différents bords de la scène sont scannés à différents moments, un décalage se produit.
• Les lidars peuvent rencontrer des problèmes avec de fortes pluies, de la neige et du brouillard, bien que d'autres capteurs de lumière, y compris des caméras, se comportent de la même manière. Les lidars peuvent aussi parfois déclencher des choses invisibles comme les gaz d'échappement.
• Les lidars sont mieux montés à l'extérieur. Ils ont besoin de chaque photon, alors ne les affaiblissez pas en les installant derrière le pare-brise.

Caméras

Les systèmes basés sur des caméras se comportent comme des humains. Une ou plusieurs caméras observent la scène et le logiciel essaie de faire la même chose qu'une personne - d'imaginer et de comprendre un monde en trois dimensions à partir d'une image en deux dimensions.

• Les caméras sont vraiment bon marché. L'équipement ne coûte que des dizaines de dollars, vous pouvez en avoir beaucoup.
• Étant donné que les caméras sensibles à la lumière visible utilisent la lumière réfléchie, elles peuvent voir une distance arbitraire pendant la journée si elles ont un champ de vision assez étroit et peuvent être dirigées. La nuit, ils devraient utiliser la lumière transmise - comme vos phares.
• Ils voient des couleurs. Les lidars perçoivent des nuances de gris dans le spectre infrarouge.
• À moins que les caméras ne soient guidées, elles ne comportent aucune pièce mobile; sinon, ils peuvent recevoir une image haute résolution même pour des objets distants. Même en accès large, il existe des caméras à très haute résolution - tandis que le lidar voit 64 lignes, la caméra en voit 3000.
• En raison de la haute résolution et de la couleur, les caméras sont capables de tirer des conclusions sur les scènes qui ne peuvent pas être obtenues à partir de l'image basse résolution obtenue du lidar.
• Les caméras peuvent voir les feux de circulation, les dimensions, les clignotants et d'autres sources de lumière émise. Les appareils photo sont parfaits pour lire les caractères.

Cependant, les caméras ont certains inconvénients, et le premier gâche beaucoup:

• Aujourd'hui, la vision par ordinateur ne fonctionne pas assez bien pour détecter toutes les fonctionnalités importantes avec la fiabilité nécessaire pour une conduite sûre.
• Les caméras doivent fonctionner avec un éclairage changeant. Les objets observés sont souvent soumis au mouvement des ombres et peuvent également être éclairés dans toutes les directions (ou pas du tout éclairés).
• La nuit, les caméras ont besoin d'un éclairage supplémentaire et les phares peuvent ne pas suffire.
• Les tâches de vision par ordinateur nécessitent des processeurs hautes performances ou des puces spécifiques pour fonctionner au niveau des exigences actuelles.

Vision par ordinateur

Le traitement des images de la caméra peut être grossièrement divisé en deux catégories: «vision par ordinateur» et «vision par ordinateur». La vision industrielle se réfère à une analyse simple et localisée d'images numériques. Il comprend des tâches telles que la recherche de détails et de bords d'une image, la détermination du mouvement et de la parallaxe du mouvement, ainsi que l'application de la parallaxe aux images stéréo pour déterminer la distance. Ces méthodes sont assez bien établies et nombre d'entre elles sont tout à fait compréhensibles. Certaines tâches de vision industrielle (telles que la reconnaissance et la lecture des panneaux routiers) sont plus difficiles, mais seront bientôt résolues.

La vision par ordinateur fait référence à un ensemble de tâches plus complexes qui nécessitent des compétences de type humain, y compris la capacité de comprendre les images. Ces tâches impliquent également des compétences telles que la capacité de diviser l'image en segments et de reconnaître des objets. Vous pouvez montrer l'image d'une autre personne à une personne qui se trouve dans presque n'importe quelle situation et sous n'importe quelle lumière, et l'observateur peut facilement déterminer ce que la personne est dans l'image, et même à quelle distance elle se trouve. Nous pouvons même déterminer à quoi l'attention est dirigée et ce que fait la personne représentée. Les algorithmes dans ce domaine s'améliorent de plus en plus, mais ne sont pas encore à un niveau suffisant.

Certaines tâches ont atteint la zone frontalière. Les outils de vision industrielle recherchent les détails dans l'image et le font indépendamment de la taille et de l'orientation de l'image. Cela vous permet de détecter d'autres voitures, piétons, limites de routes et marquages ​​routiers. Le problème général d'une identification précise est un problème qui, selon beaucoup, sera finalement résolu, mais beaucoup plus difficile à prévoir quand cela se produira. La conduite nécessite que le système «ne manque jamais» tout ce qui pourrait être un problème de sécurité. Les obstacles stationnaires qui sont si éloignés que l'image stéréo ne fonctionne pas sont particulièrement difficiles et la parallaxe du mouvement (la façon dont les objets en arrière-plan se déplacent par rapport aux autres objets pendant votre mouvement) est également limitée. (L'objet vers lequel vous vous dirigez directement, comme un piéton ou une voiture debout, aura une très petite parallaxe de mouvement)

Un autre problème pour les systèmes de vision artificielle est la variété d'éclairage et d'ombrage. Les objets peuvent être éclairés de n'importe quelle direction. De plus, le soleil peut être derrière eux. Souvent, les ombres traversent l'objet lui-même. Dans ce cas, il sera nécessaire d'utiliser les technologies HDR afin de pouvoir voir les détails dans chacune des zones d'image, lorsque les bordures des ombres brouillent les traits caractéristiques de l'objet dans l'image de contraste.

Il existe un type spécial de caméra, appelé infrarouge à ondes longues ou «thermique», qui utilise la lumière émise plutôt que réfléchie. Les objets qui sont dans l'ombre par rapport à la lumière du soleil seront toujours obscurcis dans l'image, mais il n'y aura plus d'ombres mobiles. Les images thermiques sont monochromes et fonctionnent aussi bien de jour que de nuit, bien que la nuit le résultat soit légèrement meilleur. Ces caméras sont mieux visibles dans le brouillard et dans d'autres conditions météorologiques. Ils peuvent très bien détecter les êtres vivants, sauf lorsque la température de la terre est égale à la température du corps humain. Malheureusement, les caméras thermiques sont très chères et les modèles avec une bonne résolution sont encore plus chers. Ils doivent également être installés à l'extérieur car les ondes infrarouges ne traversent pas le verre. Actuellement, il n'y a aucun rapport sur l'utilisation pratique de ces caméras, cependant, certaines recherches sont en cours.

Il existe un certain potentiel dans le domaine de l'imagerie "hyperspectrale", dans laquelle vous disposez de caméras qui fonctionnent dans de nombreuses gammes de couleurs, y compris l'infrarouge et l'ultraviolet. Avec de telles images, il sera plus facile de reconnaître certains types d'objets.

Les gens sont capables de transformer les images bidimensionnelles observées en un modèle tridimensionnel du monde, et en même temps le font beaucoup mieux après avoir examiné la scène et observé la parallaxe du mouvement. Les ordinateurs sont actuellement modestes dans l'analyse des images fixes et ne recourent qu'occasionnellement à l'utilisation du mouvement. Les gens utilisent des images stéréo, mais ils peuvent également conduire lorsqu'un œil est fermé ou manquant.

À son tour, le lidar peut créer une carte tridimensionnelle complète de la scène en un seul passage. Plusieurs passes peuvent améliorer l'image - et l'aider à apprécier la vitesse.

Apprentissage profond

La plupart de l'excitation actuelle en vision par ordinateur est associée aux réseaux de neurones convolutifs, en particulier ceux créés à l'aide d'un outil appelé Deep Learning, qui imite de nombreuses capacités du cerveau biologique. Beaucoup de gens pensent que cette direction sera une percée. Les réseaux d'apprentissage en profondeur fonctionnent avec un large ensemble d'apprentissage (et dans une mesure limitée peuvent même fonctionner sans formation spéciale) pour mieux comprendre la vision du monde et agir. Les gens ont créé des robots, qui ont été conduits sur un terrain accidenté en utilisant des techniques d'apprentissage en profondeur, après quoi ces robots ont pu apprendre le mouvement dans des conditions similaires.

C'est un travail formidable, mais nous sommes encore loin de la grande précision requise pour les véhicules sans pilote. Il est également troublant que lorsque nous travaillons avec l'apprentissage en profondeur, nous ne savons pas exactement pourquoi cela fonctionne, nous n'avons que le fait de travailler. Vous pouvez recycler le réseau de neurones pour corriger les erreurs, mais vous ne savez pas pourquoi le recyclage a tout corrigé. Le même inconvénient est également caractéristique du cerveau humain, seule une personne peut vous expliquer pourquoi elle a agi d'une manière ou d'une autre.

Il existe différents points de vue sur la formation approfondie dans les véhicules sans pilote d'un point de vue juridique. L'apprentissage automatique peut vous nuire parce que vous ne comprenez pas comment cela fonctionne, et il peut être utile parce que vous avez appliqué les meilleures techniques avec de bons indicateurs de sécurité et que vous n'avez commis aucune erreur pouvant être qualifiée de bâclée.

L'apprentissage automatique a tendance à améliorer la qualité du travail avec une augmentation de la quantité de données de formation, c'est pourquoi de si grands efforts sont faits pour créer de grands volumes de ces données. Cependant, les réseaux de neurones ne sont pas en mesure de reconnaître des choses qu'ils n'ont jamais vues (ou vu des objets similaires).

Autres capteurs

Le plus important des autres capteurs est le radar. Le radar présente des avantages fantastiques. Premièrement, il voit bien à travers le brouillard, alors que les capteurs optiques ne peuvent pas y faire face. Deuxièmement, il voit bien les autres voitures et chaque coup de radar donne des informations non seulement sur la distance, mais aussi sur la vitesse, grâce à l'effet Doppler. C'est encore plus que les informations du lidar - un coup de radar montre tous les obstacles en mouvement et leur vitesse. Le radar peut évaluer les réflexions de la route sous la voiture ou le camion devant vous et donner des informations sur les actions de la voiture dans la zone aveugle du camion - c'est une astuce très intelligente.

Les radars offrent une résolution beaucoup plus faible. Il existe des radars expérimentaux à haute résolution, mais ils nécessitent un large spectre radio (plage de fréquences) - plus que ce que produisent les régulateurs. Il est peu probable que le radar vous indique si la cible est sur votre voie ou non, ou si elle est sur un survol ou sur la route devant vous.

Les objets fixes reflètent également les signaux radar, et c'est un problème. Terre, signes, clôtures - ils renvoient tous des signaux indiquant qu'ils sont des objets statiques. Ainsi, lorsqu'une voiture debout reflète un signal radar, vous ne pouvez pas être sûr qu'il s'agit d'un panneau routier ou d'une voiture garée dessus. La plupart des autoradios ignorent simplement les reflets d'objets statiques, ce qui est l'une des raisons pour lesquelles le régulateur de vitesse automatique n'a pas fonctionné pendant longtemps dans les flux de circulation, dans lesquels vous devez souvent gazer et freiner.

À la suite de nouvelles recherches, un radar à plus haute résolution a été créé, et des recherches sont également en cours pour reconnaître les objets par leurs caractéristiques dans leurs réflexions. Les radars numériques à réseau phasé peuvent inspecter la scène et augmenter la résolution d'un degré. Ce n'est pas suffisant, mais c'est déjà une amélioration.

Association des capteurs

Lorsque vous utilisez plusieurs capteurs, vous souhaitez combiner toutes les données afin de comprendre que la machine détectée par le radar est la même que la caméra ou le lidar. Cela améliore la qualité des données reçues, mais cela peut également nuire. La combinaison de capteurs n'est pas fiable à 100%. Que ferez-vous si le radar montre qu'il y a une voiture devant et que la caméra considère qu'elle ne l'est pas (ou vice versa)? Vous devrez choisir quoi croire. Si le choix est incorrect, un problème peut survenir. Si vous croyez au message sur l'obstacle, vous pouvez réduire la cécité (ce qui est très important), mais vous pouvez prendre en compte les obstacles inexistants des deux capteurs. Parfois, vous obtenez le meilleur des deux mondes, et parfois le pire.

Malgré cela, puisque tous les capteurs ont diverses limites, l'intégration des capteurs reste l'objectif principal de la plupart des équipes impliquées dans les robots.

La combinaison de capteurs peut être effectuée sans complications, si chaque capteur s'adapte mieux à une tâche spécifique ou à un champ de vision distinct. Ensuite, vous faites confiance aux capteurs pour le travail qu'ils font le mieux.

(Il convient de noter qu'une bonne combinaison de capteurs est effectuée en tenant compte des données brutes de tous les capteurs - vous ne prenez pas simplement des décisions basées sur le fait que la voiture est présente dans les données radar, mais pas dans les données de la caméra. Néanmoins, de nombreux objets seront affichés en un seul l'ensemble de données du capteur est plus clair que dans un autre.)

Positionnement

, (, ). , 3D, , .

GPS, . . GPS ( GPS ), .

, , , ?

, . ?

2020 . – .

. , Velodyne 75 000 $, 32 . . , , 1982 5- 3000 $, , . , , , .

, . , , , . , , . , ,

, , .

. , , . , .

MobilEye, Intel, (, , ), , , , . 4 , .

, . , , . , . .

, . , . , , , VisLab , , , Mercedes 6D MobilEye, .

, , , , – . , .

, , , . , , , .

, “Super Cruise”, , . ( , ) , . , , , , .

, – . , . 99% , 99% 99.9999% . . , , , .

. , , , , . , - . , 10-20% , , - , , . , , , , , , .

- , - . , , 100 000 $, 3000 $ .

?

, , , .

, . , 400 000 . 170 290 . , 3 , 6000 . , .

, . , - ( 80% , ). - . , . - , , – , . - , , , .

, , . , . , , . . .

, , , , , . , , , . - , , , – . , .

. , , , .

. , . , . ( , ) - .

, , , . , , , . , - .

, , , . , . , , ( ), , , . - , , .

, . , “ ” , 40 /. , 3D, .

, , ( Microsoft Kinect). 3D, , , .

, , . , . , – .

, , , . , . , . , , . . , , , . , . , 99.9% , , , , , . , .

, , - . , , . - – , . , 99.99999%, .

, , . , . , 1 10 000 100 000 , -, .

, -, 2017 2019 , . – , . , , , , . , , . , , .

, 2020, , , , , .

( 25 /) , .

, , , – , ?

Tesla

, Tesla , “” , “”. 8 , : . , , . , , .

Tesla , , , . , , , , . , - , .

, , . Velodyne, , , 64 . 10 . 905 (, ) . Velodyne 32 16 10 000 $.

, . , , , , , .

. – , . , , , , DVD. , , .

. 16- Velodyne 10 000 $. Quanergy, , 8 . Valeo/IBEO 250 4 , , Velodyne , 300 . .

, :

• , , , . . 360 , Velodyne . , , .
• Les lidars flash envoient un flash lumineux sur toute la zone, puis il est reçu par un ensemble de capteurs et de minuteries qui peuvent prendre une photo de la scène entière à la fois. Il y a de nombreux avantages à cette conception - il n'y a pas de pièces mobiles et vous n'obtiendrez pas d'artefacts de mouvement, car le monde et le capteur bougent pendant le balayage. Dans le lidar à balayage, tous les objets sont étirés et déformés car ils se déplacent par rapport au capteur. Un lidar flash est très cher aujourd'hui - il a besoin d'une puce de capteur spéciale, et l'impulsion doit être extrêmement puissante pour éclairer tout le champ de vision à la fois.
• Les microscanners sont des miroirs mobiles ultra-minces fabriqués à base de puces de silicium. C'est ainsi que la plupart des projecteurs vidéo fonctionnent. Bien qu'il y ait des pièces mobiles, elles sont très petites et peuvent être très légères et durables. Certains lidars à courte portée ont été construits à l'aide de cette technologie.
• Si vous utilisez de la lumière dans la plage de 1,5 microns (infrarouge de milieu de gamme), l'œil humain ne la focalise plus. Cela signifie que vous pouvez envoyer des impulsions beaucoup plus lumineuses sans causer de dommages, ce qui signifie que vous pouvez voir à une plus grande distance. La mauvaise nouvelle est que la lumière de 1,5 micron ne déclenche pas le silicium, ce qui signifie que vous devez utiliser d'autres types d'électronique, des technologies qui n'ont pas le faible coût de production à grande échelle, comme le silicium. Ainsi, les lidars de 1,5 microns sont très chers pour le moment.
• Certains lidars spéciaux ont été faits pour voir plus loin, et ils utilisent même l'effet Doppler, afin qu'ils sachent à quelle vitesse l'objet qu'ils suivent se déplace. Cela est difficile à faire dans les couvercles à usage général à haute résolution.
• Certaines caméras à temps de vol étudient la lumière avec une onde porteuse et observent les changements de phase des réflexions de retour pour mesurer le temps. Ces caméras peuvent être très peu coûteuses, mais ont une portée et un bruit faibles lors de la mesure des distances.

---

Lisez d'autres articles utiles:

• Voitures autonomes sur open source
• Les voitures autonomes prennent en compte le niveau d'égoïsme des personnes
• McKinsey: repenser l'architecture logicielle et électronique de l'automobile
• Une autre guerre des OS est déjà sous le capot des voitures
• Code de programme dans la voiture
• Il y a plus de lignes de code dans une voiture moderne que ...