Die Hybridkamera und das Lidar verbessern die Fähigkeiten von Robomobilen und ergänzen Informationen über die Außenwelt

Lidare und Kameras sind zwei Standardkonfigurationselemente für fast jedes Robomobil. Sowohl die erste als auch die zweite arbeiten mit reflektiertem Licht. Gleichzeitig arbeiten die Kameras in einem passiven Modus, dh sie erfassen die Reflexion von Lichtquellen von Drittanbietern, aber Lidars erzeugen Laserpulse und messen dann die von nahe gelegenen Objekten reflektierte "Reaktion". Die Kameras bilden ein zweidimensionales Bild, und die Lidare bilden ein dreidimensionales Bild, so etwas wie eine „Punktwolke“.

Ouster hat ein Hybridgerät entwickelt , das sowohl als Kamera als auch als Lidar funktioniert. Dieses System heißt OS-1. Dieses Gerät hat eine größere Blende als die meisten DSLRs, und der vom Unternehmen entwickelte Sensor ist sehr empfindlich.

Vom System erhaltene Bilder bestehen aus drei Schichten. Das erste ist das Bild, das wie von einer normalen Kamera erhalten wird. Die zweite ist eine "Laser" -Schicht, die unter Verwendung von Laserstrahlreflexion erhalten wird. Und die dritte ist die „tiefe“ Ebene, mit der Sie den Abstand zwischen den einzelnen Pixeln der ersten beiden Ebenen abschätzen können.

Es ist erwähnenswert, dass Bilder immer noch erhebliche Einschränkungen aufweisen. Erstens sind dies Bilder mit niedriger Auflösung. Zweitens sind sie schwarz und weiß, keine Farbe. Drittens arbeitet Lidar nicht mit einer sichtbaren Lichtquelle, sondern mit einem Spektrum nahe dem Infrarot.

Derzeit sind die Kosten für das Lidar recht hoch - etwa 12.000 US-Dollar. Auf den ersten Blick macht ein System, das Bilder mit niedrigerer Auflösung als Standardkameras empfängt, keinen Sinn, kostet aber wie eine gusseiserne Brücke. Die Entwickler behaupten jedoch, dass hier ein anderes Arbeitsprinzip angewendet wird als im Normalfall.


Dies sind grafische Materialien, die von Ouster bereitgestellt werden. Hier werden drei Bildebenen und ein allgemeines „Bild“ gezeigt, das sich ergibt

In einer typischen Situation kombinieren Robomobile Daten aus verschiedenen Quellen, was einige Zeit in Anspruch nimmt. Kameras und Lidars arbeiten in verschiedenen Modi, das Ergebnis ist auch unterschiedlich. Darüber hinaus werden sie normalerweise an verschiedenen Stellen in der Karosserie montiert, sodass der Computer auch mit der Bildkorrelation umgehen muss, damit sie kompatibel sind. Darüber hinaus erfordern Sensoren eine regelmäßige Neukalibrierung, was nicht so einfach ist.

Einige Lidar-Entwickler haben bereits versucht, die Kamera mit Lidar zu kombinieren. Die Ergebnisse waren jedoch nicht sehr gut. Es war ein „Standardkamera + Lidar“ -System, das sich nicht allzu sehr von bestehenden Schemata unterschied.

Ouster verwendet stattdessen ein System, mit dem OS-1 alle Daten an einem Standard und an einem Ort erfassen kann. Alle drei Bildebenen korrelieren sowohl zeitlich als auch räumlich perfekt. In diesem Fall versteht der Computer den Abstand zwischen den einzelnen Pixeln des endgültigen Bildes.

Laut den Autoren des Projekts ist ein solches Schema fast ideal für maschinelles Lernen. Für Computersysteme ist die Verarbeitung dieser Art von Bild nicht schwierig. Nachdem das System mehrere hundert Bilder „eingezogen“ hat, kann es trainiert werden, genau zu verstehen, was im endgültigen „Bild“ gezeigt wird.

Einige Arten von neuronalen Netzen sind so konzipiert, dass sie problemlos mit mehreren Schichten von Pixelkarten arbeiten können. Darüber hinaus können Bilder eine rote, blaue und grüne Ebene enthalten. Es ist nicht schwierig, solche Systeme so zu trainieren, dass sie mit dem Ergebnis von OS-1 arbeiten. Ouster hat dies bereits erreicht.

Als Ausgangsmaterial nahmen sie mehrere neuronale Netze, die zur Erkennung von RGB-Bildern entwickelt wurden, und modifizierten sie entsprechend ihren Anforderungen, um ihnen das Arbeiten mit verschiedenen Ebenen ihrer Bilder beizubringen. Die Datenverarbeitung wird an Geräten mit der Nvidia GTX 1060 durchgeführt. Unter Verwendung neuronaler Netze wurde dem Autocomputer beigebracht, die Straße gelb und mögliche Hindernisse - andere Autos - rot zu "malen".



Laut Entwicklern ist ihr System zusätzlich zu den vorhandenen und kein Ersatz. Es ist am besten, alle Arten von Sensoren, Sensoren, Kameras, Lidars und Hybridsystemen zu kombinieren, um ein klares Bild der Umgebung zu erhalten, das dem Auto beim Navigieren hilft.