"Pretend it": Wie unbemannte Fahrzeuge "nach rechts kapitulieren"

Nvidia Simulator

Grob gesagt gibt es zwei Bereiche bei der Zertifizierung von Kraftfahrzeugen. Selbstzertifizierung ist in den USA sehr beliebt. Ein Sicherheitsstandard wird veröffentlicht, und die Hersteller geben an, dass ihr Produkt diesen Standard erfüllt. Wenn ein Problem auftritt und sich herausstellt, dass sie gelogen haben, werden sie mit einer zusätzlichen gesetzlichen Haftung konfrontiert.

Die Europäer tendieren zu einem anderen Ansatz, der als Homologation bezeichnet wird und bei dem die Regierung oder eine von ihr zugelassene Prüfstelle bescheinigt, dass das Fahrzeug den Standards entspricht.

Im wirklichen Leben stoßen wir oft auf eine Kombination dieser Ansätze. In den USA werden beispielsweise externe Crashtests sowohl von der NHTSA (Regierungsbehörde) als auch vom Institute for Insurance and Road Safety durchgeführt. Somit wurde ein NCAP-Bewertungssystem erhalten. Europa hat dieses Bewertungssystem übernommen und es ist zu einem Schlüssel zur Zertifizierung der Sicherheit geworden. Die Einhaltung der NCAP-Bestimmungen ist freiwillig, aber die Autohersteller glauben, dass sie, wenn sie keine NCAP-Sterne erhalten, einen großen Einfluss auf den Umsatz haben werden. Daher ist dies eigentlich nicht freiwillig.

Befürworter jeder Methode halten den anderen Ansatz für verrückt. Dies gilt insbesondere für unbemannte Fahrzeuge, bei denen viele alte Regeln nicht eingehalten werden.

Auf einer Nvidia-Grafikbeschleunigerkonferenz am Mittwoch stellten Vertreter von AVL, einem großen europäischen privaten Prüflabor und dem größten privaten Unternehmen der Automobilindustrie, ihre Ideen vor, wie sie unbemannte Fahrzeuge testen und zertifizieren können.

Es war ein Testplan, den sich viele hätten vorstellen können und der folgende Punkte enthielt:

• Private Live-Tests
• Testen der Software- und Hardwaremodulation mit der Hinzufügung einer zufälligen Auswahl von Skripten aus einer umfangreichen Bibliothek bereits bekannter Tests, einschließlich Testen von Extremsituationen, die in der realen Welt nicht einfach zu überprüfen sind.
• Einige Tests auf öffentlichen Straßen

Die Europäer äußerten die Ansicht, dass ein älterer amerikanischer Ansatz, der die Selbstzertifizierung gemäß der Norm ISO 26262 für funktionale Sicherheit sowie die obligatorische Einhaltung der Sicherheitsnorm des Bundes für Fahrzeuge und der freiwilligen NCAP-Bewertung umfasst, falsch ist. Alle anderen Verkehrsträger sind von der staatlichen Aufsichtsbehörde geprüft und zertifiziert. Sie sagten auch, dass die jüngsten 737 Unfälle zeigen, was passiert, wenn der Ansatz falsch ist, und dass sie mehr Zertifizierungen mit strengeren Standards wünschen.

Dies ist nicht der einzige in Europa vorgeschlagene Ansatz. Die niederländische Zertifizierungsstelle RWB bot eine Art Führerschein an , der eher einer Fahrprüfung als einer Zertifizierung auf einer Liste von Parametern gleicht.

Menschenkontrollen sind schrecklich

Jede Reihe standardisierter Tests deckt nur einen kleinen Teil dessen ab, was überprüft werden muss. Es ist schwer vorstellbar, was anders sein könnte. Ein Beispiel ist der Erwerb eines Führerscheins, insbesondere in den USA. Dieser Test deckt kaum etwas ab, und jugendliche Fahrer mit einem schrecklichen Kenntnisstand bestehen ihn routinemäßig. Wir sind damit einverstanden, weil wir der Meinung sind, dass Menschen von Natur aus wissen, wie man bestimmte Dinge macht, ohne dies in Tests zu beweisen, und weil wir den Test nicht zu kompliziert gestalten möchten. In einigen Ländern sind die Dinge jedoch viel komplizierter.

Betrachten Sie den Branchenführer Waymo. Waymo-Autos haben bereits 15 Millionen Testmeilen zurückgelegt. Sie haben auch ungefähr 10 Milliarden Meilen in Simulationen aufgezeichnet. (Im Gegensatz zu echten Meilen, die in 99,9% der Fälle nur langweilig sind, sind Meilen in einer Simulation spezielle Situationen, in denen Software geladen werden soll.)

Trotzdem ist Waymo kaum bereit, ihre Autos sicher auf die Straße zu bringen. Im vergangenen Jahr kündigten sie an, dass sie bis Ende des Jahres in Echtzeit operieren würden und bereits Fahrzeuge ohne Fahrer oder mit einem Sicherheitsmonitor betreiben würden, der die Kontrolle nicht übernehmen könne.
Tatsächlich haben sie nur einen kleinen Teil der autonomen Operationen durchgeführt, und ihre kommerziellen Dienstleistungen sind sehr begrenzt (meiner Theorie nach hat der Unfall mit dem Uber-Auto die öffentliche Toleranz verringert und Waymo zu einem konservativeren Verhalten veranlasst).

Tatsache ist jedoch, dass Waymo auch nach all diesen Tests (die tausende Male häufiger als in jedem anderen Forschungslabor durchgeführt wurden) nicht sicher ist, ob sie zur Freigabe bereit sind, obwohl das Gefühl besteht, dass sie bereits in der Nähe sind. Ich wiederhole tausendmal mehr Tests.

Ein Zertifizierungslabor würde bestenfalls bestätigen, dass das zu prüfende Fahrzeug alle grundlegenden Anforderungen erfüllt. Dies bedeutet, dass das Entwicklerteam nicht nachlässig ist oder keine Fachkenntnisse besitzt. Dies ist wichtig und wertvoll, bestätigt jedoch nicht, dass das Auto unbeaufsichtigt die Straße verlassen kann. Ein Uber-Auto hat einen solchen Test möglicherweise nicht bestanden, aber es wurde nicht versucht, es für den unbemannten oder kommerziellen Gebrauch zu zertifizieren. Es war nur ein Prototyp, der möglicherweise von einem fahrlässigen Fahrer gefahren wurde.

Somit ist der Zertifizierungsprozess sowohl teuer als auch zeitaufwendig und kaum sinnvoll. Zu viel Bürokratie und das Fehlen einer echten Sicherheitskontrolle sind keine guten Voraussetzungen.

Simulation zur Zertifizierung

Standardisierte Tests, insbesondere Simulationen, eignen sich nicht für die Zertifizierung. Dies liegt daran, dass Hersteller Simulationsszenarien wünschen und darauf zugreifen. Die Hersteller möchten ihre Autos in diesen Szenarien im Voraus testen. Wenn einer der Tests fehlschlägt, nehmen sie Korrekturen an der Maschine vor. Die Hersteller werden das Auto erst dann zur Zertifizierung übergeben, wenn es bei allen Tests eine hervorragende Note erhalten hat. Dies zwingt die Hersteller, ihre Autos zu verbessern, gibt jedoch keine Auskunft über die Qualität dieser Autos. Wir wissen nur, dass sie die Tests bestehen, die bestanden werden müssen.



Simulierte Straße an einem regnerischen Tag.

Sie werden nicht wissen, wie gut ein Auto gemacht ist, wenn Sie es auf Tests testen, die es bereits gesehen hat. Sie werden wissen, wie gut es ist, wenn Sie eine Tonne Tests damit verbringen, dass dieses Auto zum ersten Mal sieht, und wenn Sie sehen, wie gut es damit umgeht. Nur so können Sie herausfinden, wie gut dieses Auto eine unendliche Anzahl neuer Situationen bewältigen kann, mit denen es in der realen Welt konfrontiert sein wird.

Die einzige Möglichkeit, das Auto wirklich zu erleben, besteht darin, es in schwierigen Situationen zu testen, die er noch nie zuvor gesehen hatte. Sobald die Situation in einem der Tests auftritt, erfahren die Anbieter davon und stellen sie in ihre eigenen Testsammlungen. Dies bedeutet, dass die Zertifizierungsstelle ständig eine Vielzahl neuer, aussagekräftiger und realistischer Tests vorschlagen muss. Es gibt sehr viele verschiedene Möglichkeiten für Testsituationen, und im Falle unbemannter Fahrzeuge können Randfälle sogar mitten auf der Straße gefunden werden, aber es gibt einige Einschränkungen.

Die Aufsichtsbehörden sollten die Tests regelmäßig aktualisieren. Viele Autohersteller werden häufig neue Softwareversionen veröffentlichen. Während des Testens veröffentlichen sie jeden Tag neue Versionen. Wenn die Maschinen in Produktion gehen, werden weiterhin etwa einmal im Monat Aktualisierungen veröffentlicht, und wenn Sicherheitsfehler festgestellt werden, noch häufiger. Die monatliche Durchführung neuer Tests für jedes Unternehmen ist nicht praktikabel. Sie können problemlos regelmäßig Simulationsszenarien erstellen, die Variationen der vorhandenen Szenarien darstellen. Sie benötigen jedoch realistische Tests, die denen in der realen Welt ähneln. Sie möchten keinen Fehler machen oder eine Maschine nur dann in die Produktion überführen, wenn sie mit Situationen fertig wird, die niemals eintreten werden.

Es ist auch erwähnenswert, dass die Milliarden von Meilen in der Simulation, die Waymo-Autos gefahren sind, völlig anders sind als die von AVL oder die von Nvidia gezeigten. Es handelt sich um vollwertige Simulatoren, die visuelle Informationen erkennen müssen, um eine virtuelle Welt im Stil von Videospielen zu erstellen. Anschließend versorgen sie die Autosoftware mit einem künstlichen Bild von Kameras, Lidar-Scans und Radardaten. Anschließend können sie versuchen, die virtuelle Maschine auf dem Computer zu steuern. Es gibt drei verschiedene Teststufen, die versuchen, so viele Daten wie möglich zu simulieren, um den Betrieb der Maschine zu maximieren.

Diese Simulationen sind nützlich, aber viel schneller, um Simulationen durchzuführen, die mit Informationen arbeiten, die nicht erkannt werden müssen. Bei diesem Ansatz erstellen Sie keine sichtbare virtuelle Welt, sondern erstellen deren grundlegende Darstellung. Der Simulator weiß, wo sich alle Objekte auf der abstrakten Ebene befinden, zeigt sie jedoch nicht zur Erkennung durch das Programm an. Stattdessen gehen die Tests eine Ebene tiefer und ersetzen das Wahrnehmungssystem durch ein Modul, das die gleichen Informationen wie das ersetzte System ausgibt. Beispielsweise kann er melden, dass ein Auto mit einer Wahrscheinlichkeit von 85% in eine bestimmte Richtung fährt oder dass sich ein Fußgänger mit einer Wahrscheinlichkeit von 90% in einem bestimmten Bereich befindet. In solchen Simulationen wird überprüft, ob die Maschine alle diese Informationen empfängt. Dies ist nur ein Teil des Tests, aber es ist so schnell, dass Sie auf diese Weise viel mehr Tests durchführen können. Es müssen Kombinationen verschiedener Methoden verwendet werden, aber der größte Teil der Testmeilen wird in Tests nach der Wahrnehmung bestanden. Soweit ich weiß, wurden auf diese Weise Milliarden von Testmeilen für Waymo-Autos gesammelt.

Tests, die eine Erkennung oder Simulation mit Visualisierung erfordern, sehen als Demos viel besser aus, da sie realistische Bilder im Videospielstil bieten, die den Leuten gefallen. Sie eignen sich gut zum Testen aller Aspekte des Autos, einschließlich der Wahrnehmungssysteme, aber das Problem ist, dass sie das Auto in einer künstlichen, nicht realen Welt testen. Es ist möglich, dass das System virtuelle Spielefußgänger sehr gut erkennt, jedoch nicht sehr gut mit realen Fußgängern in der realen Welt. Diese Situation führt dazu, dass Sie von dieser Art von Simulation falsche Informationen erhalten haben.

Inspektoren von Regierungsbehörden gehen noch weiter. Sie verwenden 3 Arten von Simulationen mit visueller Anzeige:

• Bei dieser Basissimulation wird die Autosoftware einfach auf einem Computer ausgeführt. Der Computer generiert künstliche Bilder von Sensoren und ermöglicht die Steuerung der virtuellen Maschine mithilfe von Softwarebefehlen.
• Software- und Hardwaremodulation, bei der ein echtes Auto mit einem Computer verbunden wird, mit einer Simulation, die versucht, sich wie echte Sensoren zu verhalten, und einem Auto für den Bordcomputer eines echten Autos.
• Hardwaresimulation einer realen Fahrt, bei der das Auto auf einen Rollenständer gestellt wird, auf dem das Auto Räder rollen kann. Dieser Stand befindet sich in einem großen Raum, in dem Roboter wie Autos und Fußgänger aussehen und sich auf dem Stand bewegen, um das Verhalten von Objekten aus der realen Welt zu simulieren. Idealerweise sollten echte Sensoren verwendet werden, obwohl möglicherweise eine künstliche Kamera und ein Radar erforderlich sind. Bei Kameras können Sie sie einfach auf den gesperrten Bildschirm richten.

Alle diese Optionen klingen gut, obwohl Nummer 3 in einigen Fällen nicht möglich ist (z. B. für ein Waymo-Auto, das seine Position mithilfe einer laserbeleuchteten Straßentextur erkennt, die unter den Rädern skaliert und eine Reihe anderer komplexer Sensoren verwendet). Alle diese Optionen sind jedoch langsam, teuer und leiden unter den oben beschriebenen Problemen. Sie sollten in Echtzeit arbeiten, was im Vergleich zu herkömmlichen Tests oder Tests ohne Anzeige, die skaliert werden können, um ernsthafte Mengen an erforderlichen Tests durchzuführen, eine große Einschränkung darstellen kann.

Außenseiter können nicht prüfen

Bei einem externen Labor ist das Testen ohne Visualisierung sehr unterschiedlich. Sie können nur in enger Zusammenarbeit mit dem Fahrzeugentwicklungsteam durchgeführt werden. Die Wahrheit ist, dass das Team besser als jeder andere weiß, wie man sein Auto testet. Da diese Teams völlig neue Wege entwickeln, um eine Sicherheit zu gewährleisten, die vorher nicht existierte, können Außenstehende möglicherweise die Sicherheitssysteme des getesteten Fahrzeugs nicht vollständig verstehen. Standards können nur gemeinsame Wahrheiten und bestehende Best Practices definieren. Sie implizieren keine Innovation. Es gibt keinen eindeutigen Test für die Qualität von Sicherheitsinnovationen. Dazu müssen Sie einen neuen Test erstellen.

All dies gibt keine klare Vorstellung von der Bedeutung des Laboransatzes für das Testen, aber dies bedeutet nicht, dass es nicht wichtig ist. Ein solcher Ansatz kann Mindestprüfanforderungen festlegen, und unbemannte Fahrzeugentwickler werden einen Vertrag mit Prüfunternehmen abschließen und ihre Dienste nutzen, um zu verstehen, dass ihre Fahrzeuge diese Mindestanforderungen erfüllen. Es können auch Verträge abgeschlossen werden, um das Qualitätsniveau über die Mindestanforderungen zu erhöhen.

Der von AVL vorgeschlagene Test würde jedoch nicht genügend Informationen liefern. Ein unbemanntes Fahrzeug kann diese Tests bestehen und trotzdem ernsthafte Probleme haben und ein großes Risiko darstellen. Die einzige Möglichkeit, dieses Risiko zu minimieren, besteht in der Durchführung von Tests, die vom Automobilhersteller entwickelt wurden, sowie in Tests auf realen Straßen in verschiedenen Situationen. Sie müssen sicherstellen, dass die Interessen des Herstellers mit den Interessen der Gesellschaft übereinstimmen und dass es starke Gründe gibt, nicht zu betrügen, nicht zu lügen und nicht zu vernachlässigen. Dies ist immer noch ein ungelöstes Problem, dem jedoch große Aufmerksamkeit geschenkt wurde.

---

Lesen Sie weitere nützliche Artikel:

• Kameras oder Laser
• Autonome Autos auf Open Source
• McKinsey: Software- und Elektronikarchitektur in der Automobilindustrie neu denken
• Ein weiterer OS-Krieg ist bereits unter der Motorhaube von Autos
• Programmcode im Auto
• In einem modernen Auto gibt es mehr Codezeilen als ...