Tankerkennung in einem Videostream mithilfe maschineller Lernmethoden (+2 Videos auf Elbrus- und Baikal-Plattformen)

Während unserer Aktivitäten stehen wir täglich vor dem Problem, Entwicklungsprioritäten festzulegen. Angesichts der hohen Dynamik der Entwicklung der IT-Branche, der ständig steigenden Nachfrage seitens der Wirtschaft und des Staates nach neuen Technologien, die jedes Mal den Entwicklungsvektor bestimmen und unsere eigenen Ressourcen und Ressourcen in das wissenschaftliche Potenzial unseres Unternehmens investieren, stellen wir sicher, dass alle unsere Forschungen und Projekte von grundlegender Bedeutung sind und interdisziplinär.

Bei der Entwicklung unserer Haupttechnologie - dem HIEROGLYPH-Datenerkennungs-Framework - geht es uns daher sowohl um die Verbesserung der Qualität der Dokumentenerkennung (unser Hauptgeschäftsbereich) als auch um die Möglichkeit, die Technologie zur Lösung der damit verbundenen Erkennungsprobleme einzusetzen. In dem heutigen Artikel werden wir erzählen, wie wir basierend auf unserer Erkennungs-Engine (Dokumente) größere, strategisch wichtige Objekte im Videostream erkannt haben.

Erklärung des Problems

Erstellen Sie anhand der vorhandenen Erfahrung ein Tankerkennungssystem, mit dem Sie ein Objekt klassifizieren und grundlegende geometrische Parameter (Ausrichtung und Entfernung) unter schlecht kontrollierten Bedingungen ohne Verwendung spezieller Geräte bestimmen können.

Lösung

Als Hauptalgorithmus zur Lösung des Problems haben wir den Ansatz des statistischen maschinellen Lernens gewählt. Eines der Hauptprobleme des maschinellen Lernens ist jedoch die Notwendigkeit einer ausreichenden Menge an Lerndaten. Sachbilder, die aus realen Szenen mit den von uns benötigten Objekten stammen, sind für uns offensichtlich nicht zugänglich. Aus diesem Grund wurde beschlossen, die für das Training erforderlichen Daten zu generieren, da wir an diesem Ort viel Erfahrung haben . Und doch schien es unnatürlich, die Daten für diese Aufgabe vollständig zu synthetisieren, sodass ein spezielles Layout für die Modellierung realer Szenen erstellt wurde. Auf dem Layout sind verschiedene Objekte installiert, die die Landschaft modellieren: eine charakteristische Landschaftsbedeckung, Büsche, Bäume, Barrieren usw. Die Bilder wurden mit einer digitalen Kleinformatkamera aufgenommen. Während der Aufnahme von Bildern hat sich der Hintergrund der Szene erheblich geändert, um eine größere Stabilität der Algorithmen gegenüber Änderungen im Hintergrund zu gewährleisten.

Als Ziele wurden vier Kampfpanzermodelle verwendet: T-90 (Russland), M1A2 Abrams (USA), T-14 (Russland), Merkava III (Israel). Die Objekte befanden sich an verschiedenen Positionen des Polygons, wodurch die Liste der akzeptablen sichtbaren Winkel des Objekts erweitert wurde. Eine wichtige Rolle spielten technische Barrieren, Bäume, Büsche und andere Landschaftselemente.

So haben wir in ein paar Tagen einen ausreichenden Satz für das Training und die anschließende Bewertung der Qualität des Algorithmus zusammengestellt (mehrere Zehntausend Bilder).

Sie beschlossen, die Erkennung direkt in zwei Teile zu unterteilen: Objektlokalisierung und Objektklassifizierung. Die Lokalisierung wurde mit dem trainierten Klassifikator Viola und Jones durchgeführt (schließlich ist ein Panzer ein normales starres Objekt, nicht schlechter als ein Gesicht, daher lokalisiert die Viola- und Jones-Methode „blind mit Details“ das Zielobjekt schnell). Wir haben jedoch die Klassifizierung und Definition des Winkels dem Faltungsnetzwerk anvertraut - bei dieser Aufgabe ist es für uns wichtig, dass der Detektor erfolgreich diejenigen Merkmale auswählt, die beispielsweise den T-90 von Merkava unterscheiden. Infolgedessen war es möglich, eine effektive Zusammensetzung von Algorithmen zu erstellen, die das Problem der Lokalisierung und Klassifizierung von Objekten des gleichen Typs erfolgreich löst.

Als nächstes haben wir das resultierende Programm auf allen Plattformen (Intel, ARM, Elbrus, Baikal, COMDIV) gestartet und rechnerisch schwierige Algorithmen optimiert, um die Leistung zu verbessern (darüber haben wir bereits in unseren Artikeln geschrieben, zum Beispiel hier https: // habr .com / ru / company / smartengines / blog / 438948 / oder https://habr.com/en/company/smartengines/blog/351134/ ) und haben einen stabilen Betrieb des Programms auf dem Gerät in Echtzeit erreicht.

Als Ergebnis aller beschriebenen Aktionen haben wir ein vollwertiges Softwareprodukt erhalten, das wesentliche taktische und technische Eigenschaften aufweist.

Intelligenter Tankleser

Deshalb präsentieren wir Ihnen unsere neue Entwicklung - ein Programm zum Erkennen von Tankbildern im Smart Tank Reader -Videostream, das:

• Es löst das Problem „Freund oder Feind“ für eine bestimmte Gruppe von Objekten in Echtzeit.
• Definiert geometrische Indikatoren (Abstand zum Objekt, bevorzugte Ausrichtung des Objekts);
• Es funktioniert unter unkontrollierten Wetterbedingungen sowie bei teilweiser Überlappung des Objekts durch Fremdkörper.
• Vollautonomer Betrieb auf dem Zielgerät, auch ohne Funkkommunikation;
• Liste der unterstützten Prozessorarchitekturen: Elbrus, Baikal, COMDIV sowie x86, x86_64, ARM;
• Liste der unterstützten Betriebssysteme: Elbrus OS, AstraLinux OS, Atlix OS sowie MS Windows, macOS, verschiedene Linux-Distributionen, die gcc 4.8, Android, iOS unterstützen;
• Vollständig inländische Entwicklung.

In der Regel geben wir abschließend zu unseren Artikeln über Habré einen Link zum Marktplatz, auf dem jeder, der sein Mobiltelefon verwenden möchte, eine Demoversion der Anwendung herunterladen kann, um die Leistung der Technologie tatsächlich zu bewerten. Dieses Mal möchten wir unter Berücksichtigung der Besonderheiten der resultierenden Anwendung, dass alle unsere Leser niemals das Problem haben, schnell festzustellen, ob ein Tank zu einer bestimmten Seite gehört.