Anpassen des Videos an einen Bildschirm mit einer Frequenz von 1000 Bildern / s

Das Video wird auf ein sich bewegendes Stück Papier (links) und auf den deformierenden Stoff des T-Shirts

projiziert . Jeder hat einen normalen digitalen Projektor gesehen, der Videos auf eine flache weiße Oberfläche projiziert - auf die Leinwand. Am besten im Dunkeln. Die Anforderungen an den Bildschirm sind sehr streng: Die Schönheit des Bildes hängt weitgehend von seiner Qualität ab. Aber stellen Sie sich vor, der Projektor kann Videos nicht nur auf eine ebene Fläche projizieren, sondern auch auf Stoff jeder Form und sogar auf einen beweglichen ! Diese unglaubliche Technologie wurde von Ishikawa Watanabe Labormitarbeitern der Universität Tokio entwickelt.



Nach Angaben japanischer Ingenieure ist die technologische Verbesserung der Projektoren sofort eingefroren. Dies ist jedoch eine wichtige Technologie, die die reale Welt erweitert und ergänzt. Theoretisch können projizierte Bilder und Videos in verschiedenen Bereichen der Augmented Reality sehr nützlich sein: von der Unterhaltungsindustrie bis hin zu digitalen Informationsassistenten, die Kontextinformationen an einem geeigneten Ort, auf einer Brille, einem Helm oder einfach auf einem Vorhang im Raum anzeigen.

Die meisten modernen Bildprojektionstechnologien sind auf statische Oberflächen beschränkt. Dies schränkt ihren Anwendungsbereich erheblich ein.

Ingenieure aus dem Labor von Isikawa Watanabe haben beschlossen, diese Einschränkung zu beseitigen, indem sie die Projektoren besser an die dynamische Umgebung anpassen, in der sich die Realität ständig verändert und verändert. In der Augmented Reality der Zukunft verschmelzen virtuelle Objekte und die reale Welt zu einer einzigen organischen Form, die perfekt für das menschliche Sehen geeignet ist. Im Idealfall sollten wir nicht zwischen Farbetiketten und digitalen Projektionen unterscheiden. In ferner Zukunft sollten sich dreidimensionale dynamische „lebende“ Objekte nicht wesentlich von den realen Objekten der realen physischen Welt unterscheiden.

Was ist nötig, um diese Idee zum Leben zu erwecken? Zunächst ist ein Hochgeschwindigkeitsprojektor mit einer außergewöhnlich hohen Bildrate pro Sekunde und geringer Latenz erforderlich. Unter diesen Anforderungen wurde der DynaFlash- Projektor entwickelt , der 8-Bit-Bilder mit einer Bildrate von 1000 Bildern / s und einer Verzögerung von nur 3 Millisekunden projiziert .


DynaFlash Digital Projector

Die Japaner suchen nicht nach einfachen Wegen. Sie haben nicht aufgehört, einen Hochgeschwindigkeitsprojektor zu entwickeln, sondern sind weiter gegangen und haben herausgefunden, wie das Bild entsprechend den Verformungen des flexiblen Gewebes in nahezu Echtzeit verzerrt werden kann. Warum? Zum Beispiel, damit der Projektor Videos ohne Verzerrung auf sich bewegende Objekte projizieren kann. Zum Beispiel auf einem T-Shirt einer Person in Bewegung.

Wie Sie sich vorstellen können, erfolgt die Hochgeschwindigkeitsprojektion über eine spezielle Verfolgung, dh eine Oberflächenverfolgung. Dies ist auch eine außergewöhnliche Aufgabe im Bereich der Bildverarbeitung. Die Verfolgung von zerknitterten Oberflächen wird durch die Tatsache erschwert, dass sich die Oberfläche teilweise selbst bedecken kann, ganz zu schweigen vom teilweisen Schließen durch Fremdkörper.

Natürlich sollte die Oberflächenverfolgung mit der gleichen hohen Geschwindigkeit erfolgen, mit der der Projektor arbeitet. Daher weist die Deformable Dot Cluster Marker- Technologie dieselben technischen Eigenschaften auf: 1000 Bilder / s und eine Verzögerung von 3 Millisekunden.

Wie kann man die Oberflächenform mit solcher Genauigkeit und Geschwindigkeit verfolgen? Grundsätzlich gibt es auch wenige Möglichkeiten. Die Japaner haben dies durch ein Markierungsgitter getan, das auf das Objekt angewendet wird. Das Design des Markierungsrasters wird in animierten Grafiken angezeigt.



Das Verfolgen mit hoher Geschwindigkeit erfolgt bei einer stark parallelisierten Aufgabe in vielen unabhängigen Threads. Selbst auf der CPU wird jedoch eine Leistung von 1000 Bildern pro Sekunde erreicht.


Markierungsgitter-Erkennungsförderer

Nach der Markierungsgitter- Erkennung berechnet das Programm schnell die erforderlichen Bildverformungsvektoren im Video und projiziert das Ergebnis in Echtzeit mit dem DynaFlash-Projektor.


Berechnung von Vektoren im Programm

Im Allgemeinen arbeitet das System laut Beschreibung recht logisch und einfach. Die Frage ist die technische Implementierung - wie haben sie es geschafft, diese Bildverarbeitungsaufgabe für eine so hohe Leistung zu optimieren?

Die Antwort auf diese Frage finden Sie im Artikel " Dynamische Projektionsabbildung auf deformierende nicht starre Oberflächen mit deformierbarem Punktcluster-Marker ", den die Autoren in den IEEE-Transaktionen zu Visualisierung und Computergrafik (doi: 10.1109 / TVCG.2016.2592910, pdf) veröffentlicht haben) Es werden detailliert Algorithmen zum Berechnen von Vektoren für ein Markierungsgitter, zum Aktualisieren der Positionen von verfolgten Punktclustern, zum Erkennen von falsch positiven Ergebnissen, zum Interpolieren verlorener Cluster usw. beschrieben. Die Autoren schreiben, dass sie das OpenMP-Paket verwendet haben, um die Berechnungen zu parallelisieren. Die Erkennung des Markernetzwerks durch das Programm und die Einzelbildverfolgung erforderten je nach Form der Verzerrung weniger als 2 ms bzw. 1 ms. Die Tabelle vergleicht das Ergebnis mit einem anderen DRDM-System, das Kollegen 2011 auf dem IEEE-Symposium vorgestellt haben.



Die Autoren sind sich sicher, dass die organische Natur der Augmented Reality auf Objekten der realen Welt eine wichtige Voraussetzung für die Integrität von Eindrücken dieser Art von synthetischer Realität ist. Bei der Projektion von Videos und geometrischen Verzerrungen sollte es keine große Verzögerung geben.

Die Jungs aus Ishikawa Watanabes Labor sind seit langem für ihre ungewöhnlichen und interessanten Erfindungen bekannt. Zum Beispiel erfanden sie 2013 den Lumipen -Hochgeschwindigkeitsprojektor , der Videos auf sich bewegende Objekte projiziert .



Eine solche Technologie kann in Augmented-Reality-Spielen Anwendung finden, bei denen eine Person in der Realität mit virtuellen Objekten interagiert, sei es ein Pokeball oder ein Fußball.

Das Projizieren von virtueller Realität auf reale Objekte ist in Vergnügungsparks auf der ganzen Welt weit verbreitet. Es kann in Computerschnittstellen, beim Prototyping, beim Unterrichten mit einem Lehrer (z. B. beim Unterrichten des Autofahrens) und in vielen anderen Bereichen verwendet werden.

Source: https://habr.com/ru/post/de398539/