Möglichkeiten der Verwendung der 360 ° -Videotechnologie zur Darstellung kultureller Ereignisse

Im Rahmen unserer Arbeit im Design- und Multimedia-Zentrum der ITMO-Universität haben wir einen interessanten Artikel über den Einsatz von Virtual-Reality-Technologien zur Erhaltung des kulturellen Erbes verfasst. Sie beschrieben viele ihrer eigenen „Fälle“ - Museen, Konzerte, kulturelle Veranstaltungen - und sprachen über das einzigartige Projekt einer interaktiven Tour durch die Korela-Festung (Region Leningrad), bei der 3D-Rekonstruktion und interaktives 360-Video zum ersten Mal kombiniert wurden.



Die englische Version der Materialien wird im Mai auf der internationalen Konferenz „ArtsIT, Interactivity & Game Creation“ (Esbjerg, Dänemark) vorgestellt. Hier ist ein russisches, leicht angepasstes Original.



Virtuelle Realität und ihre Anwendung

Derzeit werden Virtual-Reality-Technologien und ihre Anwendungen intensiv entwickelt. Durch den Einsatz solcher Technologien in Kultur und Kunst eröffnen sich große Möglichkeiten , da sie die Präsenz des Betrachters im Zentrum kultureller Ereignisse bewirken. Einer der vielversprechenden und sich aktiv entwickelnden Ansätze zum Erstellen von Inhalten für Virtual-Reality-Systeme ist die 360 ​​° -Videotechnologie, mit der Sie Panoramavideos mit unterschiedlichem Grad an Interaktivität erstellen können, wobei der Betrachter den Betrachtungswinkel des Videos nach Belieben steuert. Ein solches Video ist in einem Virtual-Reality-Helm zu sehen (z. B. in Oculus Rift , Samsung Gear VR und HTC Vive)usw.) und Verwenden einer speziellen Anwendung auf einem Smartphone, während sich das Bild entsprechend der Drehung des Kopfes des Benutzers ändert. Sie können 360 ° -Videos auf dem Display eines PCs ansehen. Im letzteren Fall steuert der Benutzer die Ansicht mit der Maus oder der Tastatur.


Anzeigen von 360 ° -Videos im Samsung Gear VR-Headset

Viele große Unternehmen (Facebook, Nokia, Samsung, Google usw.) entwickeln derzeit Kameras für die Aufnahme von 360 ° -Videos, Virtual-Reality-Headsets für verschiedene Smartphones und Desktop-Computer. sowie verschiedene Tonaufzeichnungsgeräte, die die Erzeugung von Surround-Sound (binaural) ermöglichen und die Realisierung einer ganzen Reihe von Multimedia-360 ° -Technologien ermöglichen.

Die Anwendung der 360 ° -Videotechnologie in der Bildung ist besonders relevant. Interaktives 360 ° -Video kann die Interaktion mit dem Endbenutzer ermöglichen. Daher kann diese Methode häufig verwendet werden, um Spezialisten in verschiedenen Bereichen auszubilden, in denen die Anwesenheit des Veranstaltungszentrums erforderlich ist, um praktische Arbeitserfahrung zu sammeln. Mit der 360 ° -Videotechnologie können Sie die Teamarbeit von Mitarbeitern während einer Vielzahl von Aufgaben analysieren, was zu einer Verbesserung der Qualität des Bildungsprozesses führt.

Eine wichtige Rolle spielt das 360 ° -Panorama-Video für die Erhaltung und den Zugang zum kulturellen Erbe. Diese Technologie bietet eine einzigartige Gelegenheit, mit dem Effekt des Eintauchens nicht nur geschlossene Archive für Museen zu sehen, sondern auch rekonstruierte historische Denkmäler, die durch Zeit oder Umstände zerstört wurden (dreidimensionale virtuelle Rekonstruktion). Darüber hinaus ist die virtuelle Realität eine einzigartige Gelegenheit für Menschen mit Behinderungen, um den Globus zu reisen und zu laufen.

Wenn die Zuschauer unter dem Aspekt der 360 ° -Videotechnologie über den Unterhaltungssektor sprechen, können sie die größten Kulturfestivals besuchen, sich neben ihren Lieblingsmusikern auf der Bühne befinden oder eine Theateraufführung aus der Royal Box sehen.
Im Zentrum für Design und Multimedia der ITMO-Universität wird ein Projekt zur Entwicklung und Anwendung von 360 ° -Videotechnologien in Kultur und Kunst Video360Production.com durchgeführt . Im Rahmen dieses Projekts konnten bestimmte Ergebnisse erzielt werden, die für die Erzielung qualitativ hochwertiger Inhalte erforderlich sind, von der Entwicklung originaler 360 ° -Video- und Tonaufzeichnungsgeräte bis zur Entwicklung von Software zur Lösung einer Reihe von Problemen in diesem Bereich.

360 ° Multimedia-Technologie

Derzeit werden spezielle Kameras entwickelt, mit denen Videos im 360 ° -Videoformat aufgenommen werden können. Mit Hilfe spezieller Tools und Software können Sie jedoch vorhandene Kameras verwenden, um 360 ° -Videos aufzunehmen.
Ein eindrucksvolles Beispiel für diesen Ansatz ist das GanzeEine Reihe von Projekten, die spezielle Rigs für GoPro HERO 4-Kameras anbieten. Die Anzahl der Kameras im Rig beträgt je nach Aufgabe 6 bis 14 (Stereooptionen). Nach der Aufnahme werden die Videostreams mit separat bereitgestellten Programmen in die gemeinsame Videokugel eingefügt.

Darüber hinaus haben mehrere große IT-Unternehmen und Elektronikhersteller ihre eigenen vollautomatisierten Lösungen für die Aufnahme von Inhalten für die virtuelle Realität angekündigt - Google Jump + GoPro Odyssey , Samsung Beyond und Nokia Ozo .



GoPro Odyssey, Nokia OZO und Samsung Projekt Über

unsere persönlichen Eindrücke von der Nokia OZO Kamera , die wir beschrieben haben hier .

360 ° -Video ist eine neue und sich schrittweise entwickelnde Richtung, für die es noch keine Richtungsstandards gibt. Sie bietet einen weiten Spielraum für Kreativität und die Entwicklung neuer Ideen und Ansätze. Der Effekt des vollständigen Eintauchens wird durch eine Kamera mit mehreren Objektiven erzielt, mit der Sie alles aufnehmen können, was um Sie herum passiert. Dies bringt jedoch viele Schwierigkeiten mit sich, da viele Richtungsgesetze bei Aufnahmen im 360 ° -Videoformat nicht gelten. Der Hauptunterschied zwischen der Anzeige von 360 ° -Videos in Virtual-Reality-Headsets besteht in der Tatsache, dass der Betrachter die Möglichkeit hat, Inhalte um sich herum anzusehen. Dies bedeutet, dass der Regisseur dem Betrachter die Möglichkeit geben muss, den Betrachtungswinkel dynamisch auszuwählen, anstatt seine Augen auf einen bestimmten Teil des Bildschirms zu richten.

Die Lösung für dieses Problem ist die detaillierte Überlegung des Szenarios unter dem Gesichtspunkt eines Paradigmenwechsels - das Verlassen des 3D-Videoraums. Jede Aufnahme erfordert sowohl eine Standardvorbereitung (Einstellen des Lichts, die günstigsten Punkte für die Kamera, das Szenario und den Ort der Szene) als auch nicht standardmäßige Ansätze (speziell und häufig für jede Kamerahalterung einzigartig, wobei die Ausrichtung unter Berücksichtigung der Merkmale der 360 ° -Videoaufnahme, korrekte Kameraausrichtung, Surround-Sound-Aufnahme). Bei der Aufnahme von Konzerten wird der Ton von der Kamera oder vom Stereomikrofon häufig mit dem Ton von der Regiekonsole kombiniert, um einen größeren Realismus zu erzielen.

Zeigen Sie kulturelle Ereignisse mit 360 ° Multimedia-Technologie an

Die Sammlung von Filmmaterial des Projekts video360production.com für Virtual-Reality-Headsets umfasst mehr als fünfzig verschiedene Videos: Konzerte und Musikfestivals, Besichtigungen historischer Orte, Museumsausflüge, Theateraufführungen, verschiedene kulturelle Veranstaltungen und technologische Prozesse.


Bravo Group, Liebe brennt nicht, im Panorama-Videoformat


Gruppierung von "Leningrad" im Format eines Panorama-Videos


Asphaltverlegetechnologie „Ecohiter“, Panorama-Werbevideo

Bei der Aufnahme von Konzerten ist es erforderlich, Bild und Ton in hoher Qualität zu übertragen. Darüber hinaus muss der Standort der Kamera berücksichtigt werden, da bei der Aufnahme mit einer 360 ° -Kamera Konzepte wie „vorne“ und „hinten“ irrelevant werden. Außerdem waren manchmal bis zu zwanzig Personen gleichzeitig vor Ort, was die Installation der Kamera erschwerte. Das Filmmaterial ermöglichte es den Musikern, sich von der Seite zu betrachten, den Standort der Musiker während des Konzerts zu bewerten und die Reaktion des Publikums auf die Aufführung zu sehen. Das Publikum wiederum konnte mit Hilfe dieses Shootings das Spiel jedes Musikers im Detail untersuchen und in die vom Orchester oder der Gruppe geschaffene Atmosphäre eintauchen.


Konzert der Picknickgruppe im Format eines Panorama-Videos

Während der Dreharbeiten zur berühmten russischen Gruppe Picknick traten folgende Schwierigkeiten auf: Das Konzert fand im dunklen Raum des Konzertsaals unter hellen Scheinwerfern statt. Diese Bedingungen sind für gewöhnliche Kameras schwierig, da selbst bei maximaler Auflösung die Übertragung einer realistischen Farbtiefe eine ziemlich schwierige Aufgabe ist.

Videoaufnahmen von Konzerten im 360 ° -Format haben einen großen Vorteil gegenüber Standard-Videoaufnahmen, da der Betrachter den Effekt spürt, im Bühnenraum zu sein, und die volle Autonomie hat, selbst zu entscheiden, wo er im Moment hinschaut - ob er einen Gitarristen spielen oder einen Solisten sehen oder sogar sehen möchte ein Konzert mit den „Augen“ der Musiker, die der Bühne den Rücken kehren und die lebhafte Reaktion des Publikums beobachten.
Um den Effekt des vollständigen Eintauchens zu erzielen, benötigen Sie nicht nur ein qualitativ hochwertiges Bild, sondern auch einen „Live“ -Ton. Für Musiker und häufige Konzertbesucher ist es kein Geheimnis, dass der „technische“ Klang auf der Bühne weit von dem entfernt ist, was in der Halle zu hören ist. Die Toningenieure des Projekts kombinierten den Ton eines Stereomikrofons mit einer Studioaufnahme. Infolgedessen blieb der Klang von hoher Qualität, blieb aber „lebendig“: Während Sie eine Aufnahme ansehen, können Sie hören, wie das Publikum reagiert und mitsingt.

Neben Musikgruppen interagieren die Darsteller des Projekts video360production.com mit den größten Theatern in St. Petersburg, in denen eine Reihe von Aufführungen und musikalischen Darbietungen gedreht wurden. Eine einzigartige Gelegenheit bietet die Aufnahme historischer Stätten in Städten und Ausflüge in Museen. Im Museum für Anthropologie und Ethnographie. Peter der Große (Kunstkamera) in einem 360 ° -Videoformat, vor Beginn des Wiederaufbaus wurde ein großer akademischer ( Gottorp ) Globus entfernt - ein diplomatisches Geschenk an Zar Peter I. vom Holsteiner Herzog Karl Friedrich während des Nordischen Krieges.


Aufnahme eines großen akademischen (Gottorp) Globus im 360 ° -Videoformat

Die Umsetzung eines gemeinsamen Projekts der ITMO-Universität und der Eremitage „Presence Points“ hat begonnen, in dessen Rahmen Veranstaltungen in verschiedenen Räumen des Museums mit Panorama-Videotechnik präsentiert werden sollen.


Aufnahme des Videoclips „Die Pfauenuhr“ in der Eremitage im 360 ° -Videoformat

Ein verstärktes Interesse der Besucher des von den Projektautoren erstellten YouTube-Kanals ist auch ein virtueller Spaziergang entlang der Flüsse und Kanäle von St. Petersburg.

Besonderes Augenmerk wurde auf die Aufnahme von 360 ° -Videos verschiedener Ereignisse im Solovetsky-Kloster gelegt. Das Solovetsky-Kloster spielte eine außergewöhnliche Rolle in der Geschichte und Kultur Russlands. Geboren im XV Jahrhundert. als Ort der Wüstenbildung geistlicher Anhänger des "Vaters des russischen Mönchtums" pr. Sergius von Radonesch verwandelte sich in kurzer Zeit in die geistige, kulturelle, politische und wirtschaftliche Hauptstadt des Nordens von Russland. Durch die Bemühungen der Solovetsky-Mönche, die der russischen Kirche eine Galaxie heiliger Asketen gaben, verbreitete sich der christliche Glaube in den weiten Gebieten der russischen subpolaren Region.

Die Aktivitäten des Solovetsky-Klosters trugen in entscheidendem Maße zum Zustrom der russischen Bevölkerung in die Region des Weißen Meeres bei. Das Seekloster hatte einen entscheidenden Einfluss auf die Entwicklung der Wirtschaft und des marinen Teils Pommerns. Dies wurde eine Voraussetzung für die Entwicklung der russischen arktischen Seeleute des Arktischen Ozeans und die Umwandlung Russlands in eine große arktische Macht.

Die geografische Abgeschiedenheit des Solovetsky-Klosters macht es vielen schwer, sich persönlich an den dort stattfindenden Ereignissen zu beteiligen. Wenn Sie solche Ereignisse in 360 ° -Videotechnologie aufnehmen und über das Internet darauf zugreifen, können Sie sich bei Verwendung von Virtual-Reality-Geräten wie Teilnehmer an solchen Ereignissen fühlen.
Als Ergebnis der Arbeit wurden mehr als 10 Szenen auf dem Solovetsky-Archipel gedreht: Ausflug zum Himmelfahrtstempel auf Sekirnaya Gora, Gottesdienst im Tempel des Solovetsky-Klosters, Weihnachtsliturgie, Vesper, Weihnachtsfeier für Kinder im Solovetsky-Kloster, Klosterlied, verschiedene Arten von Klöstern und der Großen Solovetsky-Insel.


Gottesdienst im Tempel des Solovetsky-Klosters im 360 °


-Videoformat Ausflug zum Himmelfahrtstempel auf Sekirnaya Gora (Solovetsky-Inseln) im 360 ° -Videoformat

Interaktivität im 360 ° -Videoformat

Trotz der Tatsache, dass das Betrachten von 360 ° -Videos in verschiedenen Virtual-Reality-Headsets eine hohe Qualität bietet Beim nächsten virtuellen Eintauchen in Videoinhalte besteht der nächste Schritt in der Möglichkeit, verschiedene interaktive Elemente in das Videomaterial des 360 ° -Videoformats einzufügen.

Solche Elemente können sein:
• Aktive Markierungen innerhalb des virtuellen Raums für Bewegungen entlang verschiedener Trajektorien, die zuvor in der 360 ° -Videotechnologie erfasst wurden;
• Einführung verschiedener zusätzlicher Inhalte (Bilder, Videos, Hyperlinks usw.) in das 360 ° -Video - die Funktion „Bild in Bild“;
• Übergang vom 360 ° -Video zum simulierten 3D-Raum der rekonstruierten Realität.

Basierend auf dem Unity3D-System wurde im Design- und Multimedia-Zentrum der ITMO-Universität eine interaktive Tour im 360 ° -Videoformat durch das Korela Fortress Museum durchgeführt . Diese Panorama-Videotour mit interaktiven Steuerelementen wurde für die Anzeige in Oculus Rift Virtual-Reality-Headsets entwickelt.

Die interaktive Interaktion ermöglicht die Auswahl der Route: Der Benutzer hat an bestimmten Punkten - Gabeln - die Möglichkeit, die gewünschte Fortsetzung der Tour zu wählen oder zurückzukehren. Die Führung des Elements erfolgt durch Drehen des Kopfes, der mit dem Oculus Rift verfolgt wird. Während Sie das Visier einige Sekunden lang auf dem ausgewählten Element halten, wird das Element aktiviert und das nächste 360 ​​° -Videosegment gestartet. Um die Sichtbarkeit der interaktiven Interaktion beim Zielen zu verbessern, wird die Animation zum Füllen der kreisförmigen Ladeleiste gestartet.


Karte der interaktiven Bewegungen rund um das Korela Fortress Museum

Auf den „Gängen“ gibt es einen professionellen Führer, der über Objekte auf dem befahrbaren Streckenabschnitt berichtet. Auf den Gängen ist der Führer nicht mehr vorhanden, um nicht dieselben Informationen zu duplizieren. Falls gewünscht, kann der Benutzer das Anzeigen eines Videoabschnitts überspringen, indem er eine Taste auf der Tastatur drückt oder ein interaktives Element verwendet.

Die zweite Form der interaktiven Interaktion ist die Möglichkeit, von 360 ° -Video zu einer virtuellen dreidimensionalen Rekonstruktion der Festung zu wechseln. Der Wiederaufbau der Korela-Festung wurde im Rahmen des Projekts "Multimedia-Informationssystem" Antike Festungen des Nordwestens "durchgeführt. An bestimmten Punkten der Videotour wird ein Element angezeigt, das aktiviert, dass der Benutzer zur 3D-Rekonstruktion übergeht, wobei die Möglichkeit besteht, sich mithilfe der Unity3D-Grafik-Engine im virtuellen Rekonstruktionsraum frei zu bewegen. An Stellen der virtuellen Rekonstruktion, die mit den tatsächlich aufgezeichneten statischen Punktmarkierungen übereinstimmen, befinden sich leuchtende Portale in der Rekonstruktion. Nach dem Betreten eines solchen Portals kehrt der Benutzer zum entsprechenden Punkt der Videoexkursion zurück.

Fazit

360 ° Multimediatechnologien sind ein neuer vielversprechender Technologiebereich, mit dem Sie hochwertige interaktive Inhalte für Virtual-Reality-Headsets in allen Bereichen menschlicher Aktivitäten (Kultur, Kunst, Bildung, Wissenschaft, Tourismus, Werbung, industrielle Produktion, öffentliche Verwaltung usw.) erstellen können. .

Aus Sicht der Unterhaltungsindustrie und insbesondere der Erstellung von Spielfilmen im 360 ° -Format wird erwartet, dass eine Reihe neuer Ansätze und Methoden für kreative und technologische Prozesse entwickelt werden, die es dem Betrachter ermöglichen, in neue virtuelle und interaktive Ebenen einzutauchen.
Autoren des Artikels: Borisov Nikolay, Smolin Artem, Stolyarov Denis, Scherbakov Pavel, Trushin Vasily

Source: https://habr.com/ru/post/de392565/