Wir waren ungefähr einen Monat lang mit der Digitalisierung der Eremitage beschäftigt. Anfangs dachten wir, dass die verfügbaren Lösungen für die Übertragung von Objekten in 3D (wie Laserscanner) perfekt funktionieren würden, und die Frage war ausschließlich technischer Natur. In der Tat stellte sich heraus, dass dieses Gebiet nicht sehr gut entwickelt ist und es Fallstricke im Meer gibt.
Für das Projekt kamen wir zur FMX-Konferenz über Immersions-Technologien und Grafiken. Russische Entwickler kommen zum ersten Mal mit einem Bericht zu dieser Konferenz. Wir spielen mit Pixar und den Jungs, die das Game of Thrones gemacht haben. Es ist nicht so, dass wir so cool sind wie Pixar, wir haben einfach das Beste auf dem Markt zusammengefasst, die Best Practices in der Photogrammetrie und all dies experimentell angewendet. Es stellte sich heraus, dass es noch niemand getan hatte.
Aber fangen wir mit dem an, was schwierig sein kann, einen Raum mit einer Statue zu digitalisieren. Geschäft für ein paar Tage, richtig?
Herausforderung
In St. Petersburg gibt es eine Eremitage.
Sie hatten vor 3-4 Jahren die Idee, digitale Kopien von Objekten anzufertigen. Und die Gegenstände selbst wurden rücksichtslos in die Halle gestellt. Aus der Sicht eines Museumsarbeiters ist es fast dasselbe wie zu zerstören. Nur der Prozess ist verzögert. Eigentlich nicht, aber das Verständnis, dass Sie Objekte kopieren müssen, um ihre Bilder zu speichern, ist es.
Wir fuhren zum ersten Mal zu ihnen und nahmen Statuen auf Kameras, um die Technik der Photogrammetrie zu testen. Es ist wie bei einem 3D-Scanner, nur Fotos von allen Seiten des Objekts werden kombiniert (ca. 400 Fotos pro Statue), dann sucht die Software nach ähnlichen Knoten und dann wird eine Punktwolke erstellt.
Es stellte sich schief und schief heraus.
Im Allgemeinen haben wir die Idee der Fotografie auf das Stadium „damals, als das Data Mining normal ist, in etwa fünf Jahren“ verschoben. Zwei gingen vorbei, und die Eremitage brauchte einen volldigitalen Raum.
Warum braucht die Eremitage einen virtuellen Raum?
Um sich auf der Weltbühne zu zeigen. Im Ernst, sie haben uns viele kluge Dinge über die
Rolle der Technologie in einem modernen Museum usw. erklärt, aber wir haben nur erkannt, dass normalerweise niemand dieses Problem wirklich lösen kann. Aber ich möchte es so machen, dass jeder Student der Universität irgendwo im Fernen Osten oder in Italien das Schöne sehen kann. Zu diesem Zweck erhält er eine Virtual-Reality-Brille und wird in die Eremitage geschickt. Praktisch. Zunächst in den Darstellungen der Eremitage. Bereits in Omsk und Wladiwostok gezeigt.
Es ist wichtig, dass dies interaktiv ist - in Wirklichkeit werden Sie der Statue des Jupiter nicht nahe kommen, und jetzt können Kunstkritiker sie nur noch in VR lecken. Sie können den Onkel nicht von oben betrachten, aber jetzt können Sie. Usw. Und natürlich werden diejenigen, die nicht selbst zur Eremitage fahren können, jetzt in der virtuellen Realität ankommen.
Die komplette Aufgabe besteht darin, das gesamte Museum im Allgemeinen zu digitalisieren. Aber Sie müssen von einer Halle aus starten. Es muss echt sein.
Wir begannen andere Ansätze anzuwenden.
Zuerst schlugen sie das Rendern vor, wie in Spielen. Der Künstler zeichnet, der Künstler spuckt. Das Modellieren von Grund auf ist nicht geeignet, da Sie ein Kunstwerk eines griechischen Bildhauers und keinen modernen Modellbauer benötigen. Ich verstehe.
Wir haben einen Laserscanner ausprobiert. Er gibt eine gute Geometrie, fällt aber überhaupt nicht in Farbe.
Sie haben die Textur auf der Kamera entfernt und kombiniert - es scheint normal zu sein.
Kritiker waren äußerst kritisch, um die kleinsten Nuancen der Form der Statue zu vermitteln. Wir haben uns das selbst aufgeschrieben: Sie benötigen eine sehr hohe Auflösung oder eine sehr hohe polygonale Genauigkeit.
Am Ende haben wir uns entschieden, weiterhin Referenzmessungen und Photogrammetrie zu verwenden. Wir haben im Büro mit verschiedenen Kameras experimentiert: Sie haben DSLRs ausprobiert und sogar eine mittelgroße PhaseOne mit einer Matrix von 100 Megapixeln gemietet. Es stellte sich heraus, dass das Problem nicht in der Kamera lag, sondern in der Genauigkeit der Punktauswahl. Das geringste Wackeln führte zu einer Unschärfe des Bildes, was zu Verzerrungen bei den Modellen führte. Wir haben auf Blende 11 geschossen und versucht, mehr zu schließen - Beugung und Unschärfe. Das Problem beim Rühren war, dass wir die Statue von einer 4 Meter hohen Leiter von oben entfernt haben. Und sie schwankte.
Fast 17.000 Fotos wurden gemacht. Wir fingen an zu zählen.
Unsere Arbeitsplätze sind leistungsstark wie eine Haushaltsheizung, haben aber dennoch enorme Fehlkalkulationszeiten. Ich musste eine separate Infrastruktur für eine Punktwolke bereitstellen und ein Modell erhalten. Wir haben einen GPU-Server gekauft und die Infrastruktur darauf bereitgestellt.
Es stellte sich heraus, dass eine Wolke optimiert werden musste.
Die Halle wurde in zwei Monaten von vier Personen optimiert.
Warum optimiert?
VR ist eine Sache, die nicht auf superstarken Geräten gespielt werden sollte. Für dieses Projekt gibt es drei Kategorien von Geräten:
- Gaming-Heim-PCs (maximale Auflösung und Qualität) und Museums-VR-Installationen.
- Schulcomputer. Sie mussten für sie optimiert werden, damit die Qualität nicht verloren geht. Dies ist handgemacht, viel Zeit.
- Mobile Geräte Unter ihnen war es notwendig, die am besten optimierten Modelle herzustellen.
Die Optimierung hängt auch damit zusammen, dass die Ebene von weitem als Biegung sichtbar ist. Wir mussten eine optimale Wahrnehmung erreichen - "wie in der realen Welt". Es folgten Kunstkritiker und Kuratoren: Alles in der Welt der Kunst wird nach dem Grad von „Ja“ oder „Nein“ von ihnen beurteilt.
Was ist passiert?
Die Eremitage konnte ihren Saal mit ihrer Statue im Ausland auf wichtigen Ausstellungen zeigen und Schulkindern die Möglichkeit geben, sich der Nacktheit anzuschließen. Übrigens, Witze darüber, wie wir für einen Monat optimiert haben ... die Rückseite von Jupiter, sofort beiseite gelegt. Und an einem anderen Ort hat er eine Augenbinde, und das hat unsere Psyche sehr gerettet.
Die Halle und die Statuen sind nicht transportabel (genauer gesagt, die Statue ist unglaublich unerwünscht zu tragen). Jetzt können sie virtuell um die Welt getragen werden. Die Eremitage konkurriert jetzt souverän mit dem Louvre, denn das Museum ist für alle da - und das ist sehr cool.
Das Optimierungsmodell nach der Optimierung besteht aus 120.000 Polygonen (je nach Entfernung zum Betrachter 3 Detailgrade, mindestens 12.000 Polygone). Weiter - gröber, näher - besser.
Infolgedessen stellte sich heraus, dass es keine anderen Projekte gibt, bei denen die gesamte Halle für BP optimiert wurde. Es gibt Düsen, die sauber gescannt werden, ohne Optimierung, Kurven und Schrägstellen an verschiedenen Stellen. Aber es gibt keinen soliden Arbeiter. Im Allgemeinen haben wir heute die höchste Qualität der Welt. Weil der einzige so vollständig ist.
In der realen Welt mit zitternden Menschen und schwingenden Aufzügen für Kameras ohne Milliarden von Kosten ist dies sehr cool. Ja, der erste Raum war sehr lang, 4 Monate oder länger. Aber wir sind auf alle Rechen getreten, haben die Methodik ausgearbeitet und sind bereit, die Halle in etwa 1,5 bis 2 Monaten zu bauen.
Ah, ein Moment von der russischen Realität. Nachdem die Eremitage begonnen hatte, eine VR-Tour (kostenlos) in Wladiwostok zu verteilen, begannen einige Listige, Tickets für den Besuch der Eremitage-Halle in virtueller Realität zu verkaufen.
Für alle Fragen können Sie in den Kommentaren oder per Mail schreiben - infoVR@croc.ru