Die Illusion von Raum: Wie der neue Spiderman Räume ohne Geometrie rendert

In dem kürzlich veröffentlichten Marvels Spider-Man-Spiel haben viele Gebäude Innenräume außerhalb der Fenster. Sie sehen toll aus, aber es scheint, dass sie mit gerissenem Rendering implementiert wurden - die Geometrie der Innenräume existiert nicht wirklich und wird von einem Shader generiert. Ich habe keine offiziellen Insomniac-Aussagen darüber gesehen, wie sie es gemacht haben, aber basierend auf dem Aussehen des Effekts ist es sehr wahrscheinlich, dass die Innenkartierungstechnik , die ich 2007 während der Arbeit an der Dissertation entwickelt habe, implementiert wurde. Ich habe vorher noch nicht im Blog darüber geschrieben, daher ist jetzt der richtige Zeitpunkt, um den neugierigen kleinen Shader zu erklären, den ich mir ausgedacht habe.

Beginnen wir mit Marvels Spider-Man-Gameplay. Das Spiel sieht einfach großartig aus. Die Kotaku-Website hat ein separates Video unter Windows aufgenommen:


Wie Sie in etwa 40 Sekunden des Videos sehen können, sind die Räume tatsächlich nicht Teil der Geometrie: Wo sich das Fenster offensichtlich befinden sollte, befindet sich die Tür. Wenn wir einen Raum aus verschiedenen Blickwinkeln des Gebäudes betrachten, sehen wir außerdem ein anderes Interieur. In einigen Fällen gibt es sogar eine Mauer um die Ecke des Gebäudes. All dies macht uns verständlich, dass die Räume nachgeahmt werden. Aus perspektivischer Sicht werden sie jedoch korrekt angezeigt und haben eine echte Tiefe. Ich denke, die Nachteile solcher Räume sind während des Spiels nicht sehr wichtig, da die Spieler die Räume normalerweise nicht so genau studieren: Innenräume sind nur eine Kulisse und kein Gegenstand sorgfältiger Studien. Ich glaube, dass diese Art der Schaffung von Räumen der Stadt Tiefe und Leben verleiht, ohne zu viele Ressourcen aufzuwenden.


Um Ressourcen zu sparen, haben Gebäude in Spielen häufig keine Innenräume, wie im Screenshot von GTA V zu sehen ist

Zunächst möchte ich erklären, dass mein Beitrag keine Beschwerde ist: Ich freue mich, dass meine Ausrüstung in einem so großen Spiel verwendet wurde, und beschuldige Insomniac in keiner Weise, gestohlen zu haben. Wie ich in der ersten Veröffentlichung zur Innenraumkartierung sagte, wäre es mir eine Ehre, wenn jemand diese Technik anwenden würde. Wenn Insomniac meine Idee in ihrer Technik wirklich ausgenutzt hat, dann finde ich das großartig. Wenn sie es nicht benutzt hat, scheint sie sich etwas seltsam Ähnliches ausgedacht zu haben. Dann würde mich interessieren, wie das gemacht wurde.

Wie funktioniert die Innenzuordnung? Die Idee ist, dass das Gebäude selbst keine zusätzliche Geometrie enthält. Innenräume existieren nur im Shader. Dieser Shader führt Raycasts mit Wänden, Decken und Böden durch, um zu berechnen, was der Spieler im Innenraum sehen sollte.


Von links nach rechts: nur Fenster mit Reflexionen, Fenster mit Innenzuordnung, Drahtmodell - Bei der Innenzuordnung werden keine Polygone hinzugefügt.

Der für den Raycast verwendete Strahl ist einfach ein Strahl von der Kamera zum Pixel. Das Pixel, das wir rendern, befindet sich außerhalb des Gebäudes. Daher verwenden wir nur den Teil des Strahls nach dem Pixel, da sich dieser Teil tatsächlich innerhalb des Gebäudes befindet.

Raycasting mag wie eine komplizierte und kostspielige Operation erscheinen, aber in diesem speziellen Fall ist es tatsächlich sehr einfach und schnell. Der Trick besteht darin, dass Sie eine einfache Einschränkung hinzufügen können: Bei der Zuordnung von Innenräumen befinden sich Decken und Böden in einem konstanten Abstand. Wenn wir das wissen, können wir leicht berechnen, in welchem ​​Raum wir uns befinden und wo sich Boden und Decke in diesem Raum befinden. Decken und Böden selbst sind endlose geometrische Ebenen. Die Berechnung des Schnittpunkts zwischen einer unendlichen Ebene und einem Strahl dauert nur wenige Schritte und verbraucht wenig Ressourcen.


Der Raum hat 6 Ebenen: Decke, Boden und 4 Wände. Wir müssen jedoch nur drei davon berücksichtigen, da wir wissen, in welche Richtung wir schauen. Wenn wir zum Beispiel nach oben schauen, müssen wir den Boden darunter nicht überprüfen, da wir die Decke oben sehen. In ähnlicher Weise müssen wir anstelle von 4 Wänden nur zwei in der Richtung betrachten, in die wir schauen.

Um zu bestimmen, was wir sehen, müssen wir den Schnittpunkt des Strahls mit jeder dieser drei Ebenen berechnen. Der Schnittpunkt mit dem Strahl, der der Kamera am nächsten liegt, sagt uns, welche der Ebenen wir in diesem Pixel sehen. Dann verwenden wir den Schnittpunkt als Koordinate der Textur, um die Farbe des Pixels zu ermitteln. Wenn sich der Strahl beispielsweise an der Position (x, y, z) mit der Decke schneidet, verwenden wir (x, y) als Texturkoordinate und ignorieren z.

Hier habe ich eine gute Optimierung hinzugefügt: Ein Teil der Schnittberechnungen für jede der drei Ebenen kann gleichzeitig durchgeführt werden. Die verwendeten Shader arbeiteten mit float4 mit der gleichen Geschwindigkeit wie mit float, so dass dank der geschickten Packung von Variablen alle drei Strahlen gleichzeitig mit Ebenen geschnitten werden konnten. Dies hat mir einige Ressourcen gespart und dazu beigetragen, auch 2007 eine hohe Bildrate mit Innenausstattung zu erzielen. Mir wurde gesagt, dass moderne Grafikkarten mit Float schneller funktionieren als mit Float4. Dies bedeutet, dass diese Optimierung auf der aktuellen Hardware nicht mehr funktioniert.


Die Innenzuordnung ohne Fenstertexturen zeigt, dass Räume mit der richtigen Perspektive und den richtigen Texturen gerendert werden, obwohl keine zusätzliche Geometrie erforderlich ist.

Weitere Informationen zur Innenraumzuordnung finden Sie in meinem Artikel . Dieser Artikel wurde 2008 auf der Computer Graphics International Conference veröffentlicht. Diese von Experten begutachtete Veröffentlichung ist meine erste (und einzige) Bewerbung für den stolzen Titel eines Wissenschaftlers. In diesem Artikel werden auch zusätzliche Experimente beschrieben, um Details hinzuzufügen, z. B. das Ändern des Abstands zwischen Wänden für Räume ungleicher Größe und das zufällige Auswählen von Texturen aus einem Texturatlas für eine größere Raumvariabilität. Außerdem werden die beiden in den folgenden Bildern gezeigten Variationen ausführlich beschrieben.


Die Beleuchtung in Räumen kann dynamisch ein- und ausgeschaltet werden, um einen Wechsel von Tag und Nacht zu simulieren. Dies geschieht unter Verwendung der Rauschtextur, aus der wir lesen, wobei der Raumindex als Texturkoordinaten verwendet wird.

Da wir nur Strahlen in der Ebene aussenden, sind alle Räume einfache Quadrate mit Texturen. Alle Möbel im Raum werden auf der Textur sein, was bedeutet, flach zu bleiben. In Spiderman macht sich dies bemerkbar, wenn Sie sich der Kamera nähern: Die Tische in den Räumen sind eigentlich flache Texturen an den Wänden. Wie Sie in der Abbildung unten sehen können, können wir unsere Technik durch eine oder mehrere zusätzliche Texturschichten pro Raum ergänzen. Dies ist jedoch mit zusätzlichen Leistungskosten verbunden.


Durch Raytracing einer anderen Ebene parallel zur Außenfläche des Gebäudes können Sie dem Raum Möbel und Personen hinzufügen. Sie bleiben jedoch weiterhin flach.

Nach der Veröffentlichung dieses Beitrags sagte mir einer der Programmierer Simcity (2013), dass die Interior-Mapping-Technik auch in diesem Spiel verwendet wurde. Darin sieht sie sehr cool aus und die Entwickler haben ein großartiges Video darüber aufgenommen. Sie verfeinerten meine ursprüngliche Idee, indem sie alle Texturen in einer Textur speicherten und Räume unterschiedlicher Tiefe hinzufügten. Der innere Kartierungsteil beginnt um 1:00 Uhr morgens:


Wenn Sie diese Technik genauer untersuchen möchten, können Sie meine Demo zur Innenzuordnung mit Quellcode herunterladen. Wenn Sie in Unreal Engine 4 arbeiten, finden Sie die Innenraumzuordnung als Standard-Engine-Funktion in Form der InteriorCubeMap-Funktion.

Nach so vielen Jahren ist es großartig zu sehen, dass meine Interieur-Mapping-Technik bei der Produktion von großen Videospielen verwendet wird! Wenn Sie mit Spielen vertraut sind, die etwas Ähnliches verwenden, schreiben Sie mir darüber.