Neue Wissenschaft, um die Ecke zu schauen

Forscher des Computer-Sehens haben eine verborgene Welt visueller Signale entdeckt, in der es unmerkliche Bewegungen gibt, die das Gesagte wiedergeben, und verschwommene Bilder von dem, was um die Ecke ist

Der Computer-Vision-Spezialist Antonio Torralba , der 2012 an der spanischen Küste ruhte, bemerkte zufällige Schatten an der Wand seines Hotelzimmers, die von nichts abgeworfen zu werden schienen. Am Ende erkannte Torralba, dass die verfärbten Stellen an der Wand keine Schatten waren, sondern stumpfe, umgekehrte Bilder der Terrasse draußen. Das Fenster funktionierte wie eine Lochblende - die einfachste Art von Kamera, bei der Lichtstrahlen durch ein kleines Loch treten und auf der anderen Seite ein invertiertes Bild erzeugen. An der sonnenbeschienenen Wand war dieses Bild kaum zu erkennen. Aber Torralba erkannte, dass unsere Welt mit visuellen Informationen gefüllt ist, die unsere Augen nicht wahrnehmen.

"Diese Bilder sind uns verborgen", sagte er, "aber sie umgeben uns ständig."

Die gesammelten Erfahrungen ermöglichten es ihm und seinem Kollegen Bill Freeman , ebenfalls Professor am Massachusetts Institute of Technology, zu erkennen, dass die Welt mit "zufälligen Kameras" gefüllt ist, wie sie sie nennen: Fenster, Ecken, Zimmerpflanzen und andere gewöhnliche Objekte, die verborgene Bilder ihrer Umgebung erzeugen. Diese Bilder sind 1000-mal weniger lebendig als alles andere und normalerweise mit bloßem Auge nicht sichtbar. "Wir haben Wege gefunden, um diese Bilder zu isolieren und sichtbar zu machen", erklärte Freeman.

Sie erfuhren, wie viele visuelle Informationen direkt vor allen verborgen sind. In der ersten Arbeit haben sie gezeigt, dass bei Aufnahmen mit einem normalen iPhone Änderungen des Lichts an der Wand des Raums anhand des empfangenen Videos die Szene außerhalb des Fensters nachbilden können. Im vergangenen Herbst berichteten sie und ihre Kollegen , dass Sie eine Person finden können, die sich um eine Ecke bewegt, indem Sie Land in der Nähe der Ecke mit einer Kamera filmen. In diesem Sommer haben sie gezeigt, dass sie eine Heimpflanze auf Video aufnehmen und dann anhand der Schatten, die von den Blättern der Pflanze geworfen werden, ein dreidimensionales Bild des gesamten Raums erstellen können. Oder sie können Blätter in ein „ visuelles Mikrofon “ verwandeln , ihre Vibrationen erhöhen und Sprache erkennen.


1) Die Terrasse vor dem Hotelzimmer, wo Antonio Torralba bemerkte, dass das Fenster wie ein Loch funktioniert. 2) Unscharfes Bild der Terrasse an der Wand; 3) Er kann geschärft werden, indem der größte Teil des Fensters mit Pappe abgedeckt wird, um die Größe des Lochs zu verringern. 4) Wenn Sie es auf den Kopf stellen, können Sie die Szene von außen sehen.

"Unsere Maria hatte einen Widder", sagt der Mann auf der Audioaufnahme, der aus den Bewegungen einer leeren Tüte Chips nachgebildet wurde, die Wissenschaftler 2014 durch ein schallisoliertes Fenster geschossen haben (dies sind die ersten Worte, die Thomas Edison 1877 auf einem Phonographen aufzeichnete).

Die Forschung, um Ecken zu schauen und Annahmen über Objekte zu treffen, die nicht direkt sichtbar sind, oder „Bilder zu erstellen, die nicht in direkter Sichtlinie sind“, begann 2012 mit der Arbeit von Torralba und Freeman an einer zufälligen Kamera und mit einer weiteren wichtigen Arbeit , die von einer separaten Gruppe von Wissenschaftlern durchgeführt wurde vom MIT unter der Leitung von Ramesh Raskar . Insbesondere im Jahr 2016 startete die Agentur für fortgeschrittene Forschungsprojekte des US-Verteidigungsministeriums (DARPA) dank ihrer Ergebnisse das 27-Millionen-Dollar-REVEAL-Programm (Revolutionäre Verbesserung der Sichtbarkeit durch Nutzung aktiver Lichtfelder - eine revolutionäre Verbesserung der Sichtbarkeit mithilfe aktiver Lichtfelder). Das Programm finanziert bundesweit aufstrebende Laboratorien. Seitdem macht der Fluss neuer Ideen und mathematischer Tricks die Bildgebung ohne Sichtlinie immer leistungsfähiger und praktischer.



Neben der offensichtlichen Verwendung für Militär- und Aufklärungszwecke untersuchen Forscher die Anwendung von Technologie in Robomobilen, Robotersicht, medizinischer Fotografie, Astronomie, Weltraumforschung und Rettungsmissionen.

Torralba sagte, dass er und Freeman zu Beginn der Arbeit keine Ideen zur praktischen Anwendung der Technologie hatten. Sie verstanden einfach die Grundlagen der Bilderzeugung und was eine Kamera ist, woraus sich eine umfassendere Untersuchung des Verhaltens von Licht und seiner Wechselwirkung mit Objekten und Oberflächen auf natürliche Weise entwickelte. Sie begannen Dinge zu sehen, an die niemand denken konnte. Laut Torralb zeigen psychologische Untersuchungen, dass „Menschen schrecklich schlecht darin sind, Schatten zu interpretieren. Vielleicht ist einer der Gründe dafür, dass viele der Dinge, die wir sehen, keine Schatten sind. Und am Ende warfen meine Augen Versuche, sie zu verstehen. "

Zufällige Kameras

Die Lichtstrahlen, die das Bild der Welt außerhalb unseres Sichtfeldes tragen, fallen ständig auf Wände und andere Oberflächen, danach werden sie reflektiert und fallen in unsere Augen. Aber warum sind diese visuellen Rückstände so schwach? Es ist nur so, dass zu viele Strahlen in zu viele Richtungen gehen und die Bilder verschwimmen.

Um ein Bild zu erzeugen, ist es notwendig, die auf die Oberfläche einfallenden Strahlen ernsthaft zu begrenzen und nur einen bestimmten Satz von ihnen zu sehen. Das macht die Lochkamera. Die ursprüngliche Idee von Torralba und Freeman im Jahr 2012 war, dass es in unserer Umgebung einige Objekte und verschiedene Eigenschaften gibt, die die Lichtstrahlen auf natürliche Weise begrenzen und schwache Bilder erzeugen, die ein Computer erkennen kann.

Je kleiner die Lochblende ist, desto schärfer ist das Bild, da jeder Punkt des untersuchten Objekts nur einen Lichtstrahl im rechten Winkel aussendet, der durch das Loch hindurchtreten kann. Das Fenster im Torralba Hotel war zu groß, als dass das Bild scharf wäre, und er und Freeman erkannten, dass allgemein nützliche zufällige Lochkameras ziemlich selten waren. Sie stellten jedoch fest, dass Anti-Pinholes („Pin-Point“ -Kameras), die aus kleinen Objekten bestehen, die das Licht blockieren, reichlich Bilder bilden.


Bill Freeman


Antonio Torralba

Stellen Sie sich vor, Sie entfernen die Innenwand eines Raums durch eine Lücke in den Jalousien. Sie werden nicht viel sehen. Plötzlich erscheint eine Hand in Ihrem Sichtfeld. Ein Vergleich der Lichtintensität an der Wand in Gegenwart und Abwesenheit einer Hand liefert nützliche Informationen über die Szene. Eine Reihe von Lichtstrahlen, die im ersten Bild auf eine Wand fallen, wird im nächsten Bild vorübergehend von der Hand blockiert. Subtrahieren Sie die Daten des zweiten Frames von den Daten des ersten, wie Freeman sagt: „Sie können berechnen, was die Hand blockiert hat“ - eine Reihe von Lichtstrahlen, die das Bild eines Teils des Raums darstellen. "Wenn Sie untersuchen, was Licht blockiert und was Licht durchlässt", sagte er, "können Sie die Anzahl der Stellen erweitern, an denen Sie Lochkameras finden."

Zusammen mit der Untersuchung von Zufallskameras, die kleine Änderungen der Intensität wahrnehmen, entwickelten Freeman und Kollegen Algorithmen, die kleine Farbänderungen bestimmen und verstärken - beispielsweise eine Änderung der Gesichtsfarbe einer Person, wenn das Blut rauscht oder verebbt, und winzige Bewegungen - aus diesem Grund Sie können ein Gespräch aufzeichnen, indem Sie eine Tüte Chips nehmen. Jetzt können sie leicht die Bewegung eines Hundertstel Pixels bemerken, die unter normalen Bedingungen einfach im Rauschen ertrinken würde. Ihre Methode konvertiert Bilder mathematisch in eine Sinuswellenkonfiguration. In dem resultierenden Raum dominiert das Rauschen das Signal nicht, da die Sinuskurven die über viele Pixel aufgenommenen Durchschnittswerte darstellen, so dass das Rauschen über sie verteilt wird. Dank dessen können Forscher die Verschiebungen von Sinuskurven von einem Bild des Videos zum anderen bestimmen, diese Verschiebungen verstärken und die Daten dann zurückkonvertieren.

Jetzt haben sie begonnen, all diese Tricks zu kombinieren, um versteckte visuelle Informationen zu extrahieren. Eine Studie, die im vergangenen Oktober von Katie Bowman (damals eine von Freeman geleitete Studentin und jetzt Wissenschaftlerin des Harvard-Smithsonian Astrophysical Center) beschrieben wurde, zeigte, dass Gebäudeecken wie Kameras funktionieren und ein grobes Bild von dem erzeugen, was sich um die Ecke befindet.


Wenn Sie Penumbra in der Nähe der Ecke auf den Boden nehmen (1), können Sie Informationen über Objekte erhalten, die sich um die Ecke befinden (2). Wenn sich unsichtbare Objekte zu bewegen beginnen, bewegen sich das Licht und die Schatten von ihnen in unterschiedlichen Winkeln zur Wand. Kleine Änderungen in Intensität und Farbe können normalerweise nicht mit bloßem Auge unterschieden werden (3), sondern können mithilfe von Algorithmen verbessert werden. Primitive Videos mit Licht in verschiedenen Winkeln zum Halbschatten zeigen die Anwesenheit einer sich bewegenden Person (4) und zwei (5) um die Ecke.

Facetten und Ecken behindern wie Nadellöcher mit Punktkameras den Durchgang von Sonnenlicht. Mit gewöhnlichen Kameras, demselben iPhone, schossen Bowman und seine Kollegen bei Tageslicht Halbschatten an der Ecke des Gebäudes - einem Bereich mit Schatten, die von einer Teilmenge von Lichtstrahlen beleuchtet werden, die aus einem verborgenen Bereich um die Ecke kommen. Wenn zum Beispiel ein Mann in einem roten Hemd dort vorbeikommt, sendet dieses Hemd eine kleine Menge rotes Licht in die Halbschatten, und dieses Licht bewegt sich entlang der Halbschatten, während die Person geht, für das normale Auge unsichtbar, aber nach der Nachbearbeitung erkannt.

In einer revolutionären Arbeit, die im Juni veröffentlicht wurde, haben Freeman und Kollegen das „Lichtfeld“ des Raums - ein Bild der Intensität und Richtung der Lichtstrahlen in einem Raum - aus Schatten nachgebildet, die von einer Laubpflanze neben der Wand geworfen wurden. Die Blätter fungierten als Punktkameras, von denen jede ihre eigenen Lichtstrahlen blockierte. Ein Vergleich des Schattens jedes Blattes mit dem Rest der Schatten erzeugte diesen fehlenden Satz von Strahlen und ermöglichte es, ein Bild eines Teils der verborgenen Szene zu erhalten. Angesichts der Parallaxe konnten die Forscher dann alle diese Bilder zusammenführen.

Dieser Ansatz liefert viel schärfere Bilder als die frühere Arbeit mit zufälligen Kameras, da der Algorithmus bereits Kenntnisse über die Welt erworben hat. Die Forscher kannten die Form der Pflanze, gingen davon aus, dass die natürlichen Bilder glatt sein sollten, und berücksichtigten mehrere andere Annahmen. Sie konnten bestimmte Schlussfolgerungen hinsichtlich der rauschhaltigen Signale ziehen, was dazu beitrug, das endgültige Bild schärfer zu machen. Die Technologie der Arbeit mit einem Lichtfeld "erfordert Kenntnisse der umgebenden Welt, um den Wiederaufbau zu ermöglichen, aber sie liefert Ihnen auch viele Informationen", sagte Torralba.

Streulicht

In der Zwischenzeit enthüllen Freeman, Torralba und ihr Schützling Bilder, die an anderer Stelle auf dem MIT-Campus versteckt waren. Ramesh Raskar, ein Computer-Vision-Spezialist, der bei TED sprach, beabsichtigt, „die Welt zu verändern“ und einen Ansatz namens „Active Imaging“ zu wählen. Es verwendet spezielle, teure Laserkamerasysteme, um hochauflösende Bilder zu erstellen, die anzeigen, was um die Ecke ist.


Ramesh Raskar

Im Jahr 2012 haben Raskar und sein Team im Rahmen der Umsetzung einer Idee, die ihn vor fünf Jahren besuchte, erstmals eine Technologie entwickelt, bei der Laserpulse in die Wand abgegeben werden müssen. Ein kleiner Teil des gestreuten Lichts kann das Hindernis umgehen. Und kurze Zeit nach jedem Impuls verwenden sie eine „Blitzkamera“, die einzelne Photonen mit einer Geschwindigkeit von Milliarden von Bildern pro Sekunde aufzeichnet, um Photonen zu erkennen, die von der Wand abprallen. Durch Messung der Zeit, die Photonen für ihre Rückkehr aufgewendet haben, können Forscher herausfinden, wie weit sie weggeflogen sind, und die dreidimensionale Geometrie der hinter dem Hindernis verborgenen Objekte, auf denen die Photonen verstreut sind, detailliert nachbilden. Eine der Schwierigkeiten besteht darin, dass zur Erzeugung eines dreidimensionalen Bildes ein Raster-Scan der Wand mit einem Laser durchgeführt werden muss. Nehmen wir an, eine Person versteckt sich um die Ecke. "Dann kann das Licht, das von einem bestimmten Punkt auf dem Kopf, von einem bestimmten Punkt auf der Schulter und von einem bestimmten Punkt auf dem Knie reflektiert wird, gleichzeitig in die Kamera gelangen", sagte Raskar. Wenn Sie den Laser jedoch ein wenig an einen anderen Ort richten, gelangt das Licht dieser drei Punkte nicht mehr gleichzeitig zur Kamera. “ Es ist notwendig, alle Signale zu kombinieren und das "inverse Problem" zu lösen, um die verborgene dreidimensionale Geometrie wiederherzustellen.

Der ursprüngliche Raskar-Algorithmus zur Lösung des inversen Problems erforderte zu viele Rechenressourcen, und das Gerät selbst kostete eine halbe Million Dollar. Es wurden jedoch ernsthafte Anstrengungen unternommen, um die Mathematik zu vereinfachen und die Kosten zu senken. Im März veröffentlichte die Zeitschrift Nature eine Arbeit , die einen neuen Standard für die effiziente und wirtschaftliche Konstruktion dreidimensionaler Bilder eines Objekts setzte - die Figur eines Kaninchens um die Ecke wurde in der Arbeit nachgebildet. Die Autoren Matthew O'Toole , David Lindel und Gordon Wetstein von der Stanford University haben einen neuen leistungsstarken Algorithmus zur Lösung des inversen Problems entwickelt und relativ kostengünstige SPAD-Kameras verwendet - Halbleiterbauelemente, deren Bildrate niedriger ist als die von Blitzkameras. Raskar, der zuvor als Kurator von zwei Autoren des Werkes gearbeitet hatte, nannte es "sehr genial" und "einen meiner Favoriten".





Frühere Algorithmen versanken im Detail: Die Forscher versuchten normalerweise, zurückkehrende Photonen zu erkennen, die nicht an dem Punkt an der Wand reflektiert wurden, an dem der Laser leuchtete, damit die Kamera das gestreute Laserlicht nicht sammeln konnte. Indem der Laser und die Kamera auf fast denselben Punkt gerichtet wurden, konnten die Forscher ausgehende und einfallende Photonen von einem „ Lichtkegel “ abbilden. Licht, das von der Oberfläche gestreut wird, bildet eine sich ausdehnende Photonenkugel, die einen Kegel bildet, der sich in der Raumzeit ausbreitet. O'Toole (der seitdem seinen Arbeitsplatz von Stanford zur Carnegie Mellon University gewechselt hat) übersetzte die Physik der Lichtkegel - entwickelt von Albert Einsteins Lehrer German Minkowski zu Beginn des 20. Jahrhunderts - in einen lakonischen Ausdruck, der die Flugzeit des Photons mit dem Ort der Streuflächen verbindet. Er nannte seine Übersetzung "Transformation des Lichtkegels".

Robomobile verwenden bereits LIDAR-Systeme, um direkte Bilder zu erstellen, und Sie können sich vorstellen, dass sie eines Tages SPAD dazu bringen werden, um die Ecke zu schauen. „In naher Zukunft werden solche Sensoren auch in tragbaren Formaten erhältlich sein“, prognostiziert Andreas Welten , der Erstautor der ersten Arbeit von Raskar aus dem Jahr 2012, der nun die Gruppe leitet, die sich an der University of Wisconsin mit der Erstellung aktiver Bilder befasst. Die Herausforderung besteht nun darin, „komplexere Szenen“ und realistische Szenarien zu handhaben, sagte Welten, „anstatt nur sorgfältig eine Szene mit einem weißen Objekt und einem schwarzen Hintergrund zu erstellen. Wir brauchen Technologie, um das Gerät zu steuern und den Knopf zu drücken. "

Wo sind die dinge

Forscher der Freeman-Gruppe begannen, passive und aktive Ansätze zu kombinieren. Die unter der Leitung des Forschers Christos Trumpulidis durchgeführte Arbeit zeigte, dass bei der aktiven Konstruktion von Bildern mit einem Laser eine punktförmige Kamera mit bekannter Form, die sich um einen Winkel befindet, verwendet werden kann, um eine verborgene Szene ohne Verwendung von Informationen über die Photonenflugzeit wiederherzustellen. "Und das sollte für uns mit Hilfe einer herkömmlichen CCD-Matrix funktionieren", sagte Trampulidis.

Bilder außerhalb der Sichtlinie werden eines Tages helfen, Teams und autonome Roboter zu retten. Welten arbeitet mit dem Jet Propulsion Laboratory der NASA zusammen und arbeitet an einem Projekt, das darauf abzielt, Fernbilder von Objekten in den Mondhöhlen zu erstellen. Aber Raskar und das Unternehmen nutzen ihren Ansatz, um die ersten Seiten eines geschlossenen Buches zu lesen und im Nebel zu sehen.

Neben Audio-Rekonstruktionen kann der Bewegungsverbesserungsalgorithmus von Freeman dazu beitragen, medizinische Geräte und Sicherheitssysteme sowie kleine astronomische Bewegungsmelder zu erstellen. Dieser Algorithmus ist "eine sehr gute Idee", sagte David Hogg, Astronom und Datenwissenschaftler an der New York University und am Flatiron Institute. "Ich dachte - wir müssen es nur in der Astronomie verwenden."

In Bezug auf Datenschutzprobleme, die durch jüngste Entdeckungen aufgeworfen wurden, wendet sich Freeman seiner Erfahrung zu. "Ich habe während meiner gesamten Karriere sehr, sehr viel über dieses Problem nachgedacht", sagt er. Freeman, ein Mann mit Brille, ein Kamera-Enthusiast, der sein ganzes Leben lang mit Fotografie zu tun hatte, sagte, dass er zu Beginn seiner Karriere nicht an irgendetwas arbeiten wollte, das ein militärisches oder Spionage-Potenzial hätte. Mit der Zeit begann er zu denken, dass „Technologie ein Werkzeug ist, das auf unterschiedliche Weise eingesetzt werden kann. Wenn Sie versuchen, alles zu vermeiden, was zumindest militärisch genutzt werden kann, fällt Ihnen nichts Nützliches ein. " Er sagt, dass selbst im Fall des Militärs „es sehr viele Möglichkeiten gibt, Dinge zu benutzen. Sie können jemandem helfen, zu überleben. Und im Prinzip ist es nützlich zu wissen, wo sich die Dinge befinden. “

Am meisten freute er sich jedoch nicht über technologische Fähigkeiten, sondern lediglich über die Entdeckung eines Phänomens, das in der Öffentlichkeit verborgen war. "Es scheint mir, dass die Welt voll von allem ist, was noch entdeckt werden muss", sagte er.