"Visuelles Mikrofon" ist eine Technik, mit der Sie das Audio einer stillen Videoaufnahme wiederherstellen können. Heute werden wir nicht nur darüber berichten, sondern auch über andere Methoden und Technologien, mit denen Sie Musik oder Sprache aus der Ferne lesen und wiederherstellen können.
Foto m01229 CCTechnologie-Vorgänger
Eine Möglichkeit, Schall aus der Ferne aufzunehmen,
sind Laser. Mit den sogenannten
Lasermikrofonen werden durch Schallwellen verursachte Schwingungen abgelesen. Sie können beispielsweise auf diese Weise Ton von der Oberfläche einer Fensterscheibe „erfassen“, wenn Personen im Raum sprechen oder Musik abgespielt wird. Das Interferometer erfasst die „Bewegung“ der Oberfläche durch Ändern der optischen Weglänge des reflektierten Strahls. Danach werden diese Abweichungen mit speziellen Algorithmen in ein Tonsignal umgewandelt.
Das Netzwerk verfügt über Audioaufnahmen, die zeigen, dass Sie mit „Lasermikrofonen“ den Ton mit ziemlich guter Qualität wiederherstellen können. Dieser Ansatz hat jedoch seinen Nachteil, der mit der Komplexität der Installation des Geräts verbunden ist.
Sie können auch Schall aus der Ferne mit
Mikrowellenstrahlung geringer Intensität aufnehmen, die in der Kommunikation verwendet wird. Ähnliche Technologien
wurden bei der NASA eingesetzt, um schwache Funksignale im Weltraum zu erfassen und zu erkennen.
Eine Hornantenne leitet Mikrowellen mit einer Frequenz von 30-100 GHz durch eine Gebäudewand. Wenn Menschen in Innenräumen sprechen oder Musik spielen, können Schallwellen durch Mikrovibrationen als leichte Objekte und Materialien gezählt werden - in einer „erfassten“ Form erhalten sie
eine Amplitudenmodulation. Diese Informationen werden dann verwendet, um den auf das Objekt einwirkenden Schall zu rekonstruieren. Darüber hinaus kann dieses Objekt eine beliebige Kleidung sein, sodass Sie mit dieser Methode sogar den Klang eines Herzschlags "abfangen" können.
Visuelles Mikrofon - Eine Lösung von MIT-Wissenschaftlern
MIT-Wissenschaftler haben
einen anderen Weg
vorgeschlagen , um Schall aus der Ferne zu lesen. Sie haben bewiesen, dass es möglich ist, Ton basierend auf Video wiederherzustellen. Dazu müssen Sie ein Video des Objekts mit einer Kamera für Hochgeschwindigkeitsaufnahmen aufnehmen und die mikroskopischen Schwingungen analysieren, die durch die Ausbreitung von Schallwellen verursacht werden.
Basierend auf dem Video wird eine
steuerbare Pyramide von Bildern konstruiert, bei der
es sich um eine Reihe von Filtern handelt, die jedes Bild des Videos in komplexe Teilbänder aufteilen, die verschiedenen Punkten auf dem untersuchten Objekt entsprechen.
Wissenschaftler haben einen speziellen Algorithmus entwickelt (und öffentlich zugänglich gemacht), der die Intensität der Schallschwingungen an jedem der ausgewählten Punkte berechnet. Lokale Signale werden gemittelt, und auf ihrer Basis wird ein gemeinsames Signal gebildet, das bestimmt, wie Schallwellen auf ein Objekt wirken. Dieses Signal durchläuft ein Butterworth-Hochpassfilter mit einer Grenzschwelle von 20–100 Hz. Dann ist es möglich, die Audioaufnahme wiederherzustellen.
Laut Studienleiter Abe Davis können Sie mit einem visuellen Mikrofon Audioaufnahmen von weniger guter Qualität als mit aktiven Methoden (z. B. mit Lasern) empfangen, aber es hat seine eigenen Vorteile. Ihr System erfordert keine zusätzliche Ausrüstung oder Detektoren - Sie benötigen nur eine Hochgeschwindigkeits-Videokamera. Gleichzeitig muss die Oberfläche, von der der Ton „ausgelesen“ wird, nicht gespiegelt oder glatt sein, wie es
Lasermikrofone häufig erfordern.
Abes Team versuchte, den Ton aus einer Papiertüte, Päckchen Chips und Aluminiumfolie zu lesen. Sie sind leicht, weil die Schallschwingungen auf ihnen am deutlichsten waren und das resultierende Signal weniger verrauscht ist. Unter den Testobjekten befanden sich auch eine Zimmerpflanze und ein Ziegelstein, die sich laut Wissenschaftlern besser als erwartet „zeigten“.
Das Team machte ein Video, in dem gezeigt wurde, wie bestimmte Objekte „klingen“:
Wissenschaftler bemerken, dass sie planen, weiter in diese Richtung zu arbeiten und die Möglichkeit zu prüfen, Audio von Videoaufnahmen abzuspielen, und nicht nur speziell mit einer Hochgeschwindigkeitskamera vorbereitet.
Technologieentwicklung
Andere Wissenschaftler versuchen, die von der MIT-Gruppe vorgeschlagene Technologie zu verbessern. Im vergangenen Jahr haben iranische Forscher beispielsweise
einen Algorithmus eingeführt, der die Extraktion von Ton aus „Hochgeschwindigkeitsvideos“ beschleunigt und dessen Qualität verbessert.
Ton beeinflusst verschiedene Bereiche eines Objekts auf unterschiedliche Weise. Die Intensität der Vibration hängt von dem Material ab, aus dem der Gegenstand hergestellt ist, seiner Form, der Frequenz des Aufprallschalls und der Entfernung zur Quelle. Wenn Sie beispielsweise Videos mit einer Frequenz von 20 kHz aufnehmen, bewegen sich Schallwellen zwischen zwei Bildern etwa 17 mm. Daher reagieren Objekte, die weiter von der Schallquelle entfernt sind, verzögert.
All diese Faktoren bewirken, dass verschiedene Bereiche des Objekts mit unterschiedlichen Stärken vibrieren. Daher berücksichtigen Wissenschaftler bei der Analyse von Kamerabildern nur die Zonen, die den größten Beitrag zur Bildung des resultierenden Signals leisten - die am wenigsten verrauschten Blöcke. In diesem Fall weisen die Frequenzen, die sie bilden, unterschiedliche Phasenverschiebungen auf, um Dämpfungsstörungen zu beseitigen.
Iranische Forscher stellen fest, dass sie dank dieser Funktion die Qualität des wiedergegebenen Tons verbessern und die Bildverarbeitung im Vergleich zum ursprünglichen MIT-Algorithmus beschleunigen konnten. Sie sagen, dass ihr System in der Lage ist, das Bild zu verarbeiten und den Ton in Echtzeit wiederherzustellen.
Das Potenzial visueller Mikrofone
Im Allgemeinen ist die Technologie noch experimentell und es ist nicht von einer vollständigen Kommerzialisierung die Rede. Aber sie prophezeit bereits eine mögliche Verwendung im Bereich Recht und Ordnung - die Polizei wird in der Lage sein, mehr Informationen von CCTV-Kameras zu erhalten.
Es gibt noch andere Möglichkeiten: Mit solchen Systemen können Sie analysieren, wie sich der Klang in Aufnahmestudios und Konzertsälen verhält, um ihre akustischen Eigenschaften zu bestimmen. Eine andere Anwendung besteht darin, das System in der Raumfahrtindustrie zu verwenden, um Geräusche im Weltraum zu untersuchen. Übrigens haben die Bewohner von Hacker News bereits
vorgeschlagen, dass "visuelle Mikrofone" in Zukunft das Rätsel der Mondlandung ein für alle Mal lösen werden.
Interessanter über Sound - in unserer „Hi-Fi-Welt“:
Unsere neuen Materialien zu GT: