Dem Programm wurde beigebracht, realistische Töne für Fotos auszuwählen.

Wenn man sich ein Foto ansieht, kann eine Person leicht erraten, welcher Ton diesem Rahmen entsprechen soll.

Solides Wissen geht mit Lebenserfahrungen einher. Wir beobachten verschiedene Ereignisse im Leben und hören Geräusche. Mit der Erfahrung hat sich eine große Sammlung im Gehirn angesammelt. Eine Person führt eine schnelle assoziative Suche im Gedächtnis durch, wählt den am besten geeigneten Ton aus - und reproduziert ihn durch Betrachten eines Fotos.

Ungefähr das gleiche Prinzip gilt für das neue Programm, das von Spezialisten von Disney Research und der Schweizerischen Technischen Hochschule Zürich entwickelt wurde, um Töne für Fotos auszuwählen. Im Prinzip haben die Autoren des Programms speziell versucht, den menschlichen Prozess der Herstellung der Beziehung zwischen Ton und Bild zu kopieren.

Informationen über Geräusche können nicht nur aus der Realität gewonnen werden. Im Kindergarten wird allen Kindern unbedingt beigebracht, dass die Kuh „mu“ sagt.

Filme und Computerspiele füllen die Gehirnsammlung von Klängen weitgehend auf. Schließlich zeigen sie oft Ereignisse, über die Menschen keine Lebenserfahrung haben. Daher weiß fast jeder, wie ein Schuss aus einer Pistole klingt, obwohl nur wenige Menschen ihn in der Realität gehört haben. Es kann davon ausgegangen werden, dass die Geräusche aus Filmen / Spielen mehr als die Hälfte aller Geräusche ausmachen, die sich im Gedächtnis eines Menschen angesammelt haben.

Das Disney Research-Programm wurde auch darauf trainiert, eine Sammlung von Sounds nach Filmmaterial zu komponieren. Dies ist keine so einfache Aufgabe, da das System eine große Anzahl von Nebengeräuschen herausfiltern und genau bestimmen muss, welches Objekt welchem ​​Geräusch entspricht.

Die Interpretation visueller Inhalte ist eine Schlüsselaufgabe der Bildverarbeitung. In den letzten Jahren wurden in diesem Bereich viele beeindruckende Ergebnisse bei der Klassifizierung und Erkennung von Objekten, der Segmentierung, Verfolgung und 3D-Rekonstruktion erzielt. Das Erlernen des neuronalen Netzwerks der Beziehung zwischen visuellen Inhalten und Audiodaten ist jedoch noch ein ziemlich unerforschter Bereich.

In diesem Zusammenhang sollte angemerkt werden, dass das menschliche Gehirn zu erstaunlichen Dingen fähig ist. Zum Beispiel kann er einen „geeigneten“ Ton aufnehmen, der im Prinzip nicht existieren kann. Zum Beispiel das Geräusch einer wachsenden Blume, obwohl die Blumen im Prinzip keine Geräusche abgeben. Die Autoren des neuen Programms wollten die Funktionalität des menschlichen Gehirns im Bereich solcher Fantasien nicht kopieren. Obwohl dies möglich ist, denke ich.

Wie man Ton erzeugt

Eine der Optionen zum Auswählen von Ton für ein Objekt ist die Synthese von Ton gemäß den physikalischen Eigenschaften des Objekts im Video. Auf diese Weise kann jedoch eine sehr begrenzte Anzahl von Objekten geäußert werden.

Im Gegensatz dazu sammelten das System von Disney Research und die Swiss Higher Technical School in Zürich Samples von vorgefertigten Sounds aus echten Videos. Das Video zeigt Beispiele für solche Videos, die für das Training verwendet wurden.


Dann wurde dem System beigebracht, den gewünschten Klang von Außenstehenden zu trennen. Das Hauptprinzip bei diesem Verfahren besteht darin, in allen Videos eines Objekts einen ähnlichen Ton zu finden. Dieser Ton ist der Ton des Objekts, und alles andere ist Hintergrundgeräusch.

Nachdem das System gelernt hat, den geeigneten Ton für ein bestimmtes Objekt auszuwählen, bleibt die triviale Aufgabe bestehen, da die Erkennung von Objekten im Video des Bildverarbeitungssystems bereits recht gut durchgeführt wird.

Die Forscher führten Experimente an 9 Objekttypen mit jeweils 10–20 Videobeispielen von 15–90 s Dauer durch. Zur Auswahl der erforderlichen Sounds wurde der kNN-Klassifikator verwendet .



Eine Umfrage unter Personen ergab, dass sie vom Programm gefilterte Geräusche viel besser erkennen als ungefilterte Geräusche.

Wofür ist es?

Neben der logischsten Aufgabe des Selbsttrainings von Robotern und anderen künstlichen Intelligenzsystemen, die die Funktionalität des menschlichen Gehirns kopieren, ist die Tonabbildung auf grafische Objekte in vielen nützlichen Bildverarbeitungs- und Multimediaanwendungen nützlich. Zum Beispiel, um die Arbeit eines Noise Trucks zu automatisieren - ein Spezialist für die Aufzeichnung von Soundeffekten in Filmen und Computerspielen.

Es ist bekannt, dass beim Aufnehmen von Filmen die Töne nicht zu ausdrucksstark sind. Um die Ausdruckskraft des Films zu verbessern, werden Soundeffekte separat auf die Videosequenz angewendet. Es wird also ein viel spektakulärerer und spektakulärerer Film. Darüber hinaus hilft der Rauschunterdrücker, Fehler zu beseitigen, wenn der tatsächliche Ton nicht mit der Videosequenz übereinstimmt. Zum Beispiel, wenn in einem Film der Held den Gegner hart trifft - aber in Wirklichkeit geben die Schauspieler nur vor, Treffer zu sein. In diesem Fall korrigiert der Geräuschunterdrücker den Defekt, dh er erzeugt realistische Geräusche von Knochenknirschen, Fleischfressen, fließendem Gehirn und anderen attraktiven Effekten.

Eine weitere mögliche Anwendung des Programms ist die Sprachausgabe für Menschen mit Hörbehinderungen. Jetzt können sie nicht nur die Umgebungsgeräusche hören, sondern sie auch in bester Qualität, saftig und ohne unnötige Geräusche - wie in einem Film. Normale Menschen ohne Hörbehinderung werden sogar Behinderte beneiden, da Athleten mit einem Bein neidisch auf die völlig beinlosen sind, die einen Wettbewerbsvorteil haben - fortgeschrittenere bionische Prothesen, so dass sie viel schneller laufen und leicht einbeinige (und sogar zweibeinige) Athleten besiegen können.

Solche Augmented-Reality-Technologien sind wahrscheinlich in der Unterhaltungsindustrie gefragt, in der eine Person die umgebende Realität über eine Computerschnittstelle wahrnimmt. Schließlich können wir unnötige Menschen aus der Welt um uns herum blockieren (wie in der Serie Black Mirror). Das System filtert einfach den Klang ihrer Stimme. Ersetzen Sie es durch einen anderen zulässigen Ton. Das Bild der blockierten Person wird durch ein anderes Objekt ersetzt, wobei die entsprechenden Töne erzeugt werden. Alternativ können Sie einfach die Stimmen von Kollegen im Büro und Verwandten ändern, um angenehmere Stimmen zu erhalten. Zum Beispiel kann die Stimme eines Freundes während abendlicher Liebkosungen in sexuelle Prononen geändert werden, fehlende Geräusche hinzufügen usw.

Source: https://habr.com/ru/post/de399317/