Sound Vision VOICe Vision. Schau aus der Dunkelheit

Forscher und Technikbegeisterte Igor Trapeznikov erfuhren einmal, dass Blindheit nicht behandelt wird und diejenigen, die ihr Augenlicht verloren haben, dazu verdammt sind, in der Dunkelheit zu leben. Und 10 Jahre später stellte Igor ein Gerät vor, das blinden Menschen die Möglichkeit gab, die Welt um sie herum noch einmal zu sehen.

Die moderne Medizin ist gegen viele Augenkrankheiten machtlos. Einige von ihnen führen zu völliger Blindheit und keine Technologie kann einer Person wieder eine Vision geben.

Außer einem.



In den 60er Jahren des 20. Jahrhunderts erfand der amerikanische Neurophysiologe Paul Bach-u-Rita die Technologie des sensorischen Ersatzes. Basierend auf der Eigenschaft der Neuroplastizität des Gehirns, die es bestimmten Bereichen des Gehirns ermöglicht, sich unter dem Einfluss von Erfahrung zu verändern, verlorene Verbindungen nach einer Schädigung wiederherzustellen oder neue Verbindungen aufzubauen, schlug er vor, dass man lernen kann, eine Art der Wahrnehmung einer anderen zu ersetzen.

Paul Bach-u-Rita schuf das BrainPort-Gerät, das mit Hilfe von Elektroden das Signal der Videokamera nach einem bestimmten Algorithmus in elektrische Impulse umwandelt. Die Elektroden sind an der Sprache angebracht, und eine Person, die den Algorithmus gelernt hat, kann in der Umgebung navigieren, ohne das normale Sehen zu verwenden. Aufgrund der Neuroplastizität des Gehirns erreichen visuelle Informationen nach einigen Tagen im Blinden mithilfe von BrainPort den visuellen Kortex. Sie fangen buchstäblich an zu sehen.

Aber Berührung ist nicht die perfekteste Art der Wahrnehmung, die dem Menschen zugänglich ist, und noch mehr - nicht die bequemste und genaueste. Wenn wir eine andere zugrunde legen, die eine größere Anzahl von Gehirnneuronen verwendet, ist die Substitution genauer und von hoher Qualität. Ein Blinder wird besser sehen.



In den neunziger Jahren schlug der niederländische Ingenieur Peter Meyer vor, anstelle von Berührungen das Hören zu verwenden. Er entwickelte den Sound Vision-Algorithmus - ein Modell zur Umwandlung eines Bildes in Geräusche verschiedener Lautstärke und Höhe, die dessen Bedeutung vermitteln können. Das Videobild wurde einmal pro Sekunde in Frames aufgeteilt, das Frame wurde in Monochrom konvertiert, und dann wurde jedes Pixel des Bildes durch einen bestimmten Ton und eine bestimmte Lautstärke zum Ausdruck gebracht - und so einmal pro Sekunde.

Sein Plan war ein Erfolg. Der Algorithmus hat funktioniert. Und Menschen, die Sound Vision verwendeten, konnten wieder sehen. Die technische Umsetzung der Idee mit modernen Technologien und praktischen Designlösungen zu realisieren, erwies sich jedoch als schwierige Aufgabe.

Der russische Neurophysiologe und Forscher Igor Trapeznikov hat sich vor vielen Jahren für sensorische Ersatztechnologie interessiert. Seine Neugier war kein müßiges Hobby. Aufgrund des Astigmatismus verlor Igor sein Augenlicht und die Probleme von sehbehinderten und blinden Menschen tauchten mit seinem eigenen Unglück am Horizont auf.

„Einmal brachte mein älterer Bruder ein Mikroskop aus der Schule und öffnete mir eine erstaunliche kleine Welt, die für das bloße Auge unsichtbar war. Dann dachte ich mir: Da ich das alles mit einem Mikroskop mit schlechtem Sehvermögen sehen konnte, können Sie sicher ein technisches Werkzeug erstellen, das mir auch hilft, die gewöhnliche Welt um mich herum gut zu sehen “, sagt Igor Trapeznikov. - „Alle um uns herum glaubten, dass eine Person, die ihre Sehkraft verloren hat, sie niemals wiederherstellen kann. "Blindheit kann nicht behandelt werden - eines der Stereotypen unserer Gesellschaft, die ich seit vielen Jahren zu brechen versucht habe."

2008 lernte Igor von Kollegen der FTE-Bewegung den Sound-Vision-Algorithmus von Peter Meyer kennen und interessierte sich für die Möglichkeit, ein Projekt in Russland umzusetzen. Igor kontaktierte den Autor und so entstand eine Freundschaft, die den Blinden Hoffnung gibt. Nachdem er den Algorithmus des Holländers studiert hatte, erkannte Igor, dass es möglich ist, ein Gerät zu schaffen, das auf dem Kopf getragen werden kann und das Bild nach dem von Peter Meyer vorgeschlagenen Prinzip in Ton umwandelt. So begann die Geschichte von VOICe Vision.


Die Abbildung zeigt die Konvertierungsprinzipien für ein einfaches Beispiel (Bild 8 × 8 Pixel, drei graue Halbtöne).

Der Mechanismus von Igor Trapeznikovs Gerät ist vollständig auf den Peter-Meyer-Algorithmus abgestimmt. Die Daten jedes Pixels werden in eine Matrix umgewandelt. Vertikale Position - in Frequenz, Helligkeit in Amplitude. Ein Pixel in einer höheren Position entspricht einem Ton mit höherer Frequenz. Je größer die Helligkeit eines durch einen Grauton dargestellten Pixels ist, desto größer ist die Amplitude („Lautstärke“) des entsprechenden Generators. Die Signalsummen für eine Spalte überlagern sich. Dann wird jede nachfolgende Spalte in Sound umgewandelt. Dieser Vorgang wird fortgesetzt, bis die Spalte ganz rechts in Sound umgewandelt wird. Für den nächsten Frame wird der Konvertierungsvorgang wiederholt.

„Die Idee entstand vor 10 Jahren. Während der ersten Experimente befestigten wir die Kameras an normalen Kappen und verwendeten Laptops in Rucksäcken für die Datenverarbeitung. Die aktive Arbeit begann im Jahr 2015, als es unserem Team mit Unterstützung von RTD gelang, dank Crowdfunding den richtigen Betrag an Spenden zu beschaffen. Mit diesem Geld wurden die ersten Prototypen von vOICe Vision hergestellt - Brillen mit integrierter Videokamera und Knochenleitungskopfhörern “, erinnert sich Igor.

Zu diesem Zeitpunkt trat 2015 Vadim Artsev, der Cheftester des Geräts, dem Team bei. Er war der erste Blinde, der lernte, wie man Sound Vision effektiv einsetzt. Heute wendet Vadim jeden Tag die Entwicklung von Igor Trapeznikov an und hängt davon ab, genau wie andere Menschen von ihren Augen abhängen.



„Am Anfang war es ungewöhnlich und schwer. Die von vOICe vision erzeugten Geräusche schienen fantastisch und sahen nicht nach irgendetwas aus “, gibt Vadim vier Jahre später zu. - „Ich musste in kurzen Kursen lernen, die nicht länger als 10 Minuten dauerten, und bei längerem Gebrauch des Geräts wurde mir schwindelig. Das lag aber nur daran, dass ich die Bedeutung all dieser Geräusche nicht verstand. Im Laufe der Zeit studierte ich jedoch Peter Meyers Algorithmus und konnte alles sortieren, was ich hörte. Jetzt kann ich Ihre Silhouette leicht erkennen und kann zumindest den ganzen Tag kommunizieren, ohne von den Geräuschen der VOICe Vision abgelenkt zu werden und gleichzeitig von ihnen im Raum geführt zu werden. Dies ist eine Frage der Gewohnheit und Erfahrung. Es ist schwer, lange Zeit Chinesisch zu hören, ohne es zu wissen. Aber wenn Sie Chinese sind, werden Sie es jeden Tag leicht selbst sprechen. “

Igor Trapeznikov vergleicht den im vOICe Vision Soundtrack kodierten Algorithmus von Peter Meyer mit einer Fremdsprache. Jeder Trainingstag verbessert nur ihre Fähigkeiten. Und genau aus diesem Grund übertrifft Sound Vision andere Rehabilitationsmethoden für Blinde, selbst die teuersten und modernsten.

„Bionische Augenimplantate, die häufig im Medienbereich als radikalste und effektivste Lösung für Blinde präsentiert werden und die wiederum das Sehen ermöglichen, sind Sound Vision in jeder Hinsicht unterlegen. Erstens ist die Bildqualität viel geringer. Zweitens erfordert die Installation des bionischen Sehens komplexe chirurgische Eingriffe. Und drittens heilt und wächst das Nervengewebe, mit dem die künstlichen Augen verbunden sind. Infolgedessen verschlechtert sich der bionische Kontakt und das Sehvermögen geht mit der Zeit wieder verloren. Wenn Sie VOICe Vision verwenden, werden die Fähigkeiten von Tag zu Tag besser und die umgebende Welt wird stärker in Anspruch genommen. Dies, ganz zu schweigen vom Preis. Eine VOICe-Brille kostet zusammen mit dem Training das Zehnfache “, erklärt Igor Trapeznikov.



Seine Worte bestätigen die Ergebnisse von Wettbewerben, bei denen Reha-Einrichtungen gegeneinander antreten und Menschen mit Behinderungen sie nutzen. Letztes Jahr fand in Samara Neurotlon statt, der Name dieses Wettbewerbs. Piloten mit Bionic Vision, Ultraschallrohr und Sonic Vision kamen auf einem Hindernisparcours zusammen. VOICe Vision wurde von Vadim Artsev vertreten. Mit dem Gerät von Igor Trapeznikov war er doppelt so schnell wie die anderen Teilnehmer, ohne einen einzigen Fehler zu machen.

Das Hauptproblem von Sound Vision liegt in seinem Hauptvorteil. vOICe vision bietet die Möglichkeit, die Welt mithilfe des von Peter Meyer entwickelten Algorithmus in einer anderen Sprache zu sehen. Und jede Sprache muss zuerst gelernt werden. Daher ist Sound Vision für eine unvorbereitete Person nichts anderes als eine ungewohnte Menge von Geräuschen. Um Blinden beizubringen, es zu verstehen, müssen Sie zuerst eine Lehrmethode erstellen.

Im Vision-Team von vOICe fiel diese Aufgabe Svetlana Lebedeva, klinische Psychologin und wissenschaftliche Mitarbeiterin am Institut für biomedizinische Medizin RAS, auf die Schultern. Svetlana konnte den Peter-Meyer-Algorithmus studieren und ein Schulungsprogramm schreiben, Aufgaben für die Online-Schulungsplattform entwickeln und die Arbeit des vOICe vision Training Center organisieren. Heute unterrichtet sie erfolgreich Sound Vision für Blinde.

„Eine neue Art der Wahrnehmung der Welt zu lernen, ist immer eine Herausforderung. Es braucht Zeit und Mühe - eine Person durchläuft wie ein Kind die Phasen diffuser Wahrnehmung, Synkreta, Vorurteil und schließlich Konzepte - d. H. durchläuft alle Phasen der Ideenbildung, die auf einer neuen Wahrnehmungsweise beruhen. Mithilfe des Rückkopplungsmechanismus beginnt er zunächst, einzelne Objekte von der Umgebung vom Klang zu isolieren, bemerkt dann die Unterschiede zwischen den Klangmustern und Formen verschiedener Objekte und beginnt erst dann zu „erraten“, ob der Klang eines unbekannten Objekts zu einer bestimmten Kategorie von Dingen gehört. Dies ist ein sehr interessanter Prozess für Fachleute - das Unterrichten von Sound Vision ähnelt den klassischen Experimenten von Vygotsky und Piaget und stellt grundlegende Fragen im Bereich der Untersuchung der menschlichen Wahrnehmung im Erwachsenenalter. Die Schüler empfinden die Entwicklung einer neuen Wahrnehmung jedoch als prosaischer - als würde man jede andere komplexe Fähigkeit im üblichen Arbeitsrhythmus des Lebens erlernen. Dies sind immer Fragen der internen Ressourcen und der persönlichen Erzählung “, sagt Svetlana Lebedeva.



Dank des entwickelten Schulungsprogramms stehen den Studenten nun alle erforderlichen externen Ressourcen zur Verfügung. Besonderes Augenmerk wird auf Motivationsfragen gelegt.

„Unser Training beginnt mit einem sorgfältigen Eintauchen in die Grundlagen von Sound Vision. Dann lernt eine Person unter Verwendung der Entwicklungsmechanismen einer unserer Hauptwahrnehmungsweisen, in der Welt der neuen Klänge zu navigieren. Die vOICe Vision Trainer helfen ihm dabei - erfahrene Psychologen, die wissen, wie man eine Person unterstützt und den Verlauf ihrer Ausbildung steuert. Meine Kollegin Daria Shibankova hilft mir dabei sehr. Wir haben alles für umfassende Schulungen - Konsultationen mit Trainern und Psychologen, Hausaufgaben, unsere virtuelle Lehrbuchplattform, gegenseitige Unterstützung der Benutzer. Letzten Sommer haben wir zwei Treffen mit Leuten mit Sound Vision-Kenntnissen abgehalten. Ich hoffe, dass dies eine gute Tradition sein wird - alle Entdecker möchten in der Gesellschaft von Gleichgesinnten mit ähnlichen Erfahrungen sein. Sound Vision funktioniert, es ist ein kleines Geschäft, es zu popularisieren “, sagt Svetlana Lebedeva.

Und dennoch bleibt die wichtigste Frage: Was genau gibt einem Blinden eine VOICe-Vision? Was bekommt er? Wofür gibt er sein Geld aus? Wie ein Mann mit einem bionischen Auge sieht, gibt es für niemanden ein Geheimnis. Das "Bild" des künstlichen Sehens wurde in Pressemitteilungen mehrfach demonstriert. Mit einem vom Sensor-Tech Laboratory entwickelten und im Open Access veröffentlichten ophthalmologischen VR-Simulator können Sie die Welt mit einem bionischen Auge „betrachten“.

Aber wie kann man die Effektivität von Sound Vision bewerten, ohne die Peter Meyer-Algorithmus-Sprache zu beherrschen?

„Diese Frage kann auf zwei Arten beantwortet werden - aus Sicht der Forschung und aus Sicht der Wissenschaft“, sagt Igor Trapeznikov. „Das erste ist einfacher. Befragen Sie diejenigen, die Sound Vision bereits beherrschen. Die zweite beinhaltet die Untersuchung des Gehirns unter Verwendung eines Enzephalogramms und einer Magnetresonanztomographie. Solche Studien wurden bereits durchgeführt. Ein bisschen, aber sie waren es. Und der wissenschaftliche Ansatz zeigt, dass bei längerem Einsatz von Sound Vision im Gehirn diejenigen Zonen aktiviert werden, die genau für visuelle Empfindungen verantwortlich sind. Eine Person fühlt das Bild. "

Um zu verstehen, wie das funktioniert, schlägt Igor vor, ein solches Experiment durchzuführen. Schauen Sie während eines Gesprächs mit einer Person sorgfältig auf ihr Gesicht und schließen Sie dann scharf die Augen. Das Bild des Gesprächspartners bleibt im Gedächtnis erhalten und wird sofort von der Fantasie gezeichnet. Laut dem Schöpfer von vOICe Vision erzeugt subjektiv Sound Vision auf ähnliche Weise ein Gefühl für ein Bild. Dies gilt für die Raumtiefe, die Silhouetten von Objekten und Objekten sowie für dunkle und helle Farben.

Jeder kann heute eine VOICe-Vision-Brille kaufen, jetzt wurde die Produktion in kleinem Maßstab gestartet. Der Entwickler versucht, mit wichtigen Organisationen zusammenzuarbeiten, die Blinde unterstützen. In der Tat haben in Russland nicht viele Menschen mit Behinderungen die Möglichkeit, eigenständig ein Rehabilitationsinstrument zu erwerben.

„Wir möchten die visuelle Vision allen sehbehinderten Menschen in Russland zugänglich machen. Aber in Russland wird dies noch ein langer Weg sein. Um unsere Brille als medizinisches Hilfsmittel für die Rehabilitation von Blinden zu registrieren, ist es erforderlich, eine Reihe von klinischen Studien durchzuführen, die beispielsweise nachweisen, dass das Sehvermögen von VOICe für unsere Gesundheit gesundheitlich unbedenklich ist - aus Sicht von Augenärzten und anderen Ärzten “, erklärt Igor Trapeznikov.



Und das trotz der Tatsache, dass sich Sound Vision in Russland bereits bewährt hat. Die Erfahrung mit der Verwendung und dem Testen von vOICe vision ist positiv und zeigt eine hohe Effizienz. Letztes Jahr wurde das Projekt über die Moskauer Innovationsagentur Finalist des Open Inquiries-Wettbewerbs und dieses Jahr wurde es sein Gewinner. Das Gerät wurde erfolgreich in einer Pension für Blinde im Dorf Malino in der Region Moskau getestet. Basierend auf dieser Praxis wurden Expertenbewertungen gesammelt, die Blinden empfehlen, Sound Vision-Fähigkeiten zu erlernen.

„Die Mission von vOICe Vision ist es, Sound Vision allen Menschen zur Verfügung zu stellen, die ihr normales Sehvermögen verloren haben, es in Zukunft verlieren werden oder blind geboren wurden. Im 19. Jahrhundert verbreitete Louis Braille das taktile Alphabet auf der ganzen Welt. Und heute ist der Standard für alle Blinden. Wir möchten diesen Weg wiederholen und dasselbe mit vOICe vision tun, da dies das einzige Gerät auf der Welt ist, mit dem Sie buchstäblich mit Ton sehen können. Funktionell verwandeln sich diejenigen, die Sound Vision beherrschen, von blind zu sehbehindert. Sobald eine solche Gelegenheit für alle Blinden und die Vision von VOICe für sie verfügbar ist, halte ich unsere Mission für erfüllt “, schließt Igor Trapeznikov.

Der Erfolg des Projekts hängt jedoch nicht nur von Igor und seinem Team ab. In Russland wie auch in anderen Ländern braucht die Rehabilitationsindustrie staatliche Unterstützung. Und doch kann jeder dem Projekt helfen, zumindest im Medienraum. Informationen sind schließlich die Hauptwaffe des 21. Jahrhunderts. Eine kurze Geschichte mit Freunden, Kollegen oder ein banaler Beitrag in sozialen Netzwerken kann die Zukunft von VOICe Vision verändern ... Und die Zukunft derer, die ihr Leben ihm gewidmet haben, die eine Alternative zur ewigen Dunkelheit geschaffen und den Menschen Hoffnung gegeben haben.



Peter Meyer schuf den Algorithmus der Hoffnung, Igor Trapeznikov verkörperte ihn in einem technischen Gerät, und Svetlana Lebedeva, die lehrt, weckt diese Hoffnung in den Herzen derer, die nicht im Dunkeln leben wollen.

Ivan Chimbulatov