👩🏻‍⚖️ 📟 ⏱️ VicoVR - die Feinheiten der Entwicklung eines russischen Controllers für die mobile virtuelle Realität 👩🏿‍💼 🚿 🔁

3DiVi hat kürzlich sein VicoVR-Projekt am IndieGoGo-Crowdfunding-Veranstaltungsort vorgestellt, wo 75.000 US-Dollar gesammelt werden sollen.

Meine Fragen wurden vom technischen Direktor von 3DiVi, Andrey Valik, beantwortet.

VicoVR ist ein Sensor für die mobile virtuelle Realität. Wir können sagen, dass dies ein 3D-Sensor mit integrierter Tiefenkartenverarbeitung ist, der vorgefertigte Daten über Bluetooth auf ein Smartphone oder ein anderes Gerät überträgt und so Ihren Körper in die virtuelle Realität überträgt.

Erzählen Sie uns mehr über das Produkt.

Im Hardware-Teil besteht der Sensor aus einem 3D-Sensor (wir verwenden das Orbbec-OEM-Modul) und einer Steuerung zur Verarbeitung der vom Sensor empfangenen Tiefenkarte und zur Übertragung von Daten an das Smartphone.

Die Software besteht aus zwei Teilen: der
Firmware, die auf der Sensorsteuerung ausgeführt wird. Hier ist der Hauptwert die Software, die unsere Middleware enthält, um Tiefenkarten zu verarbeiten, Segmente von Personen auszuwählen, Skelette weiter auszuwählen und Gesten zu erkennen. Wir entwickeln Middleware seit mehr als vier Jahren.

Der Client-Teil, der auf einem Smartphone ausgeführt wird, empfängt tatsächlich Daten und überträgt sie an die Top-Anwendung.

Daher haben wir die Schwergewichtsverarbeitung der Tiefenkarte vom Smartphone entfernt und alle Ressourcen für die Arbeit mit VR freigesetzt. Wir haben hart gearbeitet und arbeiten weiter daran, die Latenz bei der Verarbeitung und Übertragung von Daten zu verringern. Es wurde viel Arbeit geleistet, um Daten bei der Übertragung über Bluetooth zu optimieren und zu komprimieren.

Was sind Ihre Ziele beim Start einer Crowdfunding-Kampagne?

Wir haben uns 2 Ziele gesetzt:

Erforschen Sie den Markt und finden Sie das Interesse der Menschen an einer ähnlichen Lösung für Mobile VR heraus.
Sammeln Sie Vorbestellungen und sammeln Sie Geld, um mit der Produktion von Sensoren zu beginnen.

Was ist der Unterschied zu Microsoft Kinect?

Das physikalische Prinzip des Sensors ist das gleiche, aber die gesamte Verarbeitung der Tiefenkarte wird auf den Sensor selbst übertragen. Auf diese Weise befreien wir das Host-Gerät von der Tiefenkartenverarbeitung und der Gestenerkennung und lassen alle Ressourcen für die endgültige Anwendung übrig. Darüber hinaus verfügen wir über eine drahtlose Schnittstelle für die Kommunikation mit dem Host-Gerät.

Wir haben uns auch auf die Optimierung unserer Middleware für ARM-Plattformen konzentriert, die energieeffizienter als Desktop-Lösungen, billiger und kompakter sind und es uns ermöglichen, Daten in Echtzeit auf dem integrierten Controller zu verarbeiten. Darüber hinaus positioniert Microsoft Kinect nicht als Sensor für VR-Anwendungen.

Und warum haben Sie sich entschieden, sich auf die mobile virtuelle Realität zu konzentrieren?

Wir sehen die Zukunft in der mobilen virtuellen Realität und nicht in Desktop-VR-Lösungen.

Die Vorteile der mobilen VR-Plattform gegenüber schweren Desktop-VR-Lösungen sind folgende:

Billigkeit
Mangel an Drähten
Kontinuierliche Aktualisierung von Smartphones und schrittweise Annäherung ihrer Funktionen an Desktop-Lösungen
Erhöhung des Marktanteils von mobilen Spieleanwendungen

Derzeit hat Google die Ankündigung einer Softwareplattform für die mobile virtuelle Realität Daydream veröffentlicht. Diese Plattform wird im Herbst dieses Jahres veröffentlicht und ist das nächste Android-Update für Smartphones, die diese Plattform unterstützen.
Diese Plattform wird die Qualität der mobilen virtuellen Realität der Qualität von Desktop-Lösungen näher bringen, um Verzögerungen und Komfort zu minimieren. VicoVR wird eine großartige Ergänzung zu Daydream sein ...

Haben Sie die gesamte Entwicklung durchgeführt oder sich an Drittunternehmen gewandt?

Das Design des Sensorgehäuses wurde von Innozen Design für uns entwickelt, der Rest liegt ganz bei uns.
Für Hardware erhielten wir Unterstützung von Samsung - sie waren an unserem Projekt interessiert und als Ergebnis haben wir einen Controller auf einem Exynos-Prozessor hergestellt.

Produktion und Montage wo wird es passieren?

Produktion und Montage erfolgen in China und Taiwan. Die Endmontage, Prüfung und Verpackung erfolgt bei Foxconn in Taiwan. Dieses Unternehmen konsolidiert die Produktion der meisten 3D-Sensoren auf dem Markt. Für Start-up-Projekte wie das unsere produzieren sie die ersten Testchargen in Taiwan beim Mutterunternehmen und übertragen sie dann mit zunehmendem Produktionsvolumen in andere Länder.
Leiterplatten werden in Taiwan von Foxconn-Partnern hergestellt, montiert und getestet. Gehäuseteile werden in China hergestellt.

Erzählen Sie uns von den ersten Prototypen.

Wir haben mit Prototypen mit Asus Xtion-Sensoren und Odroid U3-Debugboards begonnen. Die erste Demonstration wurde im März 2015 bei MWC durchgeführt. Danach haben wir begonnen, unseren Controller zu entwickeln. Im Oktober 2015 wurde bereits die erste Überarbeitung des Prototyps auf unserem Controller gestartet. Bisher ohne Fall in Form einer separaten Karte

Im Dezember haben wir den Fall und die zweite Revision des Controllers erstellt, das erste Beispiel zusammengestellt und auf der CES 2016 demonstriert. Derzeit wird die dritte Revision des Controllers mit einem Coprozessor getestet, um die Verbindung zu iOS zu autorisieren. Anscheinend ist dies die endgültige Revision. die in die Massenproduktion gehen, wenn es keine Probleme mit Zertifizierungen für elektromagnetische Verträglichkeit gibt.

Wir haben zwei Gehäusemodelle hergestellt, eines aus einer Legierung aus Zink und Aluminium, das zweite enthält teilweise Kunststoffelemente zu günstigeren Preisen. Wir testen derzeit beide.

Welche Schwierigkeiten hatten Sie im Designprozess? Was hat sich erheblich verändert?

Es gab alle möglichen Schwierigkeiten, es ist gut, wenn sie es sind, sonst wäre es langweilig zu leben :) Die allererste Schwierigkeit, auf die wir stießen, war die Suche nach russischen Herstellern, die eine Leiterplatte mit einer solchen Komplexität wie unserer herstellen können.

Die technologische Komplexität der Platine wird durch die verwendeten Komponenten bestimmt - dies sind Chips im BGA-Paket: PMIC mit einem Abstand von 0,4 mm und SoC (Samsung Exynos) mit einem Abstand von 0,5 mm. In diesen Fällen werden HDI-Leiterplatten (High Density Interconnection) mit einer hohen Verbindungsdichte verwendet.

Diese Technologie verwendet blinde und vergrabene Durchkontaktierungen. Ihre Besonderheit liegt darin, dass sie nicht über die gesamte Leiterplatte, sondern nur bis in die Tiefe mehrerer Schichten ausgeführt werden. "Sacklöcher" verbinden eine der äußeren Schichten mit den inneren (von einem Laser durchgeführt), und "versteckte" verbinden die Topologie zwischen den inneren Schichten. Sie haben keinen Zugang zu den äußeren Schichten (je nach Durchmesser und Tiefe werden sie entweder durch Laser- oder konventionelles Bohren durchgeführt). .

Diese Arten von Löchern begrenzen die Dicke der Dielektrika - die Tiefe des Lochs darf seinen Durchmesser nicht überschreiten. Die dielektrische Dicke zwischen den Metallisierungsschichten beeinflusst wiederum die Konfiguration von Hochgeschwindigkeitspfaden (in unserem Fall DDR3). Bei einem dünnen Dielektrikum müssen diese Pfade eine geringe Breite (in unserem Fall bis zu 79 μm) haben, um die erforderliche Impedanz sicherzustellen. Außerdem ist eine geringe Leiterbreite erforderlich, um die Verbindungen zwischen Exynos-Pads auszugeben - wir haben 65 Mikrometer. Die Lücken zwischen den Topologieelementen im Exynos-Trace-Bereich und dem RAM sind am größten und betragen 65 Mikrometer.

Für HDI-Karten ist die Einführung mehrerer Metallisierungszyklen von Löchern, das Füllen der Hohlräume von Mikrolöchern, typisch (für die Implementierung der sogenannten gestapelten Via-Composite-Durchkontaktierungen). All dies erfordert zusammen mit der geringen Größe der Topologie engere Toleranzen bei der relativen Positionierung der Schichten, den Prozessen des Pressens dünner dielektrischer Materialien, den Prozessen des chemischen Ätzens und Abscheidens von Kupfer auf die Folie und dem Aufbringen einer Endbeschichtung auf die Kontaktflächen.

Einer der Hersteller in der Russischen Föderation erklärte sich zunächst bereit, die erforderlichen Arbeiten durchzuführen, stellte dann jedoch Anforderungen für die Neugestaltung der Leiterplatte, um die Komplexität zu verringern. Wir führten mehrere Iterationen durch, die schließlich fast zwei Monate dauerten, und beschlossen daher, die chinesischen Hersteller direkt zu kontaktieren. Der erste Prototyp einer Leiterplatte wurde in China hergestellt, und dann empfahl uns Foxconn seinen Leiterplattenpartner in Taiwan.

Die Installation von Leiterplatten für Prototypen und Tests während der Entwicklung erfolgt in Tscheljabinsk auf der Technocom.

Dann gab es Probleme beim Kauf von Verpackungen für Prototypen. Beispielsweise werden einige Komponenten, die im Devkit von Samsung empfohlen wurden, einfach nicht nach Russland geliefert.

Separates Lied mit Zollabfertigung und Kommissionierung. Zum Beispiel haben wir fast einen Monat lang eine Charge von Orbbec-Sensoren vom Zoll abgefertigt.

Wir werden höchstwahrscheinlich nach China gehen, um die nächste derartige Eisenentwicklung durchzuführen, bei der Sie die Entwicklungszeit trotz des aktuellen „Trends“ zur Importsubstitution und zur Verlagerung der Produktion nach Russland um etwa die Hälfte reduzieren können.

Infolgedessen haben sie zuerst den U-Boot im internen Speicher des Prozessors ausgelöst und dann zwei Wochen lang die DDR gestartet, bis sie in der Beschreibung von dreieinhalbtausend Seiten auf eine einfache Erwähnung spezieller Speicherschutzregister stießen und durch die Methode des wissenschaftlichen Stocherns die erforderliche Konfiguration fanden :)
Als nächstes luden sie den Kernel und stellen Sie eine minimale Verteilung basierend auf Ubuntu zusammen.
Dann gab es einen langen Kampf mit dem Bluetooth-WLAN-Controller und seiner Firmware.

Im Moment sind alle dringenden Probleme mit eisernem Charakter gelöst, wir zeigen Sensoren auf verschiedenen Ausstellungen. Die Entwicklung erfolgt im Bereich der Softwareoptimierung für unsere Hardware.

Erzählen Sie uns von der Füllung, welchen Prozessor verwenden Sie usw.?

Der Prozessor wird von der Samsung Exynos HEXA 5260 SCP-Variante verwendet, dh ohne darauf installierten DDR-Speicher.
RAM ist auch Samsung DDR3 Dual Channel 1 GB
EMMC ist auch Samsung 4GB
Bluetooth-WiFi-Modul AP6210.

Wie wurde das Design entwickelt?

Für die Entwicklung des Designs wandten sie sich zunächst an eine russische Firma, erhielten Skizzen und hakten sie irgendwie nicht ein.
Dann wurden wir von Innozen Design empfohlen, erhielten von ihnen Skizzen von drei Optionen und mochten das Power Crystal-Konzept am meisten.

Woran arbeiten Sie genau?

Jetzt arbeiten wir an der Softwareoptimierung. Maximierung der Prozessorressourcen und Reduzierung der Verarbeitungszeit. Darüber hinaus wird daran gearbeitet, die Qualität der Skelettierung zu verbessern.

Besondere Aufmerksamkeit verdient die Entwicklung von Anwendungen und Managementansätzen in der virtuellen Realität. Derzeit wurden mehr als 10 Anwendungen für unseren Sensor und unsere mobile VR entwickelt, einige werden von uns selbst erstellt, andere sind unsere Partner. Sie müssen nach bequemen, intuitiven und einfachen Möglichkeiten suchen, um mit VR zu interagieren.

Das Hauptproblem, mit dem Benutzer konfrontiert sind, ist Übelkeit. Jetzt finden Sie häufig den Begriff Virtual-Reality-Krankheit. Dies geschieht aufgrund der Inkonsistenz von Bewegungen in der VR mit Bewegungen im wirklichen Leben oder vielmehr nicht einmal Bewegungen, sondern Beschleunigungen, die auf den menschlichen Vestibularapparat wirken.

Viele schreiben, dass dies stark von der Verzögerung bei der Übertragung von Bewegungen und Bewegungen auf den Bildschirm des VR-Helms beeinflusst wird. Seit fast zwei Jahren entwickeln und testen wir verschiedene Anwendungen für VR mit aktiven Bewegungen, die von unserem Sensor überwacht werden und zu dem Schluss kommen, dass es in VR zwei Arten von Bewegungen gibt:

Kopfdrehung. Nach unserer Erfahrung sollten sie schnell und mit minimaler Verzögerung ausgearbeitet werden, was im Prinzip dadurch gelöst wird, dass sie im Smartphone auf Basis seiner Sensoren oder auf Basis von Helmsensoren, beispielsweise GearVR, verarbeitet werden. Die kürzlich angekündigte Google Daydream-Plattform wird diese Verzögerung weiter reduzieren. Diese Verzögerung ist für den Komfort in der VR sehr wichtig, da hier immer Beschleunigungen auftreten und Sie nicht darauf verzichten können.

Lineare Verschiebungen. Diese Bewegungen sind nicht sehr kritisch, vorausgesetzt, dass Beschleunigungen häufig fehlen oder mit menschlichen Handlungen koordiniert sind. Es gibt zwei Möglichkeiten, um die Unannehmlichkeiten in der VR bei linearen Bewegungen zu vermeiden:
Beschleunigung beseitigen. Es ist möglich, Beschleunigungen auszuschließen - zum Beispiel Spiele wie Läufer, die sich mit konstanter Geschwindigkeit in eine Richtung bewegen oder einfach an Ort und Stelle spielen, ohne sich zu bewegen, oder Teleportation verwenden, um sich in VR zu bewegen.
Die Koordination menschlicher Bewegungen im realen Leben und in der VR. Wenn das menschliche Gehirn widersprüchliche Informationen von den Sehorganen und vom Vestibularapparat erhält, entstehen Übelkeit und unangenehme Empfindungen. Wenn nach unserer Erfahrung die Bewegungen in der Realität (die vom Vestibularapparat kommen) mit den Bewegungen in der VR (die von den Sehorganen kommen) übereinstimmen, kompensiert das Gehirn leicht die Verzögerung zwischen ihnen und es gibt keine unangenehmen Empfindungen. Die Hauptsache ist also, Bewegungen von der realen Welt in die virtuelle Welt zu übertragen, wenn auch mit einer leichten Verzögerung, auf die bestmögliche Weise. Und so viel wie möglich, um nicht vorhergesagte Beschleunigungen in VR auszuschließen.

Wir stehen ständig vor der Aufgabe, die Qualität der Skeletterkennung zu verbessern, um Übertragungsfehler zu reduzieren.

Was sind deine Zukunftspläne?

Sofort ist geplant, eine ausreichende Anzahl von Vorbestellungen für die Crowdfunding-Kampagne zu sammeln und die Produktion aufzunehmen. Bis zum Jahresende ist alles ziemlich eng geplant.

1. EVT (Engineering Validation Test) 03/2016 - 05/2016, wir sind bereits am Ende dieser Phase.
- Prüfung und Korrektur von Leiterplatten
- Formenbau
- Entwicklung von Prüfständen für die Produktion
- Zusammenbau von 15 EVT-Proben zum Testen
- Herstellung von Entwicklungskits für Entwickler

2. DVT (Design Validation Test) 05/2016 - 07/2016
- Leiterplattenkorrektur
- Druckmaschinenkorrektur -Form
- Herstellung von 20 DTV-Proben
- Beginn der Zertifizierungsverfahren, FCC, CE, Laser

3. Produktvalidierungstest 07/2016 - 09/2016
- Montage und Prüfung von 100 PVT-Proben
- Abschluss der Zertifizierung, FCC, CE, Laser

4. MP - 11/2016, das erste Volumen 5000 Stück.
Produktionsstart der ersten Charge von 5000 Stück.

Ende dieses Jahres wird es bereits erforderlich sein, mit der Entwicklung der nächsten Generation der Steuerung unter Verwendung eines neuen Prozessors und eines neuen Sensors zu beginnen. Wir haben Angebote von Asus, das neue 3D-Sensormodul in Zukunft einzusetzen, und Samsung hat Vorschläge für neue Prozessorlinien unterbreitet. Wir freuen uns auch auf die Veröffentlichung der Google Daydream-Plattform für die Portierung unseres SDK und unserer Anwendungen.

VicoVR - die Feinheiten der Entwicklung eines russischen Controllers für die mobile virtuelle Realität