🔚 💎 🎑 VicoVR - les subtilités du développement d'un contrôleur russe pour la réalité virtuelle mobile 👬 👨‍👨‍👦‍👦 🛀

3DiVi a récemment dévoilé son projet VicoVR sur le site de financement participatif IndieGoGo, où il prévoit de lever 75 000 $.

J'ai répondu à mes questions par le directeur technique de 3DiVi, Andrey Valik.

VicoVR est un capteur pour la réalité virtuelle mobile. Nous pouvons dire qu'il s'agit d'un capteur 3D avec traitement de carte en profondeur intégré, qui transfère des données prêtes à l'emploi via Bluetooth vers un smartphone ou tout autre appareil, transférant ainsi votre corps à la réalité virtuelle.

Dites-nous en plus sur le produit.

Dans la partie matérielle, le capteur est composé d'un capteur 3D (nous utilisons le module OEM Orbbec) et d'un contrôleur pour traiter la carte de profondeur reçue du capteur et transmettre les données au smartphone.

Le logiciel se compose de deux parties: le
micrologiciel, qui s'exécute sur le contrôleur du capteur. Ici, la valeur principale est le logiciel que notre middleware contient pour le traitement des cartes de profondeur, la sélection de segments de personnes, la sélection des squelettes et la reconnaissance des gestes. Nous développons des middlewares depuis plus de quatre ans.

La partie client, qui s'exécute sur un smartphone, reçoit en fait des données et les transfère à l'application supérieure.

Ainsi, nous avons supprimé le traitement lourd de la carte de profondeur du smartphone, libérant ainsi toutes ses ressources pour travailler avec la VR. Nous avons travaillé dur et continuons de travailler pour réduire la latence dans le traitement et la transmission des données. Beaucoup de travail a été fait pour optimiser et compresser les données lors de la transmission via Bluetooth.

Quels sont vos objectifs lors du démarrage d'une campagne de crowdfunding?

Nous nous sommes fixés 2 objectifs:

sonder le marché et découvrir l'intérêt des gens pour une solution similaire pour VR mobile.
recueillir des précommandes et collecter des fonds pour démarrer la production de capteurs.

Quelle est la différence avec Microsoft Kinect?

Le principe physique du capteur est le même, mais l'ensemble du traitement de la carte de profondeur est transféré au capteur lui-même. Ainsi, nous libérons le périphérique hôte du traitement de carte en profondeur et de la reconnaissance des gestes, laissant toutes les ressources pour l'application finale. De plus, nous avons une interface sans fil pour communiquer avec l'appareil hôte.

Nous nous sommes également concentrés sur l'optimisation de notre middleware pour les plates-formes ARM, qui sont plus économes en énergie que les solutions de bureau, moins chères et plus compactes, ce qui nous permet de traiter les données en temps réel sur le contrôleur intégré. De plus, Microsoft ne positionne pas Kinect comme capteur pour les applications VR.

Et pourquoi avez-vous décidé de vous concentrer sur la réalité virtuelle mobile?

Nous voyons l'avenir dans la réalité virtuelle mobile, et non dans les solutions VR de bureau.

Les avantages de la plate-forme VR mobile par rapport aux solutions VR de bureau lourdes sont les suivants:

bon marché
manque de fils
mise à jour continue des smartphones et rapprochement progressif de leurs capacités en solutions de bureau
augmentation de la part de marché des applications de jeux mobiles

À l'heure actuelle, Google a publié l'annonce d'une plate-forme logicielle pour la réalité virtuelle mobile Daydream. Cette plate-forme sera publiée cet automne et en fait, ce sera la prochaine mise à jour Android pour les smartphones qui prennent en charge cette plate-forme.
Cette plateforme rapprochera la qualité de la réalité virtuelle mobile de la qualité des solutions de bureau en termes de minimisation des délais et de confort. VicoVR sera un excellent ajout à Daydream ...

Avez-vous mené l'ensemble du développement ou vous êtes-vous tourné vers des sociétés tierces?

La conception du boîtier du capteur a été développée pour nous par Innozen Design, et le reste est fait par nous-mêmes.
Pour le matériel, nous avons reçu le soutien de Samsung - ils étaient intéressés par notre projet et en conséquence, nous avons fabriqué un contrôleur sur un processeur Exynos.

Production et assemblage où se passera-t-il?

La production et l'assemblage se feront en Chine et à Taiwan. L'assemblage final, les tests et l'emballage auront lieu chez Foxconn à Taiwan. Cette société consolide la production de la plupart des capteurs 3D du marché. Pour des projets de démarrage comme le nôtre, ils produisent les premiers lots d'essai à Taïwan dans l'entreprise mère, puis, à mesure que le volume de production augmente, ils les transfèrent vers d'autres pays.
Les cartes de circuits imprimés sont fabriquées, assemblées et testées à Taïwan par les partenaires Foxconn. Les pièces du boîtier sont fabriquées en Chine.

Parlez-nous des premiers prototypes.

Nous avons commencé avec des prototypes utilisant des capteurs Asus Xtion et des cartes de débogage Odroid U3, la première démonstration a été faite au MWC en mars 2015. Après cela, nous avons commencé à développer notre contrôleur. En octobre 2015, la première révision du prototype a déjà été lancée sur notre contrôleur. Jusqu'à présent sans boîtier, sous la forme d'une carte séparée

En décembre, ils ont fait un boîtier et une deuxième révision du contrôleur, assemblé le premier échantillon et l'ont démontré au CES 2016. En ce moment, la troisième révision du contrôleur avec un coprocesseur est en cours de test pour autoriser la connexion à iOS, apparemment, c'est la révision finale, qui entrera dans la production de masse s'il n'y a pas de problèmes avec les certifications pour la compatibilité électromagnétique.

Nous avons fabriqué deux modèles de boîtiers, l'un en alliage de zinc et d'aluminium, le second contient des éléments partiellement en plastique pour moins cher. Nous testons actuellement les deux.

Quelles difficultés avez-vous rencontrées dans le processus de conception? Qu'est-ce qui a subi des changements importants?

Il y avait toutes sortes de difficultés, c'est bien quand elles le sont, sinon ce serait ennuyeux de vivre :) La toute première difficulté que nous avons rencontrée a été la recherche de fabricants russes capables de fabriquer une carte de circuit imprimé d'une complexité telle que la nôtre.

La complexité technologique de la carte est déterminée par les composants utilisés - ce sont des puces dans le boîtier BGA: PMIC avec un pas de 0,4 mm et SoC (Samsung Exynos) avec un pas de 0,5 mm. Ces cas impliquent l 'utilisation de cartes de circuits imprimés HDI (High Density Interconnection) à haute densité d' interconnexions.

Cette technologie utilise des vias aveugles et enterrés. Leur particularité réside dans le fait qu'elles ne sont pas réalisées à travers l'ensemble du circuit imprimé, mais uniquement à la profondeur de plusieurs couches. Les trous «aveugles» relient l'une des couches externes aux couches internes (effectuées par un laser), et ceux «cachés» relient la topologie entre les couches internes, ils n'ont pas accès aux couches externes (selon le diamètre et la profondeur, ils sont soit au laser soit au forage conventionnel) .

Ces types de trous imposent une limitation sur l'épaisseur des diélectriques - la profondeur du trou ne peut pas dépasser son diamètre. L'épaisseur diélectrique entre les couches de métallisation, à son tour, affecte la configuration des trajets à grande vitesse (dans notre cas, il s'agit de DDR3). Avec un diélectrique mince, ces trajets doivent avoir une petite largeur (dans notre cas, jusqu'à 79 μm) pour assurer l'impédance requise. De plus, une petite largeur de conducteurs est nécessaire pour sortir les connexions entre les pads Exynos - nous avons 65 microns. Les écarts entre les éléments de topologie dans la zone de trace Exynos et la RAM sont les plus sévères et s'élèvent à 65 microns.

Pour les cartes HDI, l'introduction de plusieurs cycles de métallisation des trous, le remplissage des cavités des micro-trous est typique (pour effectuer les soi-disant empilés via - vias composites). Tout cela, associé à la petite taille de la topologie, nécessite des tolérances plus strictes sur le positionnement relatif des couches, les processus de pressage de matériaux diélectriques minces, les processus de gravure chimique et de dépôt de cuivre sur la feuille, et l'application d'un revêtement de finition sur les plots de contact.

L'un des fabricants de la Fédération de Russie a d'abord accepté d'effectuer les travaux nécessaires, mais a ensuite commencé à proposer des exigences pour la refonte de la carte de circuits imprimés afin de réduire la complexité.Nous avons effectué plusieurs itérations, qui ont finalement pris près de 2 mois, et avons donc décidé de contacter directement les fabricants chinois. Le premier prototype de carte de circuit imprimé a été fabriqué en Chine, puis Foxconn nous a recommandé son partenaire PCB à Taiwan.

Installation de circuits imprimés pour prototypes et tests en cours de développement, nous le faisons à Tcheliabinsk sur le Technocom.

Ensuite, il y a eu des problèmes d'achat d'emballages pour les prototypes. Par exemple, certains composants recommandés dans le devkit de Samsung ne sont tout simplement pas livrés en Russie.

Chanson séparée avec dédouanement et cueillette. Par exemple, nous avons dédouané un lot de capteurs Orbbec pendant près d'un mois.

Nous sommes plus susceptibles d'aller en Chine pour faire le prochain développement de fer, où vous pouvez réduire le temps de développement d'environ la moitié, malgré la «tendance» actuelle vers la substitution des importations et le transfert de production vers la Russie.

En conséquence, ils ont d'abord soulevé le U-Boot dans la mémoire interne du processeur, puis pendant deux semaines, ont commencé le DDR, jusqu'à ce qu'ils rencontrent dans la description de trois mille cinq cents pages une mention facile des registres spéciaux de protection de la mémoire, et par la méthode de fouille scientifique, ils ont trouvé la configuration nécessaire :)
Ensuite, ils ont chargé le noyau et mettre en place une distribution minimale basée sur ubuntu.
Ensuite, il y a eu une longue lutte avec le contrôleur bluetooth-wifi et son firmware.

À l'heure actuelle, tous les problèmes urgents à caractère de fer ont été résolus, nous démontrons des capteurs lors de diverses expositions. Le développement est dans le domaine de l'optimisation logicielle de notre matériel.

Parlez-nous de la farce, quel processeur utilisez-vous, etc.?

Le processeur est utilisé par la variante SCP Samsung Exynos HEXA 5260, c'est-à-dire sans mémoire DDR installée dessus.
RAM est également Samsung DDR3 double canal 1 Go
EMMC est également Samsung 4 Go
Module Bluetooth-WiFi AP6210.

Comment le design a-t-il été développé?

Pour le développement du design, ils se sont d'abord tournés vers une entreprise russe, ont reçu des croquis et ne l'ont pas accroché.
Ensuite, nous avons été recommandés par Innozen Design, avons reçu d'eux des croquis de trois options et avons le plus aimé le concept Power Crystal.

Maintenant, sur quoi travaillez-vous exactement?

Nous travaillons maintenant sur l'optimisation logicielle. Pour maximiser les ressources du processeur et réduire le temps de traitement. De plus, des travaux sont en cours pour améliorer la qualité de la squelette.

Une attention particulière mérite le développement d'applications et d'approches de gestion en réalité virtuelle. À l'heure actuelle, plus de 10 applications ont été développées pour notre capteur et VR mobile, certaines sont réalisées par nous-mêmes, d'autres sont nos partenaires. Vous devez rechercher des moyens pratiques, intuitifs et simples d'interagir avec la VR.

Le principal problème auquel les utilisateurs sont confrontés est la nausée, maintenant vous pouvez souvent trouver le terme maladie de réalité virtuelle. Cela se produit en raison de l'incohérence des mouvements en VR avec les mouvements dans la vie réelle, ou plutôt pas même les mouvements, mais les accélérations qui agissent sur l'appareil vestibulaire humain.

Beaucoup écrivent que cela est grandement affecté par le retard dans la transmission des mouvements et des mouvements vers l'écran du casque VR. Depuis près de deux ans, nous développons et testons diverses applications de VR avec mouvements actifs, qui sont surveillées par notre capteur et sont parvenues à la conclusion qu'il existe 2 types de mouvements en VR: la

rotation de la tête. D'après notre expérience, ils doivent être élaborés rapidement, avec un délai minimum, qui est en principe résolu par le fait qu'ils sont traités dans le smartphone sur la base de ses capteurs ou sur la base de capteurs de casque, par exemple GearVR. La plate-forme Google Daydream récemment annoncée réduira encore ce délai. C'est ce retard qui est très critique pour le confort en VR, car il y a toujours des accélérations ici et vous ne pouvez pas vous en passer.

Déplacements linéaires. Ces mouvements ne sont pas très critiques, à condition que souvent les accélérations soient absentes ou coordonnées avec les actions humaines. Il existe deux options pour éviter l'inconfort en VR pendant les mouvements linéaires:
éliminer l'accélération. Il est possible d'exclure les accélérations - par exemple, des jeux comme les coureurs avec se déplacer dans une direction à une vitesse constante ou simplement jouer sur place sans bouger, ou utiliser la téléportation pour se déplacer en VR.
La coordination des mouvements humains dans la vie réelle et en VR. Si le cerveau humain reçoit des informations contradictoires des organes de vision et de l'appareil vestibulaire, des nausées et des sensations inconfortables surviennent. Selon notre expérience, si les mouvements en réalité (provenant de l'appareil vestibulaire) sont cohérents avec les mouvements en VR (provenant des organes de vision), alors le cerveau compense facilement le retard entre eux et il n'y a pas de sensations désagréables. Ainsi, l'essentiel est de transférer les mouvements du monde réel vers le virtuel, quoique avec un léger retard, de la meilleure façon possible. Et autant que possible d'exclure les accélérations non prévues en VR.

Nous sommes constamment confrontés à la tâche d'améliorer la qualité de la reconnaissance du squelette pour réduire les erreurs de transmission.

Quels sont tes projets futurs?

Les plans immédiats sont de collecter un nombre suffisant de précommandes pour la campagne de financement participatif et de démarrer la production. Jusqu'à la fin de l'année, tout est assez bien planifié

1. EVT (Engineering Validation Test) 03/2016 - 05/2016, nous sommes déjà à la toute fin de cette phase.
- Test et correction PCB
- fabrication de moules
- développement de bancs de test pour la production
- assemblage de 15 échantillons EVT pour test
- production de devkits pour les développeurs

2. DVT (Design Validation Test) 05/2016 - 07/2016
-
Correction PCB - correction presse -form
- production de 20 échantillons DTV
- début des procédures de certification, FCC, CE, Laser

3. Test de validation du produit 07/2016 - 09/2016
- assemblage et test de 100 échantillons PVT
- achèvement de la certification, FCC, CE, Laser

4. MP - 11/2016, le premier volume 5000pcs.
lancement de la production du premier lot de 5000 pièces.À

la fin de cette année, il sera déjà nécessaire de commencer le développement de la prochaine génération du contrôleur à l'aide d'un nouveau processeur et d'un nouveau capteur. Nous avons des offres d'Asus pour utiliser leur nouveau module de capteur 3D à l'avenir, et Samsung a présenté des propositions pour de nouvelles gammes de processeurs. Nous attendons également avec impatience la sortie de la plate-forme Google Daydream pour le portage de notre SDK et de nos applications.

VicoVR - les subtilités du développement d'un contrôleur russe pour la réalité virtuelle mobile