Panoramas sur StereoPi

Nous continuons d'expérimenter avec le Raspberry Pi, équipé de deux caméras en même temps. Permettez-moi de vous rappeler que tous les jeux se déroulent autour du Raspberry Pi Compute Module 3 Lite, inséré dans le berceau StereoPi.

Dans les critiques précédentes, nous avons installé des caméras en parallèle et travaillé avec un effet stéréo. Ici, l'approche est exactement le contraire: les caméras regardent dans des directions différentes, mais sont équipées d'objectifs grand angle (200 degrés). Et nous collerons le panorama sphérique à 360 degrés!

Introduction

Distraction: puisqu'il n'y a pas de co-rédaction d'articles sur Habré, je mentionnerai le texte principal. Cette expérience a été réalisée conjointement, avec moi - fer et expériences sur le terrain, et avec @Gol - la partie logicielle.

Commençons par la fin: voici le résultat, en fait le panorama .

Donc, cette fois, essayez de faire un panorama sphérique. En vain, ou quelque chose du genre, nous avons deux caméras à bord. Bien sûr, il était possible de connecter deux caméras à des framboises ordinaires, en mode multiplexage (soit une caméra fonctionne, soit l'autre, en choisissant la bonne via GPIO). Mais alors les images seront filmées séquentiellement, et s'il y a du mouvement, ce n'est pas très instinctif. Certes, lorsqu'il y a une prise de vue «simultanée» de deux caméras stéréo à partir de deux caméras, il n'y a pas non plus de synchronisation, stupidement deux raspistill sont lancés simultanément. Mais il y a plus de chances que les objets à la frontière ne se dispersent pas beaucoup. Vous pouvez également filmer des vidéos avec deux caméras en même temps, puis les coudre dans un panorama vidéo sphérique. Mais ensuite je vais l'essayer d'une manière ou d'une autre, vous devez d'abord vous occuper des panoramas photo.

Le fer

Nous avons StereoPi , il y a deux caméras avec un objectif fisheye (200 degrés). Voici les caméras: Caméra RPi (M) WaveShare

Nous avons deux caméras pop-to-pop:



Nous prenons des photos des deux caméras. Idéalement - en même temps, mais c'est possible et à son tour. raspistill pour nous aider. Nous obtenons ces deux images:


Pleine grandeur


Pleine grandeur

Panorama d'agrafes

Ensuite, le problème s'est posé - comment créer automatiquement une image avec une projection équidistante à partir de ces deux images fiscales, que presque tous les téléspectateurs de panorama mangent. Je veux faire la conversion directement à bord de la chaîne stéréo, sans utiliser de logiciel panoramique spécial.

Après de nombreuses recherches, le projet de 360 caméras a été trouvé, d'où les scripts ont été pris comme base.

Mais d'abord, nous devons encore utiliser un programme panoramique distinct pour préparer un modèle de conversion. Le programme s'appelle Hugin, vous pouvez le télécharger ici http://hugin.sourceforge.net/download/

1. Donc, téléchargé, installé, lancé.
2. Sélectionnez l'option «Simple» dans le menu «Interface».



3. Cliquez sur le bouton "Télécharger les images ..." et ajoutez nos deux fichiers (21.jpg et 21-2.jpg).



4. Réglez le «Type d'objectif» - «VyrvyGlaz circulaire». La focale est de 1,2 mm et le multiplicateur de focale est de 7,6x. Et dans l'onglet "Projection", assurez-vous qu'il y a un champ de vision de 360x180 et "Equidistant". Par défaut, il devrait en être ainsi.



5. Cliquez sur le bouton «2. Alignez ... ". La recherche de points de contrôle commencera, il devrait y avoir quelque part entre 10 et 13 points. Le panorama commence déjà à ressembler à un panorama.



6. Maintenant, la chose la plus importante est de sauvegarder le projet, car nous en aurons besoin pour le collage automatique ultérieur de tous les panoramas suivants tournés avec ces deux de nos caméras fisheye. Fichier -> Enregistrer sous -> nom de fichier stereopi-template.pto

7. Revenez à l'onglet "Assistant" (si nous y sommes soudainement partis) et cliquez sur "Créer un panorama ..." Une fenêtre supplémentaire s'ouvrira, sélectionnez là la hauteur 1944, la largeur elle-même sera calculée. Le format LDR (format d'image de sortie) est réglé sur JPEG. Qualité - tout ce que vous voulez, par défaut - 90. Nous ne touchons pas encore aux corrections. Cliquez OK. Définissez le nom du fichier avec le résultat. Et cliquez sur "Enregistrer".



8. Deux autres fenêtres s'ouvriront, dans l'une desquelles le journal des processus sera affiché.



9. En conséquence, nous obtenons quelque chose comme ceci:



Pleine grandeur

C'est la projection équidistante nécessaire de notre panorama sphérique!

Nous transportons des coutures à bord

Mais ce sont toutes les paroles!

Nous ne voulons pas prendre un bain de vapeur avec chaque photo, nous devons automatiser ce processus. Pour cela, nous aurons besoin du fichier de projet, que nous avons enregistré au point 6. Nous prenons notre fichier de projet (je l'ai stéréopi-template.pto ) et le copions sur la chaîne stéréo.

Nous y copions le script de collage stereopi-stich.sh Le script a besoin de deux paramètres d'entrée - les noms des fichiers de photos de poissons qui doivent être collés dans une projection équidistante.

Mais vous devez d'abord installer tous les logiciels nécessaires sur la chaîne stéréo. Téléchargez simplement ce script et exécutez-le sur le Steropix. installer.sh

Exécutez maintenant le script de collage:

# ./stereopi-stich.sh 21.jpg 21-2.jpg Stiching files 21.jpg and 21-2.jpg Generating pto file... Reading /opt/Pano/test1/21-2.jpg... Reading /opt/Pano/test1/21.jpg... Assigned 1 lenses. Written output to /opt/Pano/test1/tmp/project.pto Written output to ./tmp/project.pto number of cmdline args: 1 ================================== Stitching panorama ================================== nona -z LZW -r ldr -m TIFF_m -o 21_21-2-pano -i 0 ./tmp/project.pto nona -z LZW -r ldr -m TIFF_m -o 21_21-2-pano -i 1 ./tmp/project.pto checkpto --generate-argfile= project.pto_21_21-2-pano.arg ./tmp/project.pto enblend --compression=90 -w -f2688x1344 -o 21_21-2-pano.jpg -- 21_21-2-pano0000.tif 21_21-2-pano0001.tif enblend: info: loading next image: 21_21-2-pano0000.tif 1/1 enblend: info: loading next image: 21_21-2-pano0001.tif 1/1 enblend: info: writing final output Bogus input colorspace exiftool -overwrite_original_in_place -TagsFromFile /opt/Pano/test1/21-2.jpg -WhitePoint -ColorSpace -@ /usr/share/hugin/data/hugin_exiftool_copy.arg -@ project.pto_21_21-2-pano.arg 21_21-2-pano.jpg 1 image files updated ================================== Remove temporary files ================================== rm project.pto_21_21-2-pano.arg 21_21-2-pano0000.tif 21_21-2-pano0001.tif 

Le processus prend environ 50 secondes. Il faudrait chercher des opportunités d'optimisation, mais pour l'instant ce n'est pas mal.

Le résultat est un fichier



Pleine grandeur

C’est tout! Nous avons automatiquement coincé deux pêcheries dans un équidistant! Et avec le même script, vous pouvez coller toutes les images suivantes, l'essentiel est que le placement mutuel de nos caméras ne change pas beaucoup, sinon le collage ira.

Maintenant, vous devez y jouer quelque part sur le site. Pour visualiser notre panorama sur le site vous avez besoin d'un lecteur panoramique.

À mon humble avis, le meilleur lecteur intégré pour les panoramas - KRPano. Il peut prendre des photos et des vidéos. Oui, payé. J'ai déjà acheté une licence pour cela il y a cinq ans, mais le lecteur a ensuite été créé sur un flash et HTML5 ne pouvait pas. Et maintenant, il sait comment, mais vous devez à nouveau acheter une licence.

Vous pouvez télécharger mon archiveur , où à l'intérieur vous avez tout ce dont vous avez besoin pour le voir . Le plus nishtyak - petite planète (choix du mode d'affichage - clic droit).



Nous espérons que notre expérience sera non seulement intéressante pour vous, mais également utile comme recette. Merci de votre attention!

Liens utiles:

Projection équirectangulaire
Beaucoup de théorie sur la pêche et projection équidistante
Logiciel de visualisation de panoramas
Grand manuel pour collage automatique
BrianBock / 360 caméras