Reconstruction du Midi à partir de vidéos Synthesia (et similaires)

Une fois, assis sur YouTube, à la recherche de mélodies éducatives intéressantes, je suis tombé sur des vidéos avec Synthesia, dont certaines m'ont vraiment plu, j'ai décidé de télécharger et d'apprendre ... =) Mais hélas, il s'est avéré qu'il y avait des vidéos, mais personne ne voulait télécharger des fichiers midi = (

Aller sur Google a décidé de voir s'il y avait des solutions toutes faites qui me conviendraient, mais hélas, du fait que j'ai trouvé qu'il n'y avait que des convertisseurs audio en midi, ce qui m'a un peu bouleversé ... Sans y réfléchir à deux fois, j'ai décidé qu'il suffirait de restaurer la fréquence d'images MIDI dans les clips vidéo ..., et j'ai décidé d'essayer de mettre en œuvre cette entreprise ....

Je ne voulais pas tout écrire à partir de zéro, car j'ai décidé de ce que je ferais sur les composants prêts à l'emploi que me fournit Debian GNU / Linux, à partir desquels python était le mieux adapté.

Au début de la mise en œuvre, j'ai décidé d'utiliser des images prêtes à l'emploi (extraites de clips vidéo), mais après les premiers téléchargements, j'ai réalisé que cela n'avait aucun sens ... OpenCV (je voulais le ressentir depuis longtemps), il s'est avéré que OpenCV fonctionne très bien avec le flux vidéo, offrant toutes les fonctions dont j'ai besoin (compter un pixel, afficher des cadres et du texte).

Par exemple, l'ouverture d'un fichier vidéo et la réception d'une image peuvent être décrites en deux lignes:

vidcap = cv2.VideoCapture('test.mp4') success,image = vidcap.read() 

Et si vous le souhaitez, vous pouvez immédiatement vider les cadres sur la vis:

 cv2.imwrite("/tmp/frame%d.jpg" % frame, image) 

Après un certain temps, j'ai écrit une fonction pour générer les positions des touches du clavier virtuel, et les afficher (sous la forme de rectangles) au-dessus de l'image de flux et télécharger l'image, ce qui s'est avéré:

Donc, ayant décidé que, image par image, lors de la lecture de l'image du flux vidéo, je lirai les notes actives à partir de la position des touches virtuelles (seules les notes dont les pixels coïncident avec la couleur de référence ou non loin de celle-ci) sont considérées comme actives et les enverront en midi. Je ne pouvais pas simplement enregistrer des notes, comme si la situation était sur un clavier midi normal, c'est juste un peu plus facile ... J'ai vérifié sur la vidéo, j'ai vu combien de notes j'ai eues (et il y en avait beaucoup) je ne pensais pas mal, tout ce que j'avais à faire était de trouver comment écrire des notes dans un fichier, en cherchant un peu , a trouvé un excellent package python-midiutil python. Après un certain temps, j'ai pu enregistrer des notes en midi. Il s'est avéré que python-midiutil est un sachet très simple et très convivial. Par exemple, la création d'un fichier et l'ajout de notes se fait en quelques lignes:

 mf.addTrackName(track, time, "Sample Track") mf.addTempo(track, time, 60 ) mf.addNote(track, channel, pitch, keytime, duration, volume) with open(outputmid, 'wb') as outf: mf.writeFile(outf) 

Le téléchargement du midi résultant dans LMMS s'est avéré être un succès. Tout d'abord, j'ai restauré quelques-unes de mes chansons préférées. Ensuite, il est devenu clair que la fonction de génération de positions clés n'était pas très pratique d'un rouleau à l'autre, leur emplacement a changé, j'ai décidé que je ferais une interface graphique, j'en ai fait une simple, mais avec une fonction de placement des clés

Je pense que ce programme peut être utile à beaucoup, car j'ai tout posté sur le github