Script pour collecter des citations et reconnaître le texte d'une vidéo en Python

Un article sur un script qui télécharge des vidéos à partir de YouTube et reconnaît le texte qu'il contient. J'ai décidé de commencer tout de suite par une mise en œuvre pratique. "Vdudictionary" - Script collector de la collection de citations de héros "Vdud" en Python. Yuri Dud et son projet «Vdud» n'ont pas besoin d'être présentés. Les interviews les plus chaudes qui sont intéressantes à regarder. Yuri Alexandrovich sait comment faire une émission intéressante, que vous connaissiez le héros d'un problème particulier, que vous soyez son fan ou que vous entendiez ce nom pour la première fois.

Combien de cm avez-vous? Que dites-vous à Poutine? Écoutez-vous OXY?

Ces questions et bien d'autres sont désormais associées à Dudem. Lorsque la personne interrogée prononce une phrase pleine de sagesse, des rédacteurs attentionnés la montrent avec soin sur l'écran de nos moniteurs avec vous pour nous transmettre tout le point. Mon objectif était de cristalliser cette sagesse des générations et de créer le dictionnaire «Vdudexicon» ou «Vdudictionary».

Naturellement, une personne, même si elle n'est pas accablée par une formation informatique spécifique, n'a pas à collecter ces paroles avec ses mains. Pour cela, j'ai esquissé un script python.



Tout d'abord, nous avons besoin d'un fichier que nous allons traiter. Pour télécharger la vidéo de Youtube, j'ai utilisé le module pytube.

pip install pytube 

Un exemple de téléchargement d'un fichier depuis YouTube

 from pytube import YouTube a=YouTube('https://www.youtube.com/watch?v=RNbXm8WKmow') a.streams.first().download() 

Le fichier a été téléchargé. Nous allons maintenant commencer à déterminer méthodiquement des cadres avec un sens concentré, avec la sagesse des contemporains, avec les paroles des héros de notre temps.



Il n'y avait pas de plaque rectangulaire dans les anciennes versions, nous pouvons donc rechercher du texte en bas de l'écran. Dans les nouvelles versions, vous pouvez utiliser le même bon vieux OpenCV pour rechercher un rectangle, ce qui vous permettra d'obtenir un cadre à partir d'une vidéo.

 a,contours,h = cv2.findContours(gray3, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE) for i in contours: cv2.drawContours(gray3,[i],0,(0,0,255),1) 

Pour installer cv2 pour python3 sur raspberry3, il fallait installer de nombreux packages en raison de dépendances. Peut-être que certains packages sont redondants, cela est dû à mon inexpérience, c'est ainsi que tout a commencé.

 sudo apt-get install build-essential cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev sudo apt-get -y install libopencv-dev sudo apt-get -y install build-essential checkinstall cmake pkg-config yasm sudo apt-get -y install libtiff4-dev libjpeg-dev libjasper-dev sudo apt-get -y install libavcodec-dev libavformat-dev libswscale-dev libdc1394-22-dev libxine-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev sudo apt-get -y install python-dev python-numpy sudo apt-get -y install libtbb-dev sudo apt-get -y install libqt4-dev libgtk2.0-dev sudo apt-get -y install libfaac-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev pip install opencv-python 

Nous mettons tesseract - c'est un moteur OCR nécessaire pour la reconnaissance optique de texte.

 sudo apt-get install tesseract-ocr sudo pip3 install pytesseract sudo pip3 install tesseract 

Les versions utilisent un casque très spécifique, ce qui le rend difficile à reconnaître. En général, nous installons un dictionnaire pour l'alphabet cyrillique. Téléchargez et transférez vers / usr / share / tesseract-ocr / tessdata.



Le script à l'entrée reçoit l'adresse de la vidéo sur youtube. Il télécharge un fichier, commence à traiter une image en 5 secondes. S'il y a un carré dans le cadre, découpez-le, décolorez-le, augmentez le contraste et reconnaissez-le. Si la chaîne contient moins de 15 caractères, ne la considérez pas. Vous pouvez bien sûr utiliser une chaîne de moins de 15 caractères, mais comme l'a dit l'une des héroïnes du programme:
-Je ne sais pas, les garçons, comment vous vivez avec les petites lignes.

Nous mettons dans le fichier journal le texte, l'heure et un lien vers l'instant sur youtube. Nous sautons 5 secondes (ne demandez pas pourquoi ce chiffre est venu à l'esprit, la vérification n'a pas trouvé le chevauchement de deux citations dans ce délai). Vous pouvez supprimer le fichier vidéo et passer à la prochaine version.

Code de script complet:



Le script a évidemment quelques problèmes avec la reconnaissance de la police WOOD "spécifique". Je vois une solution à ce problème dans la finalisation du fichier de dictionnaire pour l'OCR et dans le texte de post-traitement via PyEnchant.

Avec un peu de raffinement, ce script peut être utilisé pour rechercher des sous-titres intégrés, les reconnaître et traduire automatiquement dans une autre langue.

Si vous pouvez encourager Yuri à découvrir cette expérience, faites-le sans tarder. #habr #vdudictionary VK , FB .

Merci de votre attention! Le script et la publication sont le résultat d'un vol fantastique alors que j'étudiais OpenCV pour mon projet de robot de cueillette de balles de golf .