Script para recopilar citas y reconocer texto de video en Python

Una publicación sobre un script que descarga videos de YouTube y reconoce el texto que contiene. Decidí comenzar de inmediato con la implementación práctica. "Vdudictionary" - Recopilador de guiones de la colección de citas de héroes "Vdud" en Python. Yuri Dud y su proyecto "Vdud" no necesitan ser presentados. Las mejores entrevistas que son interesantes de ver. Yuri Alexandrovich sabe cómo hacer un espectáculo interesante, independientemente de si conoces al héroe de un tema en particular, si es su fan o si escuchas este nombre por primera vez.

¿Cuántos cm tienes? ¿Qué le dices a Putin? ¿Estás escuchando OXY?

Estas y muchas otras preguntas ahora están asociadas con Dudem. Cuando el entrevistado pronuncia una frase llena de sabiduría, los editores cuidadosos la muestran cuidadosamente en la pantalla de nuestros monitores para transmitirnos todo el asunto. Mi objetivo era cristalizar esta sabiduría de generaciones y crear el diccionario "Vdudexicon" o "Vdudictionary".

Naturalmente, una persona, incluso si no tiene la carga de un fondo de TI específico, no tiene que recopilar estos dichos con sus manos. Para esto, dibujé un script de Python.



En primer lugar, necesitamos un archivo que procesaremos. Para descargar videos de Youtube, utilicé el módulo pytube.

pip install pytube 

Un ejemplo de descarga de un archivo de youtube

 from pytube import YouTube a=YouTube('https://www.youtube.com/watch?v=RNbXm8WKmow') a.streams.first().download() 

El archivo ha sido descargado. Ahora comenzaremos a determinar metódicamente marcos con un significado concentrado, con la sabiduría de los contemporáneos, con los dichos de los héroes de nuestro tiempo.



No había una placa rectangular en versiones anteriores, por lo que podemos buscar texto en la parte inferior de la pantalla. En las nuevas versiones, puede usar el mismo viejo OpenCV para buscar un rectángulo, lo que le permitirá obtener un marco de un video.

 a,contours,h = cv2.findContours(gray3, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE) for i in contours: cv2.drawContours(gray3,[i],0,(0,0,255),1) 

Para instalar cv2 para python3 en raspberry3 tuve que instalar muchos paquetes debido a las dependencias. Quizás algunos paquetes sean redundantes, esto se debe a mi inexperiencia, así es como comenzó todo.

 sudo apt-get install build-essential cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev sudo apt-get -y install libopencv-dev sudo apt-get -y install build-essential checkinstall cmake pkg-config yasm sudo apt-get -y install libtiff4-dev libjpeg-dev libjasper-dev sudo apt-get -y install libavcodec-dev libavformat-dev libswscale-dev libdc1394-22-dev libxine-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev sudo apt-get -y install python-dev python-numpy sudo apt-get -y install libtbb-dev sudo apt-get -y install libqt4-dev libgtk2.0-dev sudo apt-get -y install libfaac-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev pip install opencv-python 

Ponemos tesseract: este es un motor de OCR necesario para el reconocimiento óptico de texto.

 sudo apt-get install tesseract-ocr sudo pip3 install pytesseract sudo pip3 install tesseract 

Los lanzamientos usan auriculares muy específicos, lo que dificulta su reconocimiento. En general, instalamos un diccionario para el alfabeto cirílico. Descargue y transfiera a / usr / share / tesseract-ocr / tessdata.



El script en la entrada recibe la dirección del video en youtube. Descarga un archivo, comienza a procesar un cuadro en 5 segundos. Si hay un cuadrado en el marco, recórtelo, descolórelo, aumente el contraste y reconozca. Si la cadena tiene menos de 15 caracteres, no la tenga en cuenta. Por supuesto, puede usar una cadena de menos de 15 caracteres, pero como dijo una de las heroínas del programa:
-No sé, muchachos, cómo viven con líneas pequeñas.

Ponemos en el archivo de registro el texto, la hora y un enlace al momento en youtube. Nos saltamos 5 segundos (no pregunte por qué esta cifra vino a mi mente por primera vez, la comprobación no encontró la superposición de dos citas dentro de este tiempo). Puede eliminar el archivo de video y continuar con la próxima versión.

Código de script completo:



El script obviamente tiene algunos problemas para reconocer la fuente WOOD "específica". Veo una solución a este problema al finalizar el archivo de diccionario para OCR y al procesar el texto a través de PyEnchant.

Con un poco de refinamiento, este script se puede usar para buscar subtítulos incrustados, reconocerlos y traducirlos automáticamente a otro idioma.

Si puede alentar a Yuri a aprender sobre este experimento, hágalo sin demora. #habr #vdudictionary VK , FB .

Gracias por su atencion! El guión y la publicación surgieron como resultado de un vuelo de fantasía mientras estudiaba OpenCV para mi proyecto de robot de recolección de pelotas de golf .