Script para coletar citações e reconhecer texto de vídeo em Python

Uma postagem sobre um script que baixa vídeos do youtube e reconhece texto nele. Decidi começar imediatamente com a implementação prática. "Vdudictionary" - Colecionador de scripts da coleção de citações de heróis "Vdud" em Python. Yuri Dud e seu projeto "Vdud" não precisam ser apresentados. As entrevistas mais quentes que são interessantes de assistir. Yuri Alexandrovich sabe como fazer um show interessante, independentemente de você conhecer o herói de uma questão específica, ser fã dele ou ouvir pela primeira vez esse nome.

Quantos cm você tem? O que você diz a Putin? Você está ouvindo OXY?

Essas e muitas outras perguntas estão agora associadas ao Dudem. Quando o entrevistado pronuncia uma frase cheia de sabedoria, os editores atenciosos a exibem cuidadosamente na tela de nossos monitores com você para nos transmitir o ponto inteiro. Meu objetivo era cristalizar essa sabedoria de gerações e criar o dicionário "Vdudexicon" ou "Vdudictionary".

Naturalmente, uma pessoa, mesmo que não seja sobrecarregada com um histórico específico de TI, não precisa coletar essas palavras com as mãos. Para isso, desenhei um script python.



Primeiro de tudo, precisamos de um arquivo que iremos processar. Para baixar vídeo do Youtube, usei o módulo pytube.

pip install pytube 

Um exemplo de download de um arquivo do youtube

 from pytube import YouTube a=YouTube('https://www.youtube.com/watch?v=RNbXm8WKmow') a.streams.first().download() 

O arquivo foi baixado. Agora começaremos a determinar metodicamente molduras com um significado concentrado, com a sabedoria dos contemporâneos, com as palavras dos heróis de nosso tempo.



Não havia placa retangular em versões mais antigas, portanto, podemos procurar texto na parte inferior da tela. Em novos lançamentos, você pode usar o mesmo e antigo OpenCV para procurar um retângulo, o que permitirá obter um quadro de um vídeo.

 a,contours,h = cv2.findContours(gray3, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE) for i in contours: cv2.drawContours(gray3,[i],0,(0,0,255),1) 

Para instalar o cv2 para python3 no raspberry3, foi necessário instalar muitos pacotes devido a dependências. Talvez alguns pacotes sejam redundantes, isso se deve à minha inexperiência, foi assim que tudo começou.

 sudo apt-get install build-essential cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev sudo apt-get -y install libopencv-dev sudo apt-get -y install build-essential checkinstall cmake pkg-config yasm sudo apt-get -y install libtiff4-dev libjpeg-dev libjasper-dev sudo apt-get -y install libavcodec-dev libavformat-dev libswscale-dev libdc1394-22-dev libxine-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev sudo apt-get -y install python-dev python-numpy sudo apt-get -y install libtbb-dev sudo apt-get -y install libqt4-dev libgtk2.0-dev sudo apt-get -y install libfaac-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev pip install opencv-python 

Colocamos o tesseract - este é um mecanismo de OCR necessário para o reconhecimento óptico de texto.

 sudo apt-get install tesseract-ocr sudo pip3 install pytesseract sudo pip3 install tesseract 

Os lançamentos usam um fone de ouvido muito específico, o que dificulta o reconhecimento. Em geral, instalamos um dicionário para o alfabeto cirílico. Faça o download e transfira para / usr / share / tesseract-ocr / tessdata.



O script na entrada recebe o endereço do vídeo no youtube. Ele baixa um arquivo, começa a processar um quadro em 5 segundos. Se houver um quadrado no quadro, corte-o, descolora-o, aumente o contraste e o reconheça. Se a cadeia tiver menos de 15 caracteres, não a considere. Você pode, é claro, usar uma sequência de menos de 15 caracteres, mas como uma das heroínas do programa disse:
-Não sei, rapazes, como você vive com pequenas falas.

Colocamos no texto do arquivo de log, hora e um link para o momento no youtube. Ignoramos 5 segundos (não pergunte por que esse número veio à mente, a verificação não encontrou a sobreposição de duas aspas nesse período). Você pode excluir o arquivo de vídeo e prosseguir com a próxima versão.

Código de script completo:



Obviamente, o script tem alguns problemas com o reconhecimento da fonte WOOD "específica". Vejo uma solução para esse problema ao finalizar o arquivo de dicionário para OCR e no pós-processamento de texto através do PyEnchant.

Com um pouco de refinamento, esse script pode ser usado para procurar legendas incorporadas, reconhecê-las e traduzir automaticamente para outro idioma.

Se você pode incentivar Yuri a aprender sobre esse experimento, faça-o sem demora. #habr #vdudictionary VK , FB .

Obrigado pela atenção! O script e o post surgiram como resultado de um voo de fantasia enquanto estudava o OpenCV para o meu projeto de robô para pegar bolas de golfe .