Skript zum Sammeln von Zitaten und Erkennen von Text aus Videos in Python

Ein Beitrag über ein Skript, das Videos von YouTube herunterlädt und darin enthaltenen Text erkennt. Ich beschloss, sofort mit der praktischen Umsetzung zu beginnen. "Vdudictionary" - Skriptsammler der Sammlung von Zitaten der Helden "Vdud" in Python. Yuri Dud und sein Projekt „Vdud“ brauchen keine Einführung. Die heißesten Interviews, die interessant zu sehen sind. Juri Alexandrowitsch weiß, wie man eine interessante Show macht, unabhängig davon, ob Sie den Helden eines bestimmten Themas kennen, sein Fan sind oder diesen Namen zum ersten Mal hören.

Wie viele cm hast du? Was sagst du zu Putin? Hörst du OXY?

Diese und viele andere Fragen sind jetzt mit Dudem verbunden. Wenn der Befragte einen Satz voller Weisheit ausspricht, zeigen die fürsorglichen Redakteure ihn sorgfältig auf dem Bildschirm unserer Monitore an, um uns den ganzen Punkt zu vermitteln. Mein Ziel war es, diese Weisheit der Generationen zu kristallisieren und das Wörterbuch „Vdudexicon“ oder „Vdudictionary“ zu erstellen.

Natürlich muss eine Person, auch wenn sie nicht mit einem bestimmten IT-Hintergrund belastet ist, diese Sprüche nicht mit den Händen sammeln. Dafür habe ich ein Python-Skript entworfen.



Zunächst benötigen wir eine Datei, die wir verarbeiten werden. Um Videos von Youtube herunterzuladen, habe ich das Pytube-Modul verwendet.

pip install pytube 

Ein Beispiel für das Herunterladen einer Datei von YouTube

 from pytube import YouTube a=YouTube('https://www.youtube.com/watch?v=RNbXm8WKmow') a.streams.first().download() 

Die Datei wurde heruntergeladen. Jetzt werden wir beginnen, Rahmen mit einer konzentrierten Bedeutung, mit der Weisheit der Zeitgenossen, mit den Sprüchen der Helden unserer Zeit methodisch zu bestimmen.



In älteren Versionen gab es keine rechteckige Platte, sodass wir am unteren Bildschirmrand nach Text suchen können. In neuen Versionen können Sie mit demselben guten alten OpenCV nach einem Rechteck suchen, mit dem Sie einen Frame aus einem Video abrufen können.

 a,contours,h = cv2.findContours(gray3, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE) for i in contours: cv2.drawContours(gray3,[i],0,(0,0,255),1) 

Um cv2 für python3 auf raspberry3 zu installieren, mussten aufgrund von Abhängigkeiten viele Pakete installiert werden. Vielleicht sind einige Pakete redundant, das liegt an meiner Unerfahrenheit, so hat alles angefangen.

 sudo apt-get install build-essential cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev sudo apt-get -y install libopencv-dev sudo apt-get -y install build-essential checkinstall cmake pkg-config yasm sudo apt-get -y install libtiff4-dev libjpeg-dev libjasper-dev sudo apt-get -y install libavcodec-dev libavformat-dev libswscale-dev libdc1394-22-dev libxine-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev sudo apt-get -y install python-dev python-numpy sudo apt-get -y install libtbb-dev sudo apt-get -y install libqt4-dev libgtk2.0-dev sudo apt-get -y install libfaac-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev pip install opencv-python 

Wir setzen tesseract - dies ist eine OCR-Engine, die für die optische Texterkennung erforderlich ist.

 sudo apt-get install tesseract-ocr sudo pip3 install pytesseract sudo pip3 install tesseract 

Die Releases verwenden ein sehr spezifisches Headset, was die Erkennung erschwert. Im Allgemeinen installieren wir ein Wörterbuch für das kyrillische Alphabet. Laden Sie es herunter und übertragen Sie es nach / usr / share / tesseract-ocr / tessdata.



Das Skript am Eingang erhält die Adresse des Videos auf youtube. Es lädt eine Datei herunter und beginnt in 5 Sekunden mit der Verarbeitung eines Frames. Wenn sich im Rahmen ein Quadrat befindet, schneiden Sie es aus, verfärben Sie es, erhöhen Sie den Kontrast und erkennen Sie es. Wenn die Zeichenfolge weniger als 15 Zeichen enthält, berücksichtigen Sie sie nicht. Sie können natürlich eine Zeichenfolge mit weniger als 15 Zeichen verwenden, aber wie eine der Heldinnen des Programms sagte:
-Ich weiß nicht, Jungs, wie du mit kleinen Linien lebst.

Wir haben in die Protokolldatei Text, Zeit und einen Link zum Moment auf youtube eingefügt. Wir überspringen 5 Sekunden (fragen Sie nicht, warum diese Zahl zum ersten Mal in den Sinn kam. Bei der Überprüfung wurde keine Überlappung zweier Anführungszeichen innerhalb dieser Zeit festgestellt). Sie können die Videodatei löschen und mit der nächsten Version fortfahren.

Vollständiger Skriptcode:



Das Skript hat offensichtlich einige Probleme beim Erkennen der „spezifischen“ WOOD-Schriftart. Ich sehe eine Lösung für dieses Problem darin, die Wörterbuchdatei für OCR fertigzustellen und Text über PyEnchant nachzubearbeiten.

Mit ein wenig Verfeinerung kann dieses Skript verwendet werden, um nach eingebetteten Untertiteln zu suchen, diese zu erkennen und automatisch in eine andere Sprache zu übersetzen.

Wenn Sie Yuri ermutigen können, mehr über dieses Experiment zu erfahren, tun Sie dies bitte unverzüglich. #habr #vdudictionary VK , FB .

Vielen Dank für Ihre Aufmerksamkeit! Das Drehbuch und der Beitrag sind das Ergebnis eines Fantasy-Fluges, als ich OpenCV für mein Golfball-Picking-Roboterprojekt studierte .