YouTube किस बारे में बात कर रहा है

मशीन सीखने की सुबह में, अधिकांश समाधान बहुत अजीब, पृथक और असामान्य दिखे। आज, कई एमएल एल्गोरिदम पहले से ही फ्रेमवर्क और टूलकिट के एक प्रोग्रामर सेट के लिए एक परिचित में हैं, जिन्हें आप उनके कार्यान्वयन के विवरण में जाने के बिना काम कर सकते हैं।

वैसे, मैं इस तरह के सतही दृष्टिकोण का विरोध कर रहा हूं, लेकिन मैं अपने सहयोगियों को दिखाना चाहूंगा कि यह उद्योग लीप और सीमा से आगे बढ़ रहा है और उत्पादन परियोजनाओं में अपनी उपलब्धियों को लागू करने के लिए कुछ भी जटिल नहीं है।

एक उदाहरण के रूप में, मैं दिखाऊंगा कि कैसे आप हमारी वर्कफ़्लो सेवा में सैकड़ों अन्य लोगों के बीच सही वीडियो सामग्री खोजने में उपयोगकर्ता की मदद कर सकते हैं।

मेरी परियोजना में, उपयोगकर्ता सैकड़ों विभिन्न सामग्रियों को बनाते और साझा करते हैं: पाठ, चित्र, वीडियो, लेख, दस्तावेज़ विभिन्न स्वरूपों में।

दस्तावेजों की खोज करना काफी सरल लगता है। लेकिन मल्टीमीडिया सामग्री खोज के साथ क्या करना है? एक पूर्ण उपयोगकर्ता सेवा के लिए, आपको एक विवरण भरने के लिए बाध्य होना चाहिए, वीडियो या चित्र को एक नाम दें, कई टैग चोट नहीं पहुंचाएंगे। दुर्भाग्य से, हर कोई ऐसे सामग्री सुधार पर समय नहीं बिताना चाहता। आमतौर पर उपयोगकर्ता यूट्यूब पर एक लिंक अपलोड करता है, रिपोर्ट करता है कि यह एक नया वीडियो है और क्लिक को सहेजता है। ऐसी "ग्रे" सामग्री के साथ एक सेवा क्या कर सकती है? पहला विचार YouTube पूछना है? लेकिन YouTube उपयोगकर्ताओं (अक्सर एक ही उपयोगकर्ता) से भी भरा है। अक्सर वीडियो सामग्री Youtube सेवा से नहीं हो सकती है।
इसलिए मुझे वीडियो को "सुनने" के लिए हमारी सेवा सिखाने और इसके बारे में "समझने" के लिए विचार मिला।

मैं मानता हूं, यह विचार नया नहीं है, लेकिन आज इसके कार्यान्वयन के लिए दस डेटा वैज्ञानिकों का एक कर्मचारी होना जरूरी नहीं है, बस दो दिन और थोड़ा हार्डवेयर संसाधन।

समस्या का बयान

हमारे microservice, चलो इसे संक्षेप में कहते हैं, चाहिए:

• मीडिया सेवा से वीडियो डाउनलोड करें;
• ऑडियो ट्रैक निकालें;
• ऑडियो ट्रैक को सुनें, वास्तव में टेक्स्ट को भाषण दें;
• 20 कीवर्ड खोजें;
• पाठ से एक वाक्य का चयन करें, जो वीडियो के सार को अधिकतम कर सकता है;
• सामग्री सेवा के लिए सभी परिणाम भेजें;

हम पायथन के कार्यान्वयन पर भरोसा करेंगे, इसलिए आपको तैयार एमएल समाधान के साथ एकीकरण से निपटना नहीं होगा।

एक कदम: ऑडियो टू टेक्स्ट।

सबसे पहले, सभी आवश्यक घटकों को स्थापित करें।

pip3 install wave numpy tensorflow youtube_dl ffmpeg-python deepspeech nltk networkx brew install ffmpeg wget 

अगला, मोज़िला से भाषण समाधान के लिए प्रशिक्षित मॉडल को डाउनलोड और अनपैक करें - डीपस्पेस।

 mkdir /Users/Volodymyr/Projects/deepspeech/ cd /Users/Volodymyr/Projects/deepspeech/ wget https://github.com/mozilla/DeepSpeech/releases/download/v0.3.0/deepspeech-0.3.0-models.tar.gz tar zxvf deepspeech-0.3.0-models.tar.gz 

मोज़िला टीम ने एक अच्छा समाधान तैयार किया और प्रशिक्षित किया, जो TensorFlow का उपयोग करके, उच्च गुणवत्ता के साथ लंबे ऑडियो क्लिप को पाठ के बड़े हिस्से में बदल सकता है। TensorFlow आपको सीपीयू और जीपीयू दोनों पर बॉक्स से बाहर काम करने की भी अनुमति देता है।

हमारा कोड सामग्री डाउनलोड करके शुरू होगा। अद्भुत youtube-dl लाइब्रेरी, जिसमें एक अंतर्निहित पोस्ट-प्रोसेसर है जो वीडियो को आवश्यक प्रारूप में परिवर्तित करने में सक्षम है, इसमें उसकी मदद करेगा। दुर्भाग्य से, पोस्ट-प्रोसेसर कोड थोड़ा सीमित है, यह नहीं जानता कि कैसे फिर से भरना है, इसलिए हम इसकी मदद करेंगे।
डीपस्पीच इनपुट के लिए, आपको मोनो ट्रैक और 16K सैंपल के साथ एक ऑडियो फाइल जमा करनी होगी। ऐसा करने के लिए, हमें अपनी प्राप्त फ़ाइल को फिर से संसाधित करना होगा।

 _ = ffmpeg.input(youtube_id + '.wav').output(output_file_name, ac=1, t=crop_time, ar='16k').overwrite_output().run(capture_stdout=False) 

उसी ऑपरेशन में, हम एक अतिरिक्त पैरामीटर "t" पास करके अपनी फ़ाइल की अवधि को सीमित कर सकते हैं।

डीप स्पीच मॉडल डाउनलोड करें।

 deepspeech = Model(args.model, N_FEATURES, N_CONTEXT, args.alphabet, BEAM_WIDTH) 

वेव लाइब्रेरी का उपयोग करते हुए, हम np.array फॉर्मेट में फ्रेम निकालते हैं और उन्हें डीपस्पेस लाइब्रेरी इनपुट में ट्रांसफर करते हैं।

 fin = wave.open(file_name, 'rb') framerate_sample = fin.getframerate() if framerate_sample != 16000: print('Warning: original sample rate ({}) is different than 16kHz. Resampling might produce erratic speech recognition.'.format(framerate_sample), file=sys.stderr) fin.close() return else: audio = np.frombuffer(fin.readframes(fin.getnframes()), np.int16) audio_length = fin.getnframes() * (1/16000) fin.close() print('Running inference.', file=sys.stderr) inference_start = timer() result = deepspeech.stt(audio, framerate_sample) 

थोड़ी देर के बाद, आपके हार्डवेयर संसाधनों के आनुपातिक, आपको पाठ प्राप्त होगा।

दो कदम: "अर्थ" ढूँढना

परिणामी पाठ का वर्णन करने वाले शब्दों की खोज करने के लिए, मैं ग्राफ़ विधि का उपयोग करूंगा। यह विधि अनुक्रमों के बीच की दूरी पर आधारित है। पहले हम सभी "अद्वितीय" शब्द पाते हैं, कल्पना करें कि ये हमारे ग्राफ के कोने हैं। दी गई लंबाई के "विंडो" के साथ पाठ के माध्यम से जाने के बाद, हम शब्दों के बीच की दूरी पाते हैं, वे हमारे गफ़ के किनारों होंगे। ग्राफ में जोड़े गए सिंटैक्स को सिंटैक्स फ़िल्टर द्वारा सीमित किया जा सकता है जो भाषण के एक निश्चित भाग की केवल शाब्दिक इकाइयों का चयन करते हैं। उदाहरण के लिए, आप केवल संज्ञा और क्रियाओं को ग्राफ़ में जोड़े जाने पर विचार कर सकते हैं। इसलिए, हम केवल उन संबंधों के आधार पर संभावित किनारों का निर्माण करेंगे जो संज्ञा और क्रिया के बीच स्थापित हो सकते हैं।

प्रत्येक शीर्ष से जुड़े स्कोर को 1 के प्रारंभिक मूल्य पर सेट किया जाता है, और रैंकिंग एल्गोरिथ्म लॉन्च किया जाता है। रैंकिंग एल्गोरिथ्म एक "वोट" या "सिफारिश" है। जब एक शीर्ष दूसरे से जुड़ा होता है, तो वह इस (कनेक्टेड) ​​शीर्ष के लिए "वोट" करता है। किसी चोटी के लिए जितने अधिक वोट होते हैं, उस चोटी का महत्व उतना ही अधिक होता है। इसके अलावा, मतदान शीर्ष का महत्व यह निर्धारित करता है कि मतदान स्वयं कितना महत्वपूर्ण है, और यह जानकारी रैंकिंग मॉडल द्वारा भी ध्यान में रखी जाती है। इसलिए, शीर्ष से जुड़े स्कोर को इसके लिए डाले गए वोटों के आधार पर निर्धारित किया जाता है और चोटियों की रेटिंग इन वोटों को डालती है।

मान लें कि हमारे पास एक ग्राफ है G = (V, E) जो कि वर्टिस V और किनारों ई द्वारा वर्णित है। दिए गए वर्टेक्स V के लिए, वहां वर्टिकल E का एक सेट है जो इसके साथ जुड़ा हुआ है। प्रत्येक शीर्ष vi के लिए, इसमें (Vi) कोने जुड़े होते हैं, और बाहर (Vi) कोने जिनके साथ शीर्ष v Vi जुड़े होते हैं। इस प्रकार, वर्ट वी के वजन को सूत्र द्वारा दर्शाया जा सकता है।

$$

$$S \ बड़ा (V_ {i} \ बड़ा) = \ बड़ा (1-d \ बड़ा) + d * \ sum_ {j \ _ in (V_ {i})} \ frac {1} {\ mid out (V_) {j}) \ mid} * S \ big (V_ {j} \ big)$$

जहां d क्षीणन / दमन कारक है, 1 से 0 तक मान ले रहा है।

एल्गोरिदम को मोटे अनुमान प्राप्त करने के लिए कई बार ग्राफ को पुनरावृत्त करना चाहिए।
ग्राफ में प्रत्येक शीर्ष के लिए अनुमानित अनुमान प्राप्त करने के बाद, वर्टिकल घटते क्रम में क्रमबद्ध हो जाते हैं। सूची में सबसे ऊपर दिखाई देने वाले कोने हमारे इच्छित कीवर्ड होंगे।

पाठ में सबसे प्रासंगिक वाक्य वाक्य में सभी शब्दों की रेटिंग के अतिरिक्त के औसत को खोजने के द्वारा पाया जाता है। यही है, हम सभी अनुमानों को जोड़ते हैं और वाक्य में शब्दों की संख्या से विभाजित करते हैं।

 iMac:YoutubeSummarizer $ cd /Users/Volodymyr/Projects/YoutubeSummarizer ; env "PYTHONIOENCODING=UTF-8" "PYTHONUNBUFFERED=1" /usr/local/bin/python3 /Users/Volodymyr/.vscode/extensions/ms-python.python-2018.11.0/pythonFiles/experimental/ptvsd_launcher.py --default --client --host localhost --port 53730 /Users/Volodymyr/Projects/YoutubeSummarizer/summarizer.py --youtube-id yA-FCxFQNHg --model /Users/Volodymyr/Projects/deepspeech/models/output_graph.pb --alphabet /Users/Volodymyr/Projects/deepspeech/models/alphabet.txt --lm /Users/Volodymyr/Projects/deepspeech/models/lm.binary --trie /Users/Volodymyr/Projects/deepspeech/models/trie --crop-time 900 Done downloading, now converting ... ffmpeg version 4.1 Copyright (c) 2000-2018 the FFmpeg developers built with Apple LLVM version 10.0.0 (clang-1000.11.45.5) configuration: --prefix=/usr/local/Cellar/ffmpeg/4.1 --enable-shared --enable-pthreads --enable-version3 --enable-hardcoded-tables --enable-avresample --cc=clang --host-cflags= --host-ldflags= --enable-ffplay --enable-gpl --enable-libmp3lame --enable-libopus --enable-libsnappy --enable-libtheora --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libx265 --enable-libxvid --enable-lzma --enable-opencl --enable-videotoolbox libavutil 56. 22.100 / 56. 22.100 libavcodec 58. 35.100 / 58. 35.100 libavformat 58. 20.100 / 58. 20.100 libavdevice 58. 5.100 / 58. 5.100 libavfilter 7. 40.101 / 7. 40.101 libavresample 4. 0. 0 / 4. 0. 0 libswscale 5. 3.100 / 5. 3.100 libswresample 3. 3.100 / 3. 3.100 libpostproc 55. 3.100 / 55. 3.100 Guessed Channel Layout for Input Stream #0.0 : stereo Input #0, wav, from 'yA-FCxFQNHg.wav': Metadata: encoder : Lavf58.20.100 Duration: 00:17:27.06, bitrate: 1536 kb/s Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 48000 Hz, stereo, s16, 1536 kb/s Stream mapping: Stream #0:0 -> #0:0 (pcm_s16le (native) -> pcm_s16le (native)) Press [q] to stop, [?] for help Output #0, wav, to 'result-yA-FCxFQNHg.wav': Metadata: ISFT : Lavf58.20.100 Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 16000 Hz, mono, s16, 256 kb/s Metadata: encoder : Lavc58.35.100 pcm_s16le size= 28125kB time=00:15:00.00 bitrate= 256.0kbits/s speed=1.02e+03x video:0kB audio:28125kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 0.000271% Loading model from file /Users/Volodymyr/Projects/deepspeech/models/output_graph.pb TensorFlow: v1.11.0-9-g97d851f04e DeepSpeech: unknown Warning: reading entire model file into memory. Transform model file into an mmapped graph to reduce heap usage. 2018-12-14 17:42:03.121170: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA Loaded model in 0.5s. Loading language model from files /Users/Volodymyr/Projects/deepspeech/models/lm.binary /Users/Volodymyr/Projects/deepspeech/models/trie Loaded language model in 3.17s. Running inference. Building top 20 keywords... {'communicate', 'government', 'repetition', 'terrorism', 'technology', 'thinteeneighty', 'incentive', 'ponsibility', 'experience', 'upsetting', 'democracy', 'infection', 'difference', 'evidesrisia', 'legislature', 'metriamatrei', 'believing', 'administration', 'antagethetruth', 'information', 'conspiracy'} Building summary sentence... intellectually antagethetruth administration thinteeneighty understanding metriamatrei shareholders evidesrisia recognizing ponsibility communicate information legislature abaddoryis technology difference conspiracy repetition experience government protecting categories mankyuses democracy campaigns primarily attackers terrorism believing happening infection seriously incentive upsetting testified fortunate questions president companies prominent actually platform massacre powerful building poblanas thinking supposed accounts murdered function unsolved perverse recently fighting opposite motional election children watching traction speaking measured nineteen repeated coverage imagined positive designed together countess greatest fourteen attacks publish brought through explain russian opinion winking somehow welcome trithis problem looking college gaining feoryhe talking ighting believe happens connect further working ational mistake diverse between ferring Inference took 76.729s for 900.000s audio file. 

परिणाम

आपके दिमाग में आने वाले विचारों को तीन या चार साल पहले की तुलना में आज बहुत तेजी से महसूस किया जा सकता है। इसे आज़माएं, प्रयोग करें! मुझे लगता है कि कृत्रिम बुद्धि मुख्य रूप से इंजीनियरों की बुद्धिमत्ता है जो इसके साथ काम करते हैं।

कोड मेरे गितुब भंडार में उपलब्ध है ।