स्कूल में, मेरे पास एक सहपाठी था जो यह सुन सकता था कि कार यार्ड में कैसे काम करती है, और एक गंभीर चेहरे के साथ एक फैसला करें: सब कुछ क्रम में है, या कुछ टूट गया है, और मुझे तत्काल नए भागों / तेल / उपकरण चलाने की आवश्यकता है! मैं, मोटर वाहन व्यवसाय में एक निरपेक्ष चायदानी की तरह, हमेशा अगले द्वादश की सामान्य खड़खड़ाहट को सुना, किसी भी मतभेद को नोटिस नहीं किया और सिर्फ चुपचाप उसकी सुनवाई और कौशल पर अचंभित किया।

अब मैंने कार के इनसाइड को बेहतर ढंग से नहीं समझा, लेकिन मैंने साउंड सिग्नल और मशीन लर्निंग के साथ काम करना शुरू कर दिया और यहाँ हम यह समझने की कोशिश करेंगे कि क्या इंजन की आवाज़ में असामान्यताएं पकड़ने के लिए कंप्यूटर सिखाना संभव है?

कम से कम, यह जांचना दिलचस्प है, और भविष्य में, ऐसी तकनीक कार मालिकों के लिए बहुत सारे पैसे बचा सकती है। कम से कम मेरी राय में, महत्वपूर्ण विफलताएं धीरे-धीरे हुड के नीचे होती हैं, और शुरुआती चरणों में, उनमें से कई को सुना जा सकता है, जल्दी और सस्ते में तय किया जा सकता है, समय, पैसा और पहले से ही अस्थिर नसों को बचा सकता है।

खैर, शायद शब्दों से कर्मों की ओर बढ़ने का समय आ गया है। चलो चलते हैं!

मैं तुरंत कहना चाहता हूं कि गणित और एल्गोरिदम की चिंता करने वाली हर चीज में, मैं अर्थ और समझ पर अधिक जोर दूंगा, यहां कोई सूत्र और गणितीय गणना नहीं होगी। मैंने यहां कोई नया एल्गोरिदम विकसित नहीं किया है, सूत्रों के लिए, यदि आप चाहें, तो यह Google और विकिपीडिया के लिए बेहतर है, साथ ही उन लिंक्स का उपयोग करें जिन्हें मैं पूरे लेख में छोड़ दूंगा।

मैं YouTube पर इस वीडियो से ली गई टूटी हुई इंजन की आवाज़ के उदाहरण पर सभी स्पष्टीकरण दूंगा।

YouTube से डाउनलोड की गई फ़ाइल (आप इसे ब्राउज़र एक्सटेंशन का उपयोग करके डाउनलोड कर सकते हैं या बस यूट्यूब लिंक को ssyoutube में बदलकर) हम ffmpeg का उपयोग करके wav प्रारूप में बदल सकते हैं:

ffmpeg -i input_video.mp4 -c:a pcm_s16le -ar 16000 -ac 1 engine_sound.wav 

इस फ़ाइल को संसाधित करने से पहले, मैं इस बारे में कुछ शब्द कहूंगा कि एक स्पेक्ट्रोग्राम क्या है और इस समस्या को हल करने में यह हमारे लिए कैसे उपयोगी होगा। आप में से कई, निश्चित रूप से, एक समान तस्वीर देख चुके हैं - यह ध्वनि या एक ऑसीलोग्राम का आयाम-अस्थायी प्रतिनिधित्व है।

यदि सरल शब्दों में, तो ध्वनि एक लहर है, और इस लहर के आयाम मान दिए गए समय पर ऑसिलोग्राम पर देखे जाते हैं।

इस तरह के प्रतिनिधित्व से एक स्पेक्ट्रोग्राम प्राप्त करने के लिए, हमें फूरियर रूपांतरण की आवश्यकता है। इसकी मदद से, आप ध्वनि या आयाम स्पेक्ट्रम के आयाम-आवृत्ति प्रतिनिधित्व प्राप्त कर सकते हैं। इस तरह के एक स्पेक्ट्रम से पता चलता है कि किस आवृत्ति और किस आयाम के तहत अध्ययन के तहत संकेत व्यक्त किया जाता है।

वास्तव में, एक स्पेक्ट्रोग्राम एक संकेत के छोटे लगातार टुकड़ों के स्पेक्ट्रा का एक सेट है। शायद इस तरह की "परिभाषा" हमारे लिए पर्याप्त होगी कि हम कार्य से बहुत विचलित न हों। यदि आप स्पेक्ट्रोग्राम के दृश्य को देखते हैं तो सब कुछ स्पष्ट हो जाएगा ( वेवसिस्टेंट का उपयोग करके चित्र प्राप्त किया गया था)। समय को एक्स अक्ष पर प्लॉट किया जाता है, वाई अक्ष पर आवृत्ति, अर्थात्, इस मैट्रिक्स में प्रत्येक स्तंभ एक निश्चित समय में स्पेक्ट्रम मापांक है।

यह स्पेक्ट्रोग्राम दर्शाता है कि दोहन की अनुपस्थिति में इंजन की आवाज़ उसी के बारे में "दिखता है", और 600, 1200, 2400 और 4800 हर्ट्ज के आसपास के क्षेत्र में आवृत्तियों पर व्यक्त की जाती है। एक दस्तक की आवाज़ जो मालिक को परेशान करती है वह 5 से 8 सेकंड तक 600-1200 हर्ट्ज की आवृत्ति रेंज में बहुत अलग है। चूंकि रिकॉर्डिंग सड़क पर शोर की स्थिति में बनाई गई थी, ये शोर भी स्पेक्ट्रोग्राम पर मौजूद हैं, जो कुछ हद तक हमारे कार्य को जटिल बनाता है।

फिर भी, इस तरह के एक तमाशा को देखते हुए, हम आत्मविश्वास से कह सकते हैं कि दस्तक कहाँ थी और कहाँ नहीं थी। कंप्यूटर में आँखें नहीं हैं, इसलिए, हमें एक एल्गोरिथ्म का चयन करने की आवश्यकता है जो रिकॉर्डिंग में शोर की उपस्थिति के अधीन इस तरह के विचलन (और अधिमानतः न केवल यह) के बीच अंतर करने में सक्षम होगा।

स्पेक्ट्रोग्राम की गणना लिब्रोसा लाइब्रेरी के उपयोग से की जा सकती है:

 from librosa.util import buf_to_float from librosa.core import stft #     import numpy as np from scipy.io import wavfile #    wav- def cut_wav(path_to_wav, start_time, end_time): sr, wav_data = wavfile.read(path_to_wav) return wav_data[int(sr * start_time): int(sr * end_time)] def get_stft(wav_data): feat = np.abs(stft(buf_to_float(wav_data), n_fft=fft_size, hop_length=fft_step)) #  -       return feat.T wav_path = './engine_sound.wav' train_features = [] #    , time_list -    for [ts, te] in time_list: wav_part = cut_wav(wav_path, ts, te) spec = get_stft(wav_part) train_features.append(spec) X_train = np.vstack(train_features) #     full_wav_data = wavfile.read(wav_path)[1] X_test = get_stft(full_wav_data) 

निर्णय

सख्ती से बोलते हुए, हमें बाइनरी वर्गीकरण समस्या को हल करने की आवश्यकता है, जहां हमें यह निर्धारित करने की आवश्यकता है कि इंजन टूट गया है या सामान्य रूप से काम कर रहा है। मेरे सहयोगी और मैंने पहले ही अपने पिछले लेख में इसी तरह के कार्यों का वर्णन किया है, जहां हमने ध्वनिक घटनाओं को वर्गीकृत करने के लिए एक दृढ़ तंत्रिका नेटवर्क का उपयोग किया था। यहां, ऐसा समाधान शायद ही संभव है: न्यूरॉन्स बहुत शौकीन होते हैं जब उन्हें बड़े डेटासेट दिए जाते हैं। हम एक एकल इंडेंटेशन के साथ एक मिनट से अधिक समय तक काम कर रहे हैं, जिसे जाहिर तौर पर एक बड़ा डेटासेट नहीं कहा जा सकता है।

गौसियन मिक्सचर मॉडल (गॉसियन मिश्रण का मॉडल) पर विकल्प बंद कर दिया गया था। इस मॉडल के संचालन और प्रशिक्षण के सिद्धांत का विवरण देने वाला एक अच्छा लेख यहां पाया जा सकता है। इस मॉडल का सामान्य विचार कई बहुआयामी सामान्य वितरणों के रैखिक संयोजन के रूप में एक जटिल वितरण का उपयोग करके डेटा का वर्णन करना है ( यहां बहुआयामी सामान्य वितरण के बारे में अधिक)।

चूंकि इसके संचालन के दौरान इंजन लगभग "एक ही" लगता है, इसलिए इसके संचालन की ध्वनि को स्थिर माना जा सकता है, और इस तरह के वितरण का उपयोग करके इस ध्वनि का वर्णन करने का विचार काफी सार्थक लगता है। जीएमएम के सार को समझने के लिए, मैं प्रशिक्षण के उदाहरण को देखने और यहां गौसिड्स की संख्या चुनने की अत्यधिक सलाह देता हूं।

हमारा मामला उपरोक्त उदाहरणों से भिन्न है, जिसमें द्वि-आयामी विमान पर बिंदुओं के बजाय सिग्नल स्पेक्ट्रोग्राम से लिए गए स्पेक्ट्रम मान का उपयोग किया जाएगा। आप वितरण मापदंडों का चयन कर सकते हैं, जैसे कि BIC मानदंड ( उदाहरण , विवरण ) का उपयोग करके सहसंयोजक मैट्रिक्स का प्रकार, हालांकि, मेरे मामले में, इस मानदंड के दृष्टिकोण से इष्टतम पैरामीटर खुद को उन लोगों की तुलना में बदतर दिखाते हैं जो नीचे दिए गए कोड में दिखाए गए हैं:

 from sklearn.mixture import GaussianMixture n_components = 3 gmm_clf = GaussianMixture(n_components) gmm_clf.fit(X_train) 

यह मानते हुए कि सामान्य ऑपरेशन की ध्वनि को एक वितरण द्वारा वर्णित किया गया है, जिनमें से मापदंडों को प्रशिक्षण प्रक्रिया के दौरान चुना गया था, यह मापना संभव है कि इस वितरण के लिए कोई ध्वनि कितनी करीब है।

ऐसा करने के लिए, आप अध्ययन के तहत सिग्नल के स्पेक्ट्रोग्राम के स्तंभों की औसत संभावना की गणना कर सकते हैं, और फिर एक ऐसी सीमा चुन सकते हैं जो अन्य सभी से अच्छे काम की ध्वनियों की संभावना को अलग करेगी। प्रत्येक सेकंड की विश्वसनीयता इस प्रकार है:

 n_seconds = len(full_wav_data) // sr gmm_scores = [] #     for i in range(n_seconds - 1): test_sec = X_test[(i * sr) // fft_step: ((i + 1) * sr) // fft_step, :] sc = gmm_clf.score(test_sec) gmm_scores.append(sc) 

यदि आप चार्ट पर प्राप्त संभावना प्रदर्शित करते हैं, तो हमें निम्न चित्र मिलते हैं।
ऊपरी भाग matplotlib लाइब्रेरी का उपयोग करके प्रदर्शित सिग्नल के स्पेक्ट्रोग्राम को दर्शाता है। खटखटाने से होने वाले परिवर्तन इस पर उतना ध्यान देने योग्य नहीं हैं जितना ऊपर के उदाहरण में (यही कारण है कि आपने यहां 2 चित्र देखे)। फिर भी, यदि आप बारीकी से देखते हैं, तो उन्हें अभी भी देखा जा सकता है। ऊर्ध्वाधर रेखाएं खटखटाने की शुरुआत और अंत समय को चिह्नित करती हैं।

निष्कर्ष

जैसा कि आप ग्राफ से देख सकते हैं, एक दस्तक की आवाज़ के समय, संभावना वास्तव में दहलीज से नीचे गिर गई, जिसका अर्थ है कि हम इन दो वर्गों को अलग कर सकते हैं (दस्तक के साथ और बिना काम करते हुए)। लेकिन मुझे यह कहना होगा कि यह मूल्य थ्रेशोल्ड के करीब है और उन क्षेत्रों में जहां दस्तक नहीं सुनी जाती है। ऐसा इसलिए है क्योंकि रिकॉर्डिंग में अक्सर बाहरी शोर पाया जाता है, जो संभावना को भी प्रभावित करता है।

हम यहां कुछ सेकंड की ध्वनि, खराब रिकॉर्डिंग स्थितियों में प्रशिक्षण जोड़ते हैं, और आप पहले से ही आश्चर्यचकित हो सकते हैं कि प्रयोग किसी तरह सफल था!

सबसे अधिक संभावना है, इस पद्धति को व्यवहार में लाने के लिए और इसकी विश्वसनीयता के बारे में सुनिश्चित करने के लिए, आपको बहुत अधिक ध्वनि रिकॉर्ड करना होगा, और रिकॉर्डिंग में प्रवेश करने से शोर को कम करने के लिए माइक्रोफोन को भी अच्छी तरह से रखना होगा।

यह लेख एक ऐसी ही समस्या को हल करने का एक प्रयास है, जिसमें पूर्ण शुद्धता का दावा नहीं है, यदि आपके पास विचार और सुझाव हैं, या शायद प्रश्न हैं, तो टिप्पणी या व्यक्ति में उन पर एक साथ चर्चा करें।

फुल जीथब कोड यहां है