👩🏾‍🍳 🌡️ 🅰️ गो पर ध्वनि की प्रक्रिया करते हैं ✊🏽 👔 👷🏼

अस्वीकरण: मैं ध्वनि और भाषण मान्यता के साथ काम करने के लिए किसी भी एल्गोरिदम और एपीआई पर विचार नहीं करता हूं। यह लेख ऑडियो मुद्दों और उन्हें गो के साथ कैसे हल किया जाए, के बारे में है।

धानीमूष

ध्वनि के साथ काम करने के लिए phono एक एप्लीकेशन फ्रेमवर्क है। इसका मुख्य कार्य विभिन्न प्रौद्योगिकियों से एक कन्वेयर बनाना है जो ध्वनि की प्रक्रिया करेगा ~~आपके लिए~~ जिस तरह से आपको जरूरत है।

विभिन्न प्रौद्योगिकियों के अलावा, इसके साथ कन्वेयर को क्या करना है, और एक और ढांचा क्यों? अब इसका पता लगाते हैं।

आवाज कहां से आती है?

2018 तक, ध्वनि प्रौद्योगिकी के साथ मनुष्यों की बातचीत का मानक तरीका बन गया है। अधिकांश आईटी दिग्गजों ने अपनी आवाज सहायक बनाई है या अभी कर रहे हैं। वॉयस कंट्रोल पहले से ही अधिकांश ऑपरेटिंग सिस्टम पर है, और वॉइस मैसेजिंग किसी भी मैसेंजर की एक विशिष्ट विशेषता है। दुनिया में, लगभग एक हजार स्टार्टअप प्राकृतिक भाषा प्रसंस्करण और भाषण मान्यता पर लगभग दो सौ काम कर रहे हैं।

संगीत के साथ, एक समान कहानी। यह किसी भी डिवाइस से खेलता है, और ध्वनि रिकॉर्डिंग उन सभी के लिए उपलब्ध है जिनके पास कंप्यूटर है। संगीत सॉफ्टवेयर दुनिया भर में सैकड़ों कंपनियों और हजारों उत्साही लोगों द्वारा विकसित किया गया है।

सामान्य कार्य

यदि आपको ध्वनि के साथ काम करना था, तो निम्नलिखित स्थितियों को परिचित होना चाहिए:

ऑडियो एक फ़ाइल, डिवाइस, नेटवर्क, आदि से प्राप्त किया जाना चाहिए।
ऑडियो को संसाधित किया जाना चाहिए: प्रभाव, ट्रांसकोड, विश्लेषण आदि जोड़ें।
ऑडियो को फ़ाइल, डिवाइस, नेटवर्क आदि में स्थानांतरित किया जाना चाहिए।
डेटा छोटे बफ़र्स में प्रसारित होता है।

यह एक नियमित पाइपलाइन निकला - एक डेटा स्ट्रीम है जो प्रसंस्करण के कई चरणों से गुजरता है।

समाधान

स्पष्टता के लिए, आइए वास्तविक जीवन से एक कार्य लें। उदाहरण के लिए, आपको एक आवाज को पाठ में बदलने की आवश्यकता है:

हम डिवाइस से ऑडियो रिकॉर्ड करते हैं
शोर को दूर करें
Ekvaliziruem
वाक् पहचान API के लिए सिग्नल पास करें

किसी भी अन्य कार्य की तरह, इस एक के कई समाधान हैं।

माथा

कट्टर ही ~~साइकिल चालकों~~ प्रोग्रामर। हम साउंड कार्ड ड्राइवर के माध्यम से सीधे ध्वनि रिकॉर्ड करते हैं, स्मार्ट शोर में कमी और मल्टी-बैंड इक्वलाइज़र लिखते हैं। यह बहुत दिलचस्प है, लेकिन आप अपने मूल कार्य के बारे में कई महीनों तक भूल सकते हैं।

लंबा और बहुत मुश्किल।

सामान्य में

एक विकल्प मौजूदा एपीआई का उपयोग करना है। आप ASIO, CoreAudio, PortAudio, ALSA और अन्य का उपयोग करके ऑडियो रिकॉर्ड कर सकते हैं। प्रसंस्करण के लिए कई प्रकार के प्लगइन्स भी हैं: AAX, VST2, VST3, AU।

एक विस्तृत विकल्प का मतलब यह नहीं है कि आप एक बार में सब कुछ उपयोग कर सकते हैं। आमतौर पर, निम्नलिखित प्रतिबंध लागू होते हैं:

ऑपरेटिंग सिस्टम सभी ऑपरेटिंग सिस्टम पर सभी एपीआई उपलब्ध नहीं हैं। उदाहरण के लिए, AU मूल OS X तकनीक है और केवल वहीं उपलब्ध है।
प्रोग्रामिंग भाषा अधिकांश ऑडियो लाइब्रेरी C या C ++ में लिखी जाती हैं। 1996 में, स्टाइनबर्ग ने वीएसटी एसडीके का पहला संस्करण जारी किया, अभी भी सबसे लोकप्रिय प्लगइन मानक है। 20 वर्षों के बाद, C / C ++ में लिखना आवश्यक नहीं है: VST के लिए जावा, पायथन, C #, रस्ट में रैपर हैं, और कौन जानता है कि और क्या है। हालाँकि भाषा एक सीमा बनी हुई है, अब ध्वनि को जावास्क्रिप्ट में भी संसाधित किया जाता है।
कार्यक्षमता। यदि कार्य सरल और सीधा है, तो एक नया आवेदन लिखना आवश्यक नहीं है। वही FFmpeg बहुत कुछ कर सकता है।

इस स्थिति में, जटिलता आपकी पसंद पर निर्भर करती है। सबसे खराब स्थिति में, आपको कई पुस्तकालयों से निपटना होगा। और यदि आप जटिल सार और पूरी तरह से अलग इंटरफेस के साथ भाग्यशाली नहीं हैं।

परिणाम क्या है?

आपको बहुत जटिल और जटिल के बीच चयन करना होगा:

या तो अपनी बाइक लिखने के लिए कई निम्न स्तर के एपीआई से निपटें
या तो कई एपीआई से निपटें और उनसे दोस्ती करने की कोशिश करें

कोई फर्क नहीं पड़ता कि किस पद्धति का चयन किया जाता है, कार्य हमेशा कन्वेयर पर आता है। उपयोग की जाने वाली प्रौद्योगिकियां भिन्न हो सकती हैं, लेकिन सार समान है। समस्या यह है कि फिर से, एक वास्तविक समस्या को हल करने के बजाय, आपको लिखना होगा ~~बाइक~~ कन्वेयर बेल्ट।

लेकिन एक रास्ता है।

phono

phono सामान्य समस्याओं को हल करने के लिए बनाया phono - ध्वनि को " प्राप्त करने, संसाधित करने और संचारित " करने के लिए। ऐसा करने के लिए, वह सबसे प्राकृतिक अमूर्त के रूप में पाइपलाइन का उपयोग करता है। आधिकारिक गो ब्लॉग पर एक लेख है जो पाइपलाइन पैटर्न का वर्णन करता है। पाइपलाइन का मुख्य विचार यह है कि डेटा प्रोसेसिंग के कई चरण हैं जो एक-दूसरे से स्वतंत्र रूप से काम करते हैं और चैनलों के माध्यम से डेटा का आदान-प्रदान करते हैं। आपको क्या चाहिए

क्यों जाना है?

सबसे पहले, अधिकांश ऑडियो प्रोग्राम और लाइब्रेरी सी में लिखे गए हैं, और गो को अक्सर इसके उत्तराधिकारी के रूप में जाना जाता है। इसके अलावा, मौजूदा ऑडियो लाइब्रेरी के लिए कॉगो और काफी कुछ बाइंडर्स हैं। आप ले सकते हैं और उपयोग कर सकते हैं।

दूसरी बात, मेरी निजी राय में, गो एक अच्छी भाषा है। मैं गहराई में नहीं जाऊंगा, लेकिन मैं इसके मल्टीथ्रेडिंग पर ध्यान दूंगा। चैनल और गोरुटिंस कन्वेयर के कार्यान्वयन को बहुत सरल करते हैं।

कपोल-कल्पना

phono का दिल pipe.Pipe । यह वह है जो पाइपलाइन को लागू करता है। जैसे ब्लॉग से नमूने में तीन प्रकार के चरण होते हैं:

pipe.Pump (अंग्रेजी पंप) - ध्वनि प्राप्त करना , केवल आउटपुट चैनल
pipe.Processor (अंग्रेजी प्रोसेसर) - ध्वनि प्रसंस्करण , इनपुट और आउटपुट चैनल
pipe.Sink सिंक (अंग्रेजी सिंक) - केवल ध्वनि संचरण , इनपुट चैनल

इनसाइड pipe.Pipe डेटा बफ़र्स में पारित किया जाता है। एक पाइपलाइन बनाने के लिए नियम:

pipe_diagram

एक pipe.Pump
कई pipe.Processor ने क्रमिक रूप से एक के बाद एक रखा
एक या एक से अधिक pipe.Sink । समानांतर में रखा गया
सभी pipe.Pipe घटक समान होना चाहिए:
- बफर आकार (संदेश)
- नमूना लेने की दर
- चैनलों की संख्या

न्यूनतम कॉन्फ़िगरेशन पंप और एक सिंक है, बाकी वैकल्पिक है।

आइए कुछ उदाहरण देखें।

सरल

कार्य: wav फ़ाइल चलाएँ।

आइए इसे " प्राप्त, प्रक्रिया, स्थानांतरण " फॉर्म में लाएं :

एक wav फ़ाइल से ऑडियो प्राप्त करें
पोर्टाडियो डिवाइस में ऑडियो ट्रांसफर करें

ऑडियो पढ़ा और तुरंत खेला जाता है।

कोड

 package example import ( "github.com/dudk/phono" "github.com/dudk/phono/pipe" "github.com/dudk/phono/portaudio" "github.com/dudk/phono/wav" ) // Example: // Read .wav file // Play it with portaudio func easy() { wavPath := "_testdata/sample1.wav" bufferSize := phono.BufferSize(512) // wav pump wavPump, err := wav.NewPump( wavPath, bufferSize, ) check(err) // portaudio sink paSink := portaudio.NewSink( bufferSize, wavPump.WavSampleRate(), wavPump.WavNumChannels(), ) // build pipe p := pipe.New( pipe.WithPump(wavPump), pipe.WithSinks(paSink), ) defer p.Close() // run pipe err = p.Do(pipe.Run) check(err) }

सबसे पहले, हम भविष्य के पाइप लाइन के तत्वों को बनाते हैं: wav.Pump और portaudio.Sink और उन्हें पाइप के पास करें। pipe.New कंस्ट्रक्टर। p.Do(pipe.actionFn) error फ़ंक्शन पाइपलाइन शुरू करता है और इसके समाप्त होने की प्रतीक्षा करता है।

कठिन

कार्य: नमूनों में wav फ़ाइल को विभाजित करें, उनसे एक ट्रैक लिखें, परिणाम सहेजें और साथ ही साथ इसे चलाएं।

एक ट्रैक नमूनों का एक क्रम है, और एक नमूना ऑडियो का एक छोटा खंड है। ऑडियो को काटने के लिए, आपको पहले इसे मेमोरी में लोड करना होगा। ऐसा करने के लिए, phono/asset उपयोग करें। phono/asset पैकेज से टाइप करें। हम कार्य को मानक चरणों में विभाजित करते हैं:

एक wav फ़ाइल से ऑडियो प्राप्त करें
ऑडियो को मेमोरी में ट्रांसफर करें

अब हम अपने हाथों से नमूने बनाते हैं, उन्हें ट्रैक पर जोड़ते हैं और कार्य पूरा करते हैं:

एक ट्रैक से ऑडियो प्राप्त करें
ऑडियो को स्थानांतरित करें
- wav फ़ाइल
- portaudio डिवाइस

example_normal

फिर, एक प्रसंस्करण चरण के बिना, लेकिन दो पाइपलाइन!

कोड

 package example import ( "github.com/dudk/phono" "github.com/dudk/phono/asset" "github.com/dudk/phono/pipe" "github.com/dudk/phono/portaudio" "github.com/dudk/phono/track" "github.com/dudk/phono/wav" ) // Example: // Read .wav file // Split it to samples // Put samples to track // Save track into .wav and play it with portaudio func normal() { bufferSize := phono.BufferSize(512) inPath := "_testdata/sample1.wav" outPath := "_testdata/example4_out.wav" // wav pump wavPump, err := wav.NewPump(inPath, bufferSize) check(err) // asset sink asset := &asset.Asset{ SampleRate: wavPump.WavSampleRate(), } // import pipe importAsset := pipe.New( pipe.WithPump(wavPump), pipe.WithSinks(asset), ) defer importAsset.Close() err = importAsset.Do(pipe.Run) check(err) // track pump track := track.New(bufferSize, asset.NumChannels()) // add samples to track track.AddFrame(198450, asset.Frame(0, 44100)) track.AddFrame(66150, asset.Frame(44100, 44100)) track.AddFrame(132300, asset.Frame(0, 44100)) // wav sink wavSink, err := wav.NewSink( outPath, wavPump.WavSampleRate(), wavPump.WavNumChannels(), wavPump.WavBitDepth(), wavPump.WavAudioFormat(), ) // portaudio sink paSink := portaudio.NewSink( bufferSize, wavPump.WavSampleRate(), wavPump.WavNumChannels(), ) // final pipe p := pipe.New( pipe.WithPump(track), pipe.WithSinks(wavSink, paSink), ) err = p.Do(pipe.Run) }

पिछले उदाहरण की तुलना में, दो pipe.Pipe । पहले डेटा को मेमोरी में स्थानांतरित करता है ताकि आप नमूनों को काट सकें। दूसरे के अंत में दो प्राप्तकर्ता होते हैं: wav.Sink और portaudio.Sink । इस योजना के साथ, ध्वनि एक साथ एक wav फ़ाइल में रिकॉर्ड की जाती है और खेली जाती है।

और भी मुश्किल

कार्य: दो wav फ़ाइलें, मिश्रण, प्रक्रिया vst2 प्लगइन पढ़ें और एक नई wav फ़ाइल को सहेजें।

phono/mixer mixer.Mixer में एक साधारण phono/mixer mixer.Mixer । phono/mixer । यह कई स्रोतों से संकेतों को प्रसारित कर सकता है और एक मिश्रित हो सकता है। ऐसा करने के लिए, यह एक साथ pipe.Pump लागू pipe.Sink । pipe.Pump और pipe.Sink । pipe.Sink ।

फिर, कार्य में दो उप-मुखौटे होते हैं। पहला ऐसा दिखता है:

ऑडियो wav फ़ाइल प्राप्त करें
ऑडियो को मिक्सर में ट्रांसफर करें

दूसरा:

मिक्सर से ऑडियो प्राप्त करें ।
ऑडियो प्लगइन प्रसंस्करण
ऑडियो को wav फाइल में ट्रांसफर करें

example_hard

कोड

 package example import ( "github.com/dudk/phono" "github.com/dudk/phono/mixer" "github.com/dudk/phono/pipe" "github.com/dudk/phono/vst2" "github.com/dudk/phono/wav" vst2sdk "github.com/dudk/vst2" ) // Example: // Read two .wav files // Mix them // Process with vst2 // Save result into new .wav file // // NOTE: For example both wav files have same characteristics ie: sample rate, bit depth and number of channels. // In real life implicit conversion will be needed. func hard() { bs := phono.BufferSize(512) inPath1 := "../_testdata/sample1.wav" inPath2 := "../_testdata/sample2.wav" outPath := "../_testdata/out/example5.wav" // wav pump 1 wavPump1, err := wav.NewPump(inPath1, bs) check(err) // wav pump 2 wavPump2, err := wav.NewPump(inPath2, bs) check(err) // mixer mixer := mixer.New(bs, wavPump1.WavNumChannels()) // track 1 track1 := pipe.New( pipe.WithPump(wavPump1), pipe.WithSinks(mixer), ) defer track1.Close() // track 2 track2 := pipe.New( pipe.WithPump(wavPump2), pipe.WithSinks(mixer), ) defer track2.Close() // vst2 processor vst2path := "../_testdata/Krush.vst" vst2lib, err := vst2sdk.Open(vst2path) check(err) defer vst2lib.Close() vst2plugin, err := vst2lib.Open() check(err) defer vst2plugin.Close() vst2processor := vst2.NewProcessor( vst2plugin, bs, wavPump1.WavSampleRate(), wavPump1.WavNumChannels(), ) // wav sink wavSink, err := wav.NewSink( outPath, wavPump1.WavSampleRate(), wavPump1.WavNumChannels(), wavPump1.WavBitDepth(), wavPump1.WavAudioFormat(), ) check(err) // out pipe out := pipe.New( pipe.WithPump(mixer), pipe.WithProcessors(vst2processor), pipe.WithSinks(wavSink), ) defer out.Close() // run all track1Done, err := track1.Begin(pipe.Run) check(err) track2Done, err := track2.Begin(pipe.Run) check(err) outDone, err := out.Begin(pipe.Run) check(err) // wait results err = track1.Wait(track1Done) check(err) err = track2.Wait(track2Done) check(err) err = out.Wait(outDone) check(err) }

पहले से ही तीन pipe.Pipe । सभी एक मिक्सर के माध्यम से जुड़े हुए हैं। शुरू करने के लिए, p.Begin(pipe.actionFn) (pipe.State, error) फ़ंक्शन का उपयोग करें। p.Do(pipe.actionFn) error विपरीत, यह कॉल को ब्लॉक नहीं करता है, लेकिन बस एक स्थिति देता है जिसे तब p.Wait(pipe.State) error साथ इंतजार किया जा सकता है।

आगे क्या है?

मैं चाहता हूं कि phono सबसे सुविधाजनक एप्लीकेशन फ्रेमवर्क बने। यदि आपको ध्वनि की समस्या है, तो आपको जटिल API को समझने और अध्ययन के लिए समय बिताने की आवश्यकता नहीं है। सभी की जरूरत है कि उपयुक्त तत्वों से एक कन्वेयर का निर्माण करें और इसे चलाएं।

आधे साल के लिए, निम्नलिखित पैकेज फिल्माए गए:

phono/wav - वेव फाइलें पढ़ें / लिखें
phono/vst2 - VST2 एसडीके के अधूरे बाइंडिंग, जबकि आप केवल प्लगइन खोल सकते हैं और इसके तरीकों को कॉल कर सकते हैं, लेकिन सभी संरचनाएं नहीं
phono/mixer - मिक्सर, बिना संतुलन और वॉल्यूम के, एन सिग्नल जोड़ता है
phono/asset - बफर सैंपलिंग
phono/track - नमूनों की क्रमिक रीडिंग (टूटी हुई परत)
phono/portaudio - प्रयोग करते समय सिग्नल प्लेबैक

इस सूची के अलावा, नए विचारों और विचारों का लगातार बढ़ रहा है, जिसमें शामिल हैं:

उलटी गिनती
फ्लाई पाइपलाइन पर चर
HTTP पंप / सिंक
पैरामीटर स्वचालन
फिर से तैयार करने का प्रोसेसर
मिक्सर संतुलन और मात्रा
वास्तविक समय पंप
कई पटरियों के लिए सिंक्रनाइज़ पंप
पूर्ण vst2

निम्नलिखित लेखों में मैं विश्लेषण करूंगा:

pipe.Pipe जीवन चक्र - जटिल संरचना के कारण, इसका राज्य अंतिम परमाणु द्वारा नियंत्रित होता है
कैसे अपने पाइपलाइन चरणों लिखने के लिए

यह मेरी पहली ओपन-सोर्स परियोजना है, इसलिए मैं किसी भी मदद और सिफारिशों के लिए आभारी रहूंगा। आपका स्वागत है।

गो पर ध्वनि की प्रक्रिया करते हैं

आवाज कहां से आती है?

सामान्य कार्य

समाधान

माथा

सामान्य में

परिणाम क्या है?

phono

कपोल-कल्पना

सरल

कठिन

और भी मुश्किल

आगे क्या है?

संदर्भ

More articles: