Node.js स्ट्रीम API का उपयोग कैसे करें

इंटरनेट पर कोई फिर से गलत है - कल नोड साप्ताहिक में एक पोस्ट का लिंक था जिसमें लेखक नोड एपीआई में स्ट्रीम एपीआई प्रदर्शन को मापने और तुलना करने की कोशिश कर रहा है। उदासी का कारण है कि लेखक धाराओं के साथ कैसे काम करता है और इसके आधार पर वह क्या निष्कर्ष निकालने की कोशिश करता है:

... यह छोटी फ़ाइलों पर बहुत अच्छी तरह से काम करता है, लेकिन एक बार जब मैं सबसे बड़ी फ़ाइल पर पहुंच गया, तो वही त्रुटि हुई। हालाँकि Node.js इनपुट और आउटपुट को स्ट्रीम कर रहा था, फिर भी इसने ऑपरेशन करते समय पूरी फाइल को मेमोरी में होल्ड करने का प्रयास किया

आइए यह पता लगाने की कोशिश करें कि लेखक के निष्कर्ष और कोड में क्या गलत है।

मेरे दृष्टिकोण से, समस्या यह है कि लेख के लेखक को यह नहीं पता है कि स्ट्रीम'आमी का उपयोग कैसे करें और यह एक समस्या है जिसे किसी को अक्सर सामना करना पड़ता है। मेरे विचार से इस घटना के तीन कारण हैं:

1. Node.js स्ट्रीम एपीआई की जटिल कहानी - यहाँ वर्णित दर्द और पीड़ा
2. यदि आप बिना किसी रैपर के इसका उपयोग करने का प्रयास करते हैं तो सबसे सहज एपीआई नहीं है
3. बहुत अजीब प्रलेखन जो धाराओं को बहुत जटिल और निम्न-स्तर के रूप में प्रस्तुत करता है

सभी एक साथ, यह इस तथ्य की ओर जाता है कि डेवलपर्स अक्सर यह नहीं जानते कि कैसे और कैसे स्ट्रीम एपीआई का उपयोग नहीं करना चाहते हैं।

लेखक कोड में क्या गलत है?
शुरू करने के लिए, यहां कार्य दोहराएं (अंग्रेजी में मूल और फ़ाइल में लिंक पोस्ट में पाया जा सकता है):
फॉर्म की लाइनों के साथ एक निश्चित 2.5 जीबी फ़ाइल है:

C00084871|N|M3|P|201703099050762757|15|IND|COLLINS, DARREN ROBERT|SOUTHLAKE|TX|760928782|CELANESE|VPCHOP&TECH|02282017|153||PR2552193345215|1151824||P/R DEDUCTION ($76.92 BI-WEEKLY)|4030920171380058715 

आपको इसे पार्स करने और निम्नलिखित जानकारी का पता लगाने की आवश्यकता है:

• फ़ाइल में लाइनों की संख्या
• ४३२ वीं और ४३२४३ वीं पंक्तियों पर नाम (यहां सत्य का सवाल है कि गिनती कैसे की जाए, ० या १ से?)
• सबसे आम नाम और यह कितनी बार होता है
• प्रत्येक माह के लिए किस्तों की संख्या

क्या समस्या है? - लेखक ईमानदारी से कहता है कि वह पूरी फाइल को मेमोरी में लोड करता है और इस वजह से, नोड "हैंग" होता है और लेखक हमें एक दिलचस्प तथ्य देता है।

मजेदार तथ्य: Node.js केवल एक बार में 1.67GB तक मेमोरी पकड़ सकता है

लेखक इस तथ्य से एक अजीब निष्कर्ष निकालता है कि यह स्ट्रीम है जो पूरी फ़ाइल को मेमोरी में लोड करती है, और उसने गलत कोड नहीं लिखा है।
चलो थीसिस का खंडन करते हैं: " हालांकि Node.js इनपुट और आउटपुट को स्ट्रीम कर रहा था, फिर भी यह पूरी फ़ाइल को होल्ड करने का प्रयास किया जाता है ", एक छोटा प्रोग्राम लिखकर जो किसी भी आकार की फ़ाइल में लाइनों की संख्या की गणना करेगा:

 const { Writable } = require('stream') const fs = require('fs') const split = require('split') let counter = 0 const linecounter = new Writable({ write(chunk, encoding, callback) { counter = counter + 1 callback() }, writev(chunks, callback) { counter = counter + chunks.length callback() } }) fs.createReadStream('itcont.txt') .pipe(split()) .pipe(linecounter) linecounter.on('finish', function() { console.log(counter) }) 

NB : कोड जानबूझकर संभव के रूप में सरल रूप में लिखा गया है। वैश्विक चर खराब हैं!

आपको किन बातों पर ध्यान देना चाहिए:

• स्प्लिट - npm एक पैकेट जो "इनपुट" पर लाइनों की एक धारा प्राप्त करता है - एक अलग लाइन ब्रेक के साथ "आउटपुट" के लिए लाइनों के सेट की एक धारा देता है। सबसे अधिक संभावना परिवर्तन धारा के कार्यान्वयन के रूप में की गई है। हम इसे एक फाइल के साथ हमारे ReadStream में पाइप करते हैं, और खुद को पाइप में ...
• linecounter - WritableStream का कार्यान्वयन। इसमें, हम दो तरीकों को लागू करते हैं: एक टुकड़ा (चंक) और कई प्रसंस्करण के लिए। इस स्थिति में "लाइन" कोड की लाइन है। रिवर्स - काउंटर पर वांछित संख्या जोड़ें। यह समझना महत्वपूर्ण है कि इस स्थिति में हमने पूरी फ़ाइल को मेमोरी में लोड नहीं किया है, और एपीआई हमारे लिए सब कुछ "टुकड़ों" में विभाजित करेगा जो प्रसंस्करण के लिए सबसे सुविधाजनक हैं
• 'खत्म' - ऐसी घटनाएं जो "तब होती हैं" जब डेटा हमारे रीडेबलस्ट्रीम पर पहुंचता है "समाप्त होता है"। जब ऐसा होता है तो हम काउंटर डेटा गिरवी रख देते हैं

ठीक है, चलो एक बड़े फ़ाइल पर हमारे निर्माण का परीक्षण करें:

 > node linecounter.js 13903993 

जैसा कि आप देख सकते हैं, सब कुछ काम करता है। जिस चीज से हम यह निष्कर्ष निकाल सकते हैं कि स्ट्रीम एपीआई किसी भी आकार की फाइलों के साथ एक उत्कृष्ट काम करता है और पोस्ट के लेखक के कथन को हल्के ढंग से कहने के लिए, यह सच नहीं है। लगभग उसी तरह, हम समस्या में आवश्यक किसी अन्य मूल्य की गणना कर सकते हैं।

बताएं:

• क्या आप पढ़ने में रुचि रखते हैं कि समस्या को पूरी तरह से कैसे हल किया जाए और परिणामी कोड को रखरखाव के लिए सुविधाजनक रूप में कैसे लाया जाए?
• क्या आप स्ट्रीम एपीआई का उपयोग करते हैं और आपको किन कठिनाइयों का सामना करना पड़ा?