हम बड़ी फ़ाइलों और कच्चे डेटा सेट के साथ काम करने के लिए Node.js का उपयोग करते हैं।

यह पद पेड-निडरिनहाउस, फुल-स्टैक सॉफ्टवेयर इंजीनियर के मूल लेख का अनुवाद है। इसकी मुख्य विशेषता जावास्क्रिप्ट है, लेकिन पैगी अन्य भाषाओं और रूपरेखाओं का भी अध्ययन करती है। और वह अपने अनुभव अपने पाठकों के साथ साझा करते हैं। वैसे, शुरुआती लोगों के लिए लेख दिलचस्प होगा।

हाल ही में, मुझे एक ऐसे कार्य का सामना करना पड़ा, जिसमें मेरी दिलचस्पी थी - अमेरिकी संघीय चुनाव आयोग की असंरचित फाइलों की विशाल मात्रा से कुछ डेटा निकालना आवश्यक था। मैंने कच्चे डेटा के साथ बहुत अधिक काम नहीं किया, इसलिए मैंने चुनौती लेने और इस कार्य को करने का फैसला किया। इसे हल करने के लिए एक उपकरण के रूप में, मैंने Node.js. को चुना।

स्किलबॉक्स सिफारिश करता है: फ्रंटेंड डेवलपर पेशे ऑनलाइन कोर्स।

हम आपको याद दिलाते हैं: "हैबर" के सभी पाठकों के लिए - "हैबर" प्रोमो कोड का उपयोग करके किसी भी स्किलबॉक्स कोर्स के लिए पंजीकरण करते समय 10,000 रूबल की छूट।

कार्य को चार बिंदुओं में वर्णित किया गया था:

• प्रोग्राम को फ़ाइल में लाइनों की कुल संख्या की गणना करनी चाहिए।
• हर आठवें कॉलम में एक व्यक्ति का नाम होता है। आपको इस डेटा को लोड करने और फ़ाइल में निहित सभी नामों के साथ एक सरणी बनाने की आवश्यकता है। 432 वें और 43,243 वें नाम को प्रदर्शित करना आवश्यक है।
• प्रत्येक पांचवें स्तंभ में स्वयंसेवकों द्वारा दान की तिथि शामिल है। गिनें कि प्रत्येक महीने कुल कितने दान किए गए हैं, और कुल परिणाम प्रिंट करें।
• हर आठवें कॉलम में एक व्यक्ति का नाम होता है। अंतिम नाम के बिना, केवल पहले नाम का चयन करके एक सरणी बनाएं। पता करें कि कौन सा नाम सबसे अधिक बार पाया जाता है और कितनी बार?

(मूल कार्य इस लिंक पर यहां देखे जा सकते हैं।)

जिस फ़ाइल के साथ आपको काम करने की ज़रूरत है वह 2.55 जीबी का एक नियमित .Txt है। एक फ़ोल्डर भी है जिसमें मुख्य फ़ाइल के कुछ हिस्सों होते हैं (आप पूरे विशाल सरणी का विश्लेषण किए बिना उन पर प्रोग्राम को डीबग कर सकते हैं)।

Node.js पर दो संभावित समाधान

सिद्धांत रूप में, बड़ी फ़ाइलों के साथ काम करना जावास्क्रिप्ट विशेषज्ञ को डराता नहीं है। इसके अलावा, यह Node.js. के मुख्य कार्यों में से एक है फ़ाइलों को पढ़ने और लिखने के लिए कई संभावित समाधान हैं।

परिचित एक fs.readFile () है। यह आपको पूरी फाइल पढ़ने की अनुमति देता है, इसे मेमोरी में डालता है, और फिर नोड का उपयोग करता है।

एक विकल्प है fs.createReadStream (), एक फ़ंक्शन जो डेटा को इसी तरह से पास करता है कि यह कैसे अन्य भाषाओं में आयोजित किया जाता है - उदाहरण के लिए, पायथन या जावा में।

मैंने जो हल चुना

चूंकि मुझे नामों और तारीखों को पार्स करने के लिए लाइनों की कुल संख्या की गणना करने और डेटा पार्स करने की आवश्यकता थी, इसलिए मैंने दूसरे विकल्प पर रोक लगाने का फैसला किया। यहां मैं लाइनों से आवश्यक डेटा प्राप्त करने के लिए rl.on ('लाइन', ...) फ़ंक्शन का उपयोग कर सकता हूं।

Node.js CreateReadStream () और ReadFile () कोड

नीचे कोड है जिसे मैंने Node.js और fs.createReadStream () फ़ंक्शन का उपयोग करके लिखा है।



प्रारंभ में, मुझे सब कुछ सेट करने की ज़रूरत थी, यह महसूस करते हुए कि डेटा आयात करने के लिए Node.js फ़ंक्शन जैसे fs (फ़ाइल सिस्टम), रीडलाइन और स्ट्रीम की आवश्यकता होती है। इसके बाद, मैं readLine.createInterface () के साथ इंस्ट्रीम और आउटस्ट्रीम बनाने में सक्षम था। परिणामी कोड ने आवश्यक डेटा लेकर, लाइन द्वारा फ़ाइल लाइन को पार्स करना संभव बना दिया।

इसके अलावा, मैंने विशिष्ट डेटा के साथ काम करने के लिए कई चर और टिप्पणियां जोड़ीं। ये पंक्तिबद्ध, द्वैध नाम और नाम, दान और प्रथम नाम के सरणियाँ हैं।

Rl.on ('लाइन', ...) फ़ंक्शन में, मैं फ़ाइल पार्सिंग लाइन को लाइन द्वारा सेट करने में सक्षम था। इसलिए, मैंने प्रत्येक पंक्ति के लिए लाइनकाउंट चर में प्रवेश किया। मैंने अपने नामों की सरणी में जोड़कर नामों को पार्स करने के लिए जावास्क्रिप्ट विभाजन () पद्धति का उपयोग किया। अगला, मैंने केवल नामों को अलग किया, बिना अपवादों को उजागर करते हुए, जैसे दोहरे नामों की उपस्थिति, नाम के बीच में आद्याक्षर, आदि। इसके बाद, मैंने वर्ष और तिथि को डेटा कॉलम से अलग कर दिया, यह सब YYYY-MM प्रारूप में परिवर्तित किया और dateDonationCount को सरणी में जोड़ दिया।

Rl.on ('करीब', ...) फ़ंक्शन में, मैंने सरणियों में जोड़े गए डेटा के सभी परिवर्तनों को कंसोल.लॉग में प्राप्त जानकारी के साथ किया।

432 और 43,243 वें नामों को निर्धारित करने के लिए लाइनकाउंट और नामों की आवश्यकता है, यहां किसी भी रूपांतरण की आवश्यकता नहीं है। लेकिन सरणी में सबसे आम नाम की पहचान और दान की संख्या का निर्धारण अधिक जटिल कार्य हैं।

सबसे सामान्य नाम की पहचान करने के लिए, मुझे प्रत्येक नाम (कुंजी) और Object.entries () के संदर्भों की संख्या के लिए मूल्य जोड़े का एक ऑब्जेक्ट बनाना था। (मान) और फिर ES6 फ़ंक्शन का उपयोग करके सभी को सरणियों के एक सरणी में परिवर्तित करें। उसके बाद, नामों को छांटने और सबसे अधिक डुप्लिकेट की पहचान करने का कार्य अब मुश्किल नहीं था।

दान के साथ, मैंने उसी चाल के बारे में किया: मैंने प्रत्येक महीने के लिए कुंजियों और मूल्यों को प्रदर्शित करने के लिए ईएस 6 इंटरपोलेशन का उपयोग करते हुए वैल्यू पेयर और लॉगडेट एलीमेंट्स () फ़ंक्शन का एक ऑब्जेक्ट बनाया, जिसने मुझे अनुमति दी। फिर मैंने एक नया नक्शा () बनाया, डेटामोन्स ऑब्जेक्ट को एक मेटाएमर्रे में परिवर्तित किया, और लॉगडैटेलाइज़ () का उपयोग करके प्रत्येक सरणी के माध्यम से लूप किया। (यह इतना आसान नहीं था जितना शुरुआत में लगता था।)

लेकिन यह काम किया, मैं 400 एमबी की अपेक्षाकृत छोटी फ़ाइल पढ़ने में सक्षम था, आवश्यक जानकारी पर प्रकाश डाला।

उसके बाद, मैंने fs.createReadStream () की कोशिश की - मैंने अंतर देखने के लिए fs.readFile () पर कार्य को लागू किया। यहाँ कोड है:



आप यहाँ संपूर्ण समाधान देख सकते हैं।

Node.js के साथ काम के परिणाम

समाधान काम कर रहा है। मैंने readFileStream.js फ़ाइल में पथ जोड़ा और ... मेमोरी त्रुटि से एक जावास्क्रिप्ट ढेर के साथ नोड सर्वर क्रैश को देखा।



यह पता चला कि, हालांकि सब कुछ काम करता है, लेकिन इस समाधान ने फ़ाइल की पूरी सामग्री को मेमोरी में स्थानांतरित करने की कोशिश की, जो कि 2.55 जीबी की क्षमता के साथ असंभव था। नोड मेमोरी में 1.5 जीबी के साथ एक साथ काम कर सकता है, अब और नहीं।

इसलिए, मेरा कोई भी फैसला नहीं आया। इसने एक नई शुरुआत की जो इस तरह की अस्थिर फाइलों के साथ भी काम कर सकती है।

नया समाधान

जैसा कि यह निकला, लोकप्रिय NPM मॉड्यूल EventStream का उपयोग करना आवश्यक था।

प्रलेखन का अध्ययन करने के बाद, मैं यह समझने में सक्षम था कि क्या किया जाना चाहिए। यहां प्रोग्राम कोड का तीसरा संस्करण है।



मॉड्यूल के लिए प्रलेखन ने संकेत दिया कि डेटा स्ट्रीम को txt फ़ाइल की प्रत्येक पंक्ति के अंत में \ n वर्ण का उपयोग करके अलग-अलग तत्वों में विभाजित किया जाना चाहिए।

मूल रूप से, केवल एक चीज जिसे मुझे बदलना था, वह नाम प्रतिक्रिया थी। मैं 130 मिलियन नामों को सरणी में नहीं डाल सका - स्मृति में कमी त्रुटि फिर से दिखाई दी। मैंने 432 वें और 43,243 वें नामों की गणना करके और उन्हें अपने सरणी में जोड़कर समस्या हल की। थोड़ा नहीं जो शर्तों में पूछा गया था, लेकिन किसने कहा कि आप रचनात्मक नहीं हो सकते?

दौर 2. हम काम में कार्यक्रम की कोशिश करते हैं

हां, 2.55 जीबी की मात्रा वाली सभी समान फ़ाइल, हम अपनी उंगलियों को पार करते हैं और परिणाम का पालन करते हैं।



सफलता!

जैसा कि यह पता चला है, बस Node.js ऐसी समस्याओं को हल करने के लिए उपयुक्त नहीं है, इसकी क्षमताएं कुछ हद तक सीमित हैं। लेकिन मॉड्यूल का उपयोग करके उनका विस्तार करते हुए, आप ऐसी बड़ी फ़ाइलों के साथ काम कर सकते हैं।

स्किलबॉक्स अनुशंसा करता है:

• व्यावहारिक पाठ्यक्रम "वेब डेवलपर का व्यवसाय" ।
• व्यावहारिक पाठ्यक्रम "मोबाइल डेवलपर प्रो" ।
• व्यावहारिक वार्षिक पाठ्यक्रम "पीएचपी-डेवलपर खरोंच से प्रो तक" ।