Node.js. पर बहुआयामी घटना पाश

Infa JS डेवलपर्स के लिए उपयोगी होगा जो Node.js और इवेंट लूप के साथ काम करने के सार को गहराई से समझना चाहते हैं। आप जानबूझकर और अधिक लचीले ढंग से कार्यक्रम (वेब-सर्वर) के प्रवाह को नियंत्रित कर सकते हैं।

मैंने सहकर्मियों को अपनी हालिया रिपोर्ट के आधार पर इस लेख को संकलित किया है।
लेख के अंत में स्वतंत्र अध्ययन के लिए उपयोगी सामग्रियां हैं।

Node.js. कैसे है अतुल्यकालिक सुविधाएँ

आइए इस कोड को देखें: यह पूरी तरह से कोड निष्पादन के Node.js. में सिंक्रनाइज़ेशन को दर्शाता है GitHub पर कहीं एक अनुरोध किया जाता है, फिर एक फ़ाइल पढ़ी जाती है और परिणाम कंसोल में प्रदर्शित होता है। इस समकालिक कोड से क्या स्पष्ट है?

मान लीजिए कि यह एक अमूर्त वेब सर्वर है जो एक राउटर पर संचालन करता है। यदि इस राउटर पर एक आवक अनुरोध आता है, तो हम आगे अनुरोध करते हैं, फ़ाइल पढ़ें, और इसे कंसोल पर प्रिंट करें। तदनुसार, किसी फ़ाइल को अनुरोध करने और पढ़ने पर खर्च किया जाने वाला समय, सर्वर अवरुद्ध हो जाएगा, यह किसी भी अन्य आवक अनुरोधों को संसाधित करने में सक्षम नहीं होगा, और न ही यह अन्य संचालन करेगा।

इस समस्या को हल करने के लिए क्या विकल्प हैं?

1. बहु सूत्रण
2. गैर अवरोधक I / O

पहले विकल्प (मल्टीथ्रेडिंग) के लिए Apache बनाम Nginx वेब सर्वर के साथ एक अच्छा उदाहरण है।

इससे पहले, अपाचे ने प्रत्येक आने वाले अनुरोध के लिए एक धारा बढ़ा दी थी: कितने अनुरोध थे, समान संख्या में धागे। इस समय, नगीनक्स को गैर-अवरुद्ध I / O का उपयोग करने का लाभ था। यहां आप देख सकते हैं कि आने वाले अनुरोधों की संख्या में वृद्धि के साथ, अपाचे द्वारा खपत की गई मेमोरी की मात्रा बढ़ जाती है, और अगली स्लाइड पर, नगनेक्स के लिए कनेक्शन की संख्या के साथ प्रति सेकंड संसाधित अनुरोधों की संख्या अधिक है।

यह स्पष्ट रूप से दिखाया गया है कि गैर-अवरोधक इनपुट / आउटपुट अधिक कुशल है।

गैर-अवरोधक इनपुट / आउटपुट को आधुनिक ऑपरेटिंग सिस्टम के लिए संभव बनाया गया है जो इस तंत्र को प्रदान करते हैं - एक इवेंट डेमूलिप्लेक्सर।

एक डीमुल्टिप्लेक्सर एक तंत्र है जो एक आवेदन से एक अनुरोध प्राप्त करता है, इसे पंजीकृत करता है, और इसे निष्पादित करता है।

आरेख के ऊपरी भाग में यह देखा जाता है कि हमारे पास एक एप्लिकेशन है और इसमें ऑपरेशन किए गए हैं (इसे किसी फ़ाइल को पढ़ने दें)। ऐसा करने के लिए, इवेंट डेमूलिप्लेक्सर के लिए अनुरोध किया जाता है, एक संसाधन यहां भेजा जाता है (फ़ाइल के लिए लिंक), वांछित संचालन और कॉलबैक। ईवेंट डेमूलिप्लेक्सर इस अनुरोध को पंजीकृत करता है और सीधे आवेदन पर नियंत्रण लौटाता है - इस प्रकार, यह अवरुद्ध नहीं है। फिर यह फ़ाइल पर संचालन करता है, और उसके बाद, जब फ़ाइल पढ़ी जाती है, तो कॉलबैक निष्पादन कतार में पंजीकृत होता है। फिर इवेंट लूप धीरे-धीरे इस कतार से प्रत्येक कॉलबैक को सिंक्रोनाइज़ करता है। और, तदनुसार, आवेदन के लिए परिणाम लौटाता है। आगे (यदि आवश्यक हो) सब कुछ फिर से किया जाता है।

इस प्रकार, इस गैर-अवरुद्ध I / O के लिए धन्यवाद, Node.js अतुल्यकालिक हो सकता है।

मैं स्पष्ट करूंगा कि इस मामले में, यह ऑपरेटिंग सिस्टम है जो हमें नॉन-ब्लॉकिंग इनपुट / आउटपुट प्रदान करता है। गैर-अवरोधक इनपुट / आउटपुट (आमतौर पर, सिद्धांत रूप में, इनपुट / आउटपुट संचालन के लिए) हम नेटवर्क अनुरोधों को शामिल करते हैं और फाइलों के साथ काम करते हैं।

यह गैर-अवरोधक I / O की सामान्य अवधारणा है। जब अवसर पैदा हुआ, रयान डाहल, एक Node.js डेवलपर, नेग्नेक्स अनुभव से प्रेरित था, जिसने गैर-अवरोधक I / O का उपयोग किया, और विशेष रूप से डेवलपर्स के लिए एक मंच बनाने का फैसला किया। पहली चीज़ जो उन्हें करने की ज़रूरत थी, वह एक इवेंट डीमूलिप्लेक्सर के साथ अपने दोस्तों को "मंच बनाने" के लिए था। समस्या यह थी कि प्रत्येक ऑपरेटिंग सिस्टम में अलग-अलग तरीके से डेमूलिप्लेक्सर को लागू किया गया था, और उन्हें एक आवरण लिखना था, जिसे बाद में लिबव के रूप में जाना जाने लगा। यह सी। में लिखी गई एक लाइब्रेरी है। यह इन इवेंट डेमूलिप्लेक्सर्स के साथ काम करने के लिए एकल इंटरफ़ेस प्रदान करती है।

लिबुव पुस्तकालय सुविधाएँ

लिनक्स में, सिद्धांत रूप में, इस समय, स्थानीय फ़ाइलों के साथ सभी ऑपरेशन अवरुद्ध हैं। यही है, ऐसा लगता है कि गैर-अवरोधक इनपुट / आउटपुट है, लेकिन स्थानीय फ़ाइलों के साथ काम करते समय यह ठीक है कि ऑपरेशन अभी भी अवरुद्ध है। यही कारण है कि libuv गैर-अवरुद्ध I / O का अनुकरण करने के लिए आंतरिक रूप से थ्रेड्स का उपयोग करता है। 4 धागे बॉक्स से बाहर निकलते हैं, और यहां हमें सबसे महत्वपूर्ण निष्कर्ष निकालने की आवश्यकता है: यदि हम स्थानीय फ़ाइलों पर कुछ 4 भारी संचालन करते हैं, तदनुसार, हम अपने पूरे एप्लिकेशन को ब्लॉक कर देंगे (यह लिनक्स पर है, अन्य ओएस नहीं करते हैं)।

इस स्लाइड पर, हम Node.js. की वास्तुकला देखते हैं। ऑपरेटिंग सिस्टम के साथ बातचीत करने के लिए, सी में लिखी गई लिबव लाइब्रेरी का उपयोग किया जाता है; जावास्क्रिप्ट कोड को मशीन कोड में संकलित करने के लिए, Google V8 इंजन का उपयोग किया जाता है, इसमें एक Node.js कोर लाइब्रेरी भी है, जिसमें नेटवर्क अनुरोधों, फ़ाइल सिस्टम और लॉगिंग के लिए मॉड्यूल के साथ काम करने के लिए मॉड्यूल शामिल हैं। यह सब एक दूसरे के साथ बातचीत की, Node.js बाइंडिंग लिखा जाता है। ये 4 घटक Node.js. की संरचना बनाते हैं। ईवेंट लूप तंत्र स्वयं लिबाव में है।

घटना पाश

यह ईवेंट लूप की तरह दिखने वाला सबसे सरल प्रतिनिधित्व है। घटनाओं की एक निश्चित कतार होती है, घटनाओं का एक अंतहीन चक्र होता है जो कतार से तुल्यकालिक रूप से संचालन करता है, और यह उन्हें आगे वितरित करता है।

यह स्लाइड दिखाती है कि इवेंट लूप सीधे Node.js. में कैसे दिखता है

वहां, कार्यान्वयन अधिक दिलचस्प और अधिक जटिल है। अनिवार्य रूप से, एक ईवेंट लूप एक ईवेंट लूप है, और यह अनंत है जब तक कि कुछ करना है। Node.js में इवेंट लूप को कई चरणों में विभाजित किया गया है। (स्लाइड 8 से चरण 9 स्लाइड पर स्रोत कोड के साथ तुलना की जानी चाहिए।)

चरण 1 - टाइमर

यह चरण सीधे इवेंट लूप द्वारा किया जाता है। (कोड स्निपेट uv_update_time के साथ) - यहां वह समय जब इवेंट लूप ने काम करना शुरू किया है बस अपडेट किया गया है।

uv_run_timers - इस विधि में, अगली टाइमर कार्रवाई की जाती है। एक निश्चित स्टैक है, अधिक सटीक रूप से, टाइमर का एक गुच्छा, यह अनिवार्य रूप से कतार के समान है जहां टाइमर स्थित हैं। ईवेंट लूप के वर्तमान समय की तुलना में सबसे कम समय वाला टाइमर लिया जाता है, और यदि इस टाइमर को निष्पादित करने का समय है, तो इसके कॉलबैक को निष्पादित किया जाता है। यहाँ यह ध्यान देने योग्य है कि Node.js में सेटटाइमआउट का कार्यान्वयन है और वहाँ सेट इन्टरवल है। लिब्यू के लिए, यह अनिवार्य रूप से एक ही चीज है, केवल सेटइंटरवल में अभी भी एक दोहराव झंडा है।

तदनुसार, यदि इस टाइमर में रिपीट फ़्लैग है, तो इसे फिर से इवेंट कतार में रखा जाता है और फिर उसी तरीके से संसाधित किया जाता है।

चरण 2 - I / O-callbacks

यहां हमें गैर-अवरुद्ध इनपुट / आउटपुट के बारे में आरेख पर लौटने की आवश्यकता है।

जब इवेंट डीमूलिप्लेक्सर एक फ़ाइल को पढ़ता है और कॉलबैक को कतार में रखता है, तो यह सिर्फ I / O-callback स्टेज से मेल खाता है। यहां कॉलबैक गैर-अवरोधक इनपुट / आउटपुट के लिए किया जाता है, अर्थात, ये ठीक वही कार्य हैं जो डेटाबेस या अन्य संसाधन के अनुरोध के बाद या किसी फ़ाइल को पढ़ने / लिखने के लिए उपयोग किए जाते हैं। वे इस चरण में सटीक रूप से किए जाते हैं।

स्लाइड 9 में, I / O-callback फ़ंक्शन का निष्पादन लाइन 367 शुरू होता है: ran_pending = uv_run_pending (लूप)।

3 चरण - प्रतीक्षा, तैयारी

ये कॉलबैक के लिए आंतरिक ऑपरेशन हैं, वास्तव में, हम चरण को प्रभावित नहीं कर सकते हैं, केवल अप्रत्यक्ष रूप से। एक प्रक्रिया है ।nextTick, इसके कॉलबैक को अनजाने में प्रतीक्षा, तैयारी चरण में निष्पादित किया जा सकता है। process.nextTick को मौजूदा चरण में निष्पादित किया जाता है, अर्थात, वास्तव में, process.nextTick बिल्कुल किसी भी चरण में काम कर सकता है। कोड में "प्रतीक्षा, तैयारी" चरण में कोड को चलाने के लिए कोई तैयार उपकरण नहीं है।

स्लाइड 9 पर, लाइनें 368, 369 इस चरण के अनुरूप हैं:
uv_run_idle (लूप) - प्रतीक्षा करें;
uv_run_prepare (लूप) - तैयारी।

4 चरण - सर्वेक्षण

यह वह जगह है जहां हमारे सभी कोड जिसे हम जेएस में लिखते हैं, निष्पादित किया जाता है। प्रारंभ में, हमारे द्वारा किए गए सभी अनुरोध यहां मिलते हैं, और यह वह जगह है जहां Node.js को अवरुद्ध किया जा सकता है। यदि कोई भारी गणना ऑपरेशन यहाँ हो जाता है, तो इस स्तर पर हमारा आवेदन बस रुक सकता है और इस ऑपरेशन के पूरा होने तक प्रतीक्षा करें।
स्लाइड 9 पर, मतदान फ़ंक्शन लाइन 370: uv_io_poll (लूप, टाइमआउट) पर है।

5 चरण - जांच

Node.js में एक सेटिमिटेड टाइमर है, इस चरण में इसके कॉलबैक निष्पादित किए जाते हैं।
स्रोत कोड में, यह लाइन 371: uv_run_check (लूप) है।

6 चरण (अंतिम) - कॉलबैक ईवेंट बंद करें

उदाहरण के लिए, एक वेब सॉकेट को कनेक्शन बंद करने की आवश्यकता होती है, इस चरण में इस घटना का कॉलबैक कहा जाएगा।

स्रोत कोड में, यह लाइन 372: uv_run_closing_handless (लूप) है।

और अंत में, इवेंट लूप Node.js इस प्रकार है

सबसे पहले, टाइमर कतार में, टाइमर निष्पादित किया जाता है, जिसकी अवधि निकट आ गई है।

फिर I / O-callbacks निष्पादित किए जाते हैं।

फिर कोड आधार है, फिर सेट इमीडिएट और क्लोज इवेंट।

उसके बाद, सब कुछ एक सर्कल में दोहराता है। इसे प्रदर्शित करने के लिए, मैं कोड खोलूंगा। यह कैसे किया जाएगा?

हमारे पास लाइन में टाइमर नहीं हैं, इसलिए इवेंट लूप आगे बढ़ता है। कोई I / O-callbacks भी नहीं हैं, इसलिए हम तुरंत मतदान के चरण में जाते हैं। यहां शुरू होने वाले सभी कोड को मतदान के चरण में शुरू में निष्पादित किया जाता है। इसलिए, पहले हम script_start को प्रिंट करते हैं, setInterval को टाइमर कतार में रखा जाता है (निष्पादित नहीं किया जाता है, बस रखा जाता है)। setTimeout को टाइमर कतार में भी रखा जाता है, और फिर वादों को निष्पादित किया जाता है: पहला वादा 1 और फिर वादा 2।

अगले टिक (ईवेंट लूप) में, हम टाइमर चरण पर लौटते हैं, यहाँ कतार में पहले से ही 2 टाइमर हैं: setInterval और setTimeout। वे दोनों क्रमशः 0 विलंबित हैं, वे निष्पादित करने के लिए तैयार हैं।

SetInterval निष्पादित होता है (कंसोल पर आउटपुट), फिर setTimeout 1. कोई गैर-अवरुद्ध I / O कॉलबैक नहीं हैं, फिर एक मतदान चरण होगा, वादा 3 और वादा 4 कंसोल में प्रदर्शित होते हैं।

अगला, सेटटाइमआउट टाइमर लॉग किया गया है। यह टिक समाप्त होता है, अगले टिक पर जाएं। फिर से टाइमर हैं, कंसोल पर आउटपुट सेटइंटरवल और सेटटाइमआउट 2 है, फिर 5 वादा और वादा 6 प्रदर्शित किए जाते हैं।

हमने इवेंट लूप की समीक्षा की और अब मल्टीथ्रेडिंग के बारे में अधिक विस्तार से बात कर सकते हैं।

थ्रेडिंग - कार्यकर्ता_थ्रेड्स मॉड्यूल

थ्रेडिंग 10.5 के संस्करण में कार्यकर्ता_थ्रेड्स मॉड्यूल के लिए Node.js के लिए प्रकट हुआ है। और 10 वें संस्करण में, इसे विशेष रूप से - प्रयोगात्मक-कार्यकर्ता कुंजी के साथ लॉन्च किया गया था, और 11 वें संस्करण से इसके बिना शुरू करना संभव था।

Node.js में एक क्लस्टर मॉड्यूल भी है, लेकिन यह थ्रेड नहीं बढ़ाता है - यह कई और प्रक्रियाओं को बढ़ाता है। अनुप्रयोग मापनीयता इसका प्राथमिक लक्ष्य है।

1 प्रक्रिया क्या दिखती है:
1 Node.js प्रक्रिया, 1 थ्रेड, 1 इवेंट लूप, 1 V8 इंजन और libuv।

यदि हम X थ्रेड शुरू करते हैं, तो यह इस तरह दिखता है:
1 नोड.जेएस प्रक्रिया, एक्स थ्रेड्स, एक्स इवेंट लूप्स, एक्स वी 8 इंजन और एक्स लिबाव।

योजनाबद्ध रूप से, यह निम्नानुसार दिखता है

एक उदाहरण लेते हैं।

एक्सप्रेस पर सबसे सरल वेब सर्वर। 2 मार्ग हैं - / और / वसा-संचालन।

वहाँ भी एक उत्पन्नRRArr () फ़ंक्शन है। वह सरणी को दो मिलियन रिकॉर्ड्स से भरता है और उसे क्रमबद्ध करता है। सर्वर शुरू करते हैं।

हम / वसा-ऑपरेशन के लिए अनुरोध करते हैं। और उस समय जब सरणी को छांटने का कार्य किया जाता है, हम मार्ग / के लिए एक और अनुरोध भेजते हैं, लेकिन जवाब पाने के लिए हमें सरणी को हल करने तक इंतजार करना होगा। यह एक क्लासिक सिंगल थ्रेड कार्यान्वयन है। अब हम कार्यकर्ता_थ्रेड्स मॉड्यूल को जोड़ते हैं।

हम / वसा-संचालन के लिए एक अनुरोध करते हैं और फिर - से / तक, जिससे हमें तुरंत जवाब मिलता है - नमस्ते दुनिया!

सरणी को छांटने के संचालन के लिए, हमने एक अलग थ्रेड उठाया, जिसका इवेंट लूप का अपना उदाहरण है, और यह मुख्य थ्रेड में कोड के निष्पादन को प्रभावित नहीं करता है।

एक धागा "नष्ट" हो जाएगा जब उसके पास प्रदर्शन करने के लिए कोई संचालन नहीं है।

हम स्रोत कोड को देखते हैं। हम कार्यकर्ता को 26 लाइन पर पंजीकृत करते हैं और यदि आवश्यक हो, तो इसे डेटा पास करें। इस मामले में, मैं कुछ भी प्रेषित नहीं कर रहा हूं। और फिर हम घटनाओं की सदस्यता लेते हैं: एक त्रुटि और एक संदेश। कार्यकर्ता में, फ़ंक्शन को कहा जाता है, दो मिलियन रिकॉर्ड की एक सरणी को सॉर्ट किया जाता है। जैसे ही यह छांटा जाता है, हम परिणाम को मुख्य स्ट्रीम के लिए भेजते हैं post_message के माध्यम से।

मुख्य धागे में, हम इस संदेश को पकड़ते हैं और समाप्त करने के लिए परिणाम भेजते हैं। कार्यकर्ता और मुख्य सूत्र में आम स्मृति है, इसलिए हमारे पास पूरी प्रक्रिया के वैश्विक चर तक पहुंच है। जब हम मुख्य धारा से कार्यकर्ता को डेटा स्थानांतरित करते हैं, तो कार्यकर्ता को केवल एक प्रति मिलती है।

हम एक फाइल में मेन स्ट्रीम और वर्कर स्ट्रीम का वर्णन कर सकते हैं। कार्यकर्ता_थ्रेड्स मॉड्यूल एक एपीआई प्रदान करता है जिसके माध्यम से हम यह निर्धारित कर सकते हैं कि वर्तमान में कौन सा कोड कोड निष्पादित कर रहा है।

अतिरिक्त जानकारी

मैं उपयोगी संसाधनों के लिंक और रयान डाहल की प्रस्तुति का लिंक साझा करता हूं जब उन्होंने इवेंट लूप (देखने के लिए दिलचस्प) प्रस्तुत किया।

घटना पाश

1. Node.js प्रलेखन से एक लेख का अनुवाद
2. https://blog.risingstack.com/node-js-at-scale-understanding-node-js-event-loop/
3. https://habr.com/ru/post/336498/

Worker_threads

1. https://nodejs.org/api/worker_threads.html#worker_threads_worker_workerdata - API
2. https://habr.com/ru/company/ruvds/blog/415659/
3. https://nodesource.com/blog/worker-threads-nodejs/
   
4. रयान डाहल की प्रस्तुति (वीपीएन के माध्यम से) से मूल स्लाइड्स