बेंचमार्क आरपीसी सिस्टम (और उलटा जसन)

विभिन्न उपकरणों (RabbitMQ, Crossbar.io, Nats.io, Nginx, आदि) की तुलना माइक्रोसर्विस के बीच RPC के आयोजन के लिए।





अनुच्छेद 2019-12-15 अपडेट किया गया

सारांश । क्लासिक एमक्यू सिस्टम के माध्यम से सिंक्रोनस आरपीसी कॉल का कार्यान्वयन प्रभावी नहीं है - यह कम प्रदर्शन और दुष्प्रभाव देता है जो मैन्युअल रूप से घाव (या अतिरिक्त उपकरण के साथ) करने की आवश्यकता होती है।
उलटा जसन एक हल्का कार्य सर्वर है जो आपको "ईमानदार" तुल्यकालिक आरपीसी कॉल करने की अनुमति देता है (ग्राहक और सर्वर सूचना भेजने के लिए उल्टे जौन के माध्यम से जुड़ते हैं), जो उच्च प्रदर्शन (RabbitMQ की तुलना में 7 गुना तेज) सुनिश्चित करता है, और http के माध्यम से संचार होता है। , जो आपको किसी भी http उपकरण का उपयोग करने की अनुमति देता है, यहां तक ​​कि कंसोल से कर्ल भी।

1. टेस्ट

सभी उपकरण 3 समूहों में विभाजित हैं:

• "डायरेक्ट कनेक्शन" - जब क्लाइंट सीधे कार्यकर्ता को संबोधित करता है, बड़ी संख्या में श्रमिकों / सेवाओं के साथ परियोजनाओं में इसे कॉन्फ़िगर करना सबसे मुश्किल होता है, इसके लिए "स्मार्ट क्लाइंट" की आवश्यकता होती है, अर्थात कॉल करते समय, क्लाइंट को यह जानकारी होनी चाहिए कि अनुरोध भेजने के लिए कैसे और कहां (या एक अतिरिक्त स्थानीय प्रॉक्सी की आवश्यकता है), एक नियम के रूप में यह नेटवर्क पर कम से कम लोड का उत्पादन करता है।
• "प्रॉक्सी कनेक्शन" - एक एकल प्रविष्टि बिंदु के साथ एक संस्करण, एक साधारण ग्राहक, लेकिन एक ही समय में कठिनाइयों श्रमिकों / धारावाहिकों की ओर रहती हैं - बंदरगाहों को अग्रेषित करना और आवंटित करना, परदे के पीछे के पते को पंजीकृत करना, अधिक जटिल फ़ायरवॉल सेटिंग्स, अतिरिक्त उपकरण अक्सर इस पूरे खेत का प्रबंधन करने के लिए उपयोग किए जाते हैं ।
• "इनवर्टेड कनेक्शन" - क्लाइंट और वर्कर दोनों के लिए एक सिंगल एंट्री पॉइंट (जिसे ईएसबी माना जा सकता है), सबसे सरल नेटवर्क सेटअप।
• मेमोरी और प्रोसेसर का उपयोग `डॉकटर आँकड़े` से लिया गया है
• "2-कोर" परीक्षण में, ब्रेकरों के साथ सर्वर और क्लाइंट को एक दूसरे पर प्रभाव को कम करने के लिए अलग-अलग कोर में विभाजित किया जाता है, इसलिए सर्वर कार्यपत्रक के माध्यम से 2 कोर तक सीमित है (प्रतिबंधों के बिना मल्टी-कोर टेस्ट)

नीचे दिए गए बेंचमार्क पर कुछ विचार।

2. एमक्यू या आरपीसी

हालांकि ये 2 संचार विधियां अलग हैं, कभी-कभी पहले का उपयोग दूसरे और इसके विपरीत के बजाय किया जाता है।
यदि आप सीमाओं को रेखांकित करने का प्रयास करते हैं, तो क्या उपयोग करना है, आप कुछ इस तरह प्राप्त कर सकते हैं:

• RPC (समकालिक प्रक्रिया कॉल) - जब ग्राहक को तुरंत प्रतिक्रिया की आवश्यकता होती है (थोड़े समय में), जब ग्राहक को जवाब देने की आवश्यकता होती है, जब ग्राहक प्रतिक्रिया की प्रतीक्षा कर रहा होता है, और यदि ग्राहक छोड़ दिया है (समय-समय पर), तो इस उत्तर की कोई आवश्यकता नहीं है (यही कारण है कि आपको बचाने की आवश्यकता नहीं है " अनुरोध ”, जैसा कि अक्सर एमक्यू सिस्टम में किया जाता है)।
  उदाहरण के लिए, जब आप डेटाबेस में एक प्रश्न बनाते हैं - आप RPC करते हैं, तो आप इसके लिए MQ का उपयोग नहीं करना चाहेंगे।
• एमक्यू (अतुल्यकालिक प्रक्रिया कॉल) - जब उत्तर की आवश्यकता नहीं है (तुरंत), जब आपको अंत में किसी तरह का कार्य पूरा करने की आवश्यकता होती है या बस डेटा स्थानांतरित करना होता है।
  उदाहरण के लिए, पत्र भेजने के लिए आप एमक्यू के माध्यम से एक कार्य भेज सकते हैं
  

3. RabbitMQ पर RPC

RabbitMQ का उपयोग अक्सर RPC को व्यवस्थित करने के लिए किया जाता है, लेकिन समान MQ सिस्टम की तरह यह एक अतिरिक्त ओवरहेड बनाता है, यही कारण है कि इसका उपयोग बहुत उत्पादक नहीं है।

यदि आप आरपीसी के लिए "कतार" का उपयोग करते हैं, तो आपको चैनलों को साफ करने की आवश्यकता है, क्योंकि यदि कार्यकर्ता थोड़ी देर के लिए गिर गया है, तो इसे फिर से शुरू करने के बाद अप्रासंगिक कार्यों का एक गुच्छा मिल सकता है, क्योंकि क्लाइंट ने इस समय सभी अनुरोध भेजे और, इसके अलावा, एक जवाब के लिए व्यर्थ में इंतजार किया। कार्यकर्ता सक्रिय नहीं था। कुल मिलाकर, कार्यकर्ता को कार्य प्राप्त होगा भले ही ग्राहक पहले छोड़ दिया हो, ग्राहक के साथ, यदि ग्राहक के चैनल की गणना नहीं की जाती है, तो वह कार्यकर्ता से अस्वीकार्य जवाबों से भरा हो सकता है, हालांकि RabbitMQ में आप क्लाइंट चैनल को बंद कर सकते हैं, लेकिन उसी समय प्रदर्शन नाटकीय रूप से गिर जाता है।

आपको यह जानने के लिए भी एक पोर्क कार्यकर्ता की आवश्यकता है कि वह जीवित है।
इसके अलावा, संसाधनों को चैनलों के साथ काम करने में खर्च किया जाता है, जब आरपीसी सिस्टम में डेटा को केवल कार्यकर्ता और इसके विपरीत भेजा जाता है।

4. उलटा जसन

कई अलग-अलग एमक्यू सिस्टम हैं, लेकिन बहुत से जॉब सर्वर (आरपीसी) नहीं हैं जैसे कि गियरमैन / क्रॉसबार.आईओ बहुत छोटे विकल्प हैं, इसलिए डेवलपर्स अक्सर आरपीसी के लिए एमक्यू सिस्टम लेते हैं।
इसलिए, उलटा JSON (iJson) बनाया गया था - एक HTTP इंटरफ़ेस के साथ एक प्रॉक्सी सर्वर जहां क्लाइंट और वर्कर्स एक नेटवर्क क्लाइंट के रूप में कनेक्ट होते हैं: [क्लाइंट] -> [इन्वर्टेड Json] <- [कार्यकर्ता], जो C / C ++ में लिखा गया है, एपोल, स्टेट मशीनों का उपयोग करता है। रूटिंग के लिए, जसन स्ट्रीमिंग पार्सर, स्ट्रिंग्स के बजाय स्लाइस *, बेहतर प्रदर्शन के लिए तरीके आदि।

खरगोशों पर उलटे JSON के फायदे:

• नहीं प्राप्त संदेशों से ग्राहक और कार्यकर्ता चैनलों को साफ करने की कोई जरूरत नहीं है
• कार्यकर्ता को पिंग करने के लिए आवश्यक नहीं है, यदि कार्यकर्ता काटता है तो ग्राहक को तुरंत एक त्रुटि प्राप्त होगी (एक रखने वाले कनेक्शन के साथ)
• आसान एपीआई - बस एक http अनुरोध (एक नियम के रूप में, यह पहले से ही सभी भाषाओं और रूपरेखाओं द्वारा समर्थित है)
• तेजी से काम करता है और याददाश्त कम करता है
• किसी विशिष्ट कार्यकर्ता को आदेश भेजने का एक आसान तरीका (उदाहरण के लिए, यदि कतार में कई श्रमिक हैं, लेकिन आपको एक विशिष्ट व्यक्ति के साथ काम करने की आवश्यकता है)

अन्य उलटे Json जानकारी

• बाइनरी डेटा ट्रांसफर करने की क्षमता (सिर्फ नाम नहीं, जैसा कि नाम सुझा सकता है)
• आईडी को निर्दिष्ट करने के लिए आवश्यक नहीं है अगर कार्यकर्ता को जीवित के रूप में जुड़ा हुआ है, उलटा जसन बस ग्राहक और कार्यकर्ता को सीधे जोड़ता है।
• कई कमांड (चैनल) को "सब्सक्राइब" करने की क्षमता, प्रदर्शन को खोए बिना एक पैटर्न (उदाहरण के लिए कमांड / *) की सदस्यता लें।
• डॉकर छवि केवल 2.6 एमबी (पतला संस्करण) है
• कर्नेल उलटा Json केवल ~ 1400 लाइनों की कोड (v0.3), कम कोड - कम कीड़े;)
• उलटा JSON अनुरोध निकाय (निकाय) को संशोधित नहीं करता है, लेकिन जैसा है उसे भेजता है।

5. 3 मिनट में उलटे Json की कोशिश करें

अगर आपने डोकर और कर्ल किया है, तो आप अभी उल्टे Json की कोशिश कर सकते हैं:


चित्र से विवरण:
1) पोर्ट 8001 पर उल्टे जोंस की डॉकटर छवि को लॉन्च करना, 47 आवक अनुरोधों को लॉग करता है, आदि:

$ docker run -it -p 8001:8001 lega911/ijson --log 47 

2) "कैल्क / योग" कार्य के लिए कार्यकर्ता को पंजीकृत करें, और कार्य की प्रतीक्षा करें, अनुरोध करें "प्राप्त करें", अर्थात - कार्य प्राप्त करें:

 $ curl localhost/calc/sum -H 'type: get' 

3) ग्राहक एक आरपीसी कैल्क / राशि अनुरोध करता है:

 $ curl localhost/calc/sum -d '{"id": 15, "data": "2+3"}' 

4) कार्यकर्ता को कार्य {{"id": 15, "डेटा": "2 + 3"} प्राप्त होता है - डेटा अपरिवर्तित रहता है, अब आपको उसी आईडी पर रिजल्ट भेजने की जरूरत है, टाइप करें "परिणाम":

 $ curl localhost -H 'type: result' -d '{"id": 15, "result": 5}' 

... और क्लाइंट को परिणाम मिलता है क्योंकि यह `{"id": 15, "result": 5}`

5.1। JsonRPC

JsonRPC 2 समर्थित नहीं है, लेकिन कुछ अशिष्टताएं हैं, उदाहरण के लिए, ग्राहक अनुरोध भेज सकते हैं जैसे (url / rpc / call):

 {"jsonrpc": "2.0", "method": "calc/sum", "params": [42, 23], "id": 1} 

त्रुटियों को स्वीकार करें:

 {"jsonrpc": "2.0", "error": {"code": -32601, "message": "Method not found"}, "id": null} 

हालांकि, अगर मांग है, तो JsonRPC समर्थन में सुधार किया जा सकता है।

5.2। अजगर ग्राहक और कार्यकर्ता उदाहरण

 # client.py import requests print(requests.post('http://127.0.0.1:8001/test/command', json={'id': 1, 'params': 'Hello'}).json()) # worker.py import requests while True: req = requests.post('http://127.0.0.1:8001/test/command', headers={'type': 'get'}).json() response = { 'id': req['id'], 'result': req['params'] + ' world!' } requests.post('http://127.0.0.1:8001/', json=response, headers={'type': 'result'}) 

और यहां आप "कार्यकर्ता मोड" में एक उदाहरण पा सकते हैं, जो अधिक उत्पादक और कॉम्पैक्ट है।

6. बेंचमार्क परिणाम पर कुछ विचार

• Crossbar.io : अजगर पर आधारित है, इसलिए यह इतना तेज़ नहीं है और GIL के कारण कई कोर का उपयोग नहीं कर सकता है।
• रैबिटम्यूक्यू : एमपीसी के शीर्ष पर आरपीसी, जो एक अतिरिक्त ओवरहेड लगाता है। बढ़ते भार के साथ प्रदर्शन में तीव्र गिरावट (परीक्षण में परिलक्षित नहीं)।
• नट : एक बुरा नहीं है, हालांकि अवर जसन के रूप में, अवर MQ पर RPC की भी यही समस्याएँ होंगी।
• उलटा जसन : नेटवर्क सीमा तक पहुंच गया (यानी विभिन्न कोर पर परीक्षणों की कई प्रतियां लॉन्च करना कुल में बेहतर परिणाम नहीं देता है), प्रदर्शन के सापेक्ष मेमोरी और प्रोसेसर का सबसे कुशल उपयोग दिखाया गया है।
• नगनेक्स : जब प्रॉक्सी-पास, प्रदर्शन जल्दी से गिर जाता है अगर की-लिविंग मोड चालू नहीं होता है (डिफ़ॉल्ट रूप से बंद हो जाता है), इस तथ्य के कारण कि लिनक्स कम समय में कई सॉकेट को खोलने / बंद करने की अनुमति नहीं देता है (यह परीक्षण में परिलक्षित नहीं होता है)।
• ट्रैफिक : बहुत ही प्रचंड , गति में सीपीयू के 600% का इस्तेमाल किया, गति में nginx से हीन
• uvloop ( asyncio के तहत) - बहुत अच्छा प्रदर्शन देता है, क्योंकि RPC के लिए सबसे अधिक C / C ++ में लिखा गया, ZeroMQ से अधिक बेहतर है
• ZeroMQ - कार्यकर्ता खुद पाइथन में लिखा है, इसलिए यह कर्नेल में चला गया, हालांकि मल्टीप्रोसेसर परीक्षण 100% से अधिक सीपीयू की खपत करता है, यह इस तथ्य के कारण है कि जीरोमेक खुद ही CIL ++ में बिना GIL कैप्चर के लिखा गया है। यह बहुत अच्छा प्रदर्शन देता है, लेकिन दूसरी तरफ, अगर कार्यकर्ता सिर्फ a + b नहीं करता है, तो किसी भी जटिलता के कारण RPC में महत्वपूर्ण कमी आएगी, क्योंकि पहले भी कोर मारा जाएगा।
• ZeroRPC : ZeroMQ पर एक हल्के आवरण के रूप में घोषित किया गया, वास्तव में, ZeroMQ से 95% प्रदर्शन खो गया है, ऐसा लगता है कि यह इतना हल्का नहीं है।
• जीआरपीसी : अजगर के लिए विकल्प बहुत सारे बॉयलरप्लेट पायथन कोड का उत्पादन करता है, अर्थात। प्रोसेसर भारी हो जाता है और जल्दी से सीपीयू पर रहता है, संकलित भाषाओं के लिए शायद ऐसी कोई समस्या नहीं है।
• 2-कोर और मल्टी-कोर परीक्षण, मल्टी-कोर में कुछ संकेतक कम हो गए, क्योंकि आपको क्लाइंट टेस्ट कोड के साथ सीपीयू संसाधनों के लिए प्रतिस्पर्धा करना पड़ता है, दूसरी ओर, कुछ परीक्षणों ने शानदार प्रदर्शन दिया, उदाहरण के लिए ट्रैफिक, जिसने 600% सीपीयू खाया

7. निष्कर्ष

यदि आपके पास एक बड़ी कंपनी और कई कर्मचारी हैं, तो आप खुद को माइक्रोसर्विस के बीच सीधे कनेक्शन के आयोजन के लिए विभिन्न जटिल उपकरणों का समर्थन करने की अनुमति दे सकते हैं, जो प्रभावी संचार प्रदान कर सकते हैं।
और छोटी कंपनियों और स्टार्टअप्स के लिए, जहां एक छोटी टीम को विभिन्न क्षेत्रों की समस्याओं को हल करने की आवश्यकता होती है, उल्टे जसन समय और संसाधनों को बचा सकते हैं।

उल्टे जोंस के विकास के लिए, योजनाओं में पबसूब, कुबेरनेट्स और अन्य दिलचस्प विचारों का समर्थन शामिल है।
यदि आप परियोजना में रुचि रखते हैं या केवल लेखक की मदद करना चाहते हैं, तो आप जीथब परियोजना पर एक तारांकन चिह्न लगा सकते हैं, धन्यवाद।

पुनश्च:

• इस लेख को बनाने में अधिक समय लगा, जिसमें इनवर्टेड जोंस को बनाने के बजाय परीक्षण शामिल थे
• उलटे जोंस प्रोटोटाइप में भी लिखा था 1. अजगर + असिनसियो + उवलोप, 2. गोआंग में
• विभिन्न विशेषज्ञों द्वारा परीक्षणों की समीक्षा की गई।
• "स्ट्रिंग्स के बजाय स्लाइस" - ज्यादातर मामलों में जब http / json को पार्स करते समय डेटा को स्ट्रिंग्स में कॉपी नहीं किया जाता है, लेकिन स्रोत डेटा के लिंक का उपयोग किया जाता है, इस प्रकार, कोई अनावश्यक आवंटन और मेमोरी की प्रतिलिपि नहीं है।
• यदि आप परीक्षण करेंगे - अजगर में अनुरोधों का उपयोग न करें, तो यह बहुत धीमा है, pycurl से बेहतर है, इस आवरण का उपयोग परीक्षणों में किया जाता है।
• बेंचमार्क यहां है
• यहां के सूत्र