WebSockets के बारे में एक बात यह है कि सर्वर के लिए वास्तव में सभी CPU संसाधनों को खाने के लिए उच्च पर्याप्त लोड उत्पन्न करने के लिए आपको क्लाइंट की तरफ बहुत सारे संसाधनों की आवश्यकता होती है।

ऐसी कई चुनौतियां हैं जिनसे आपको पार पाना होगा क्योंकि वेबसॉफ़्ट प्रोटोकॉल सर्वर की तरफ से क्लाइंट की मांग पर अधिक सीपीयू है। उसी समय आपको लाखों कनेक्शन होने पर खुले कनेक्शन के बारे में जानकारी संग्रहीत करने के लिए बहुत अधिक रैम की आवश्यकता होती है।

मैं बहुत भाग्यशाली रहा हूं कि हार्डवेयर "बर्नआउट" परीक्षणों के लिए मेरे निपटान में सीमित समय के लिए कुछ नए सर्वर प्राप्त किए। इसलिए मैंने दोनों काम करने के लिए अपने Lua Application Server - LAppS का उपयोग करने का निर्णय लिया: हार्डवेयर का परीक्षण करें और LAppS उच्च लोड परीक्षण करें।

आइए देखते हैं डिटेल्स

चुनौतियां

जब तक आप इसे नकली नहीं बनाना चाहते, तब तक क्लाइंट की तरफ से सभी WebSockets को ट्रैफ़िक मास्किंग के लिए बहुत तेज़ RNG की आवश्यकता होती है। मैं चाहता था कि परीक्षण यथार्थवादी हों, इसलिए मैंने आरजीजी को एक निरंतरता के साथ प्रतिस्थापित करने के विचार को खारिज कर दिया। यह एकमात्र विकल्प छोड़ देता है - बहुत सी सीपीयू शक्ति। जैसा कि मैंने कहा, मेरे पास दो सर्वर हैं: एक दोहरी इंटेल गोल्ड 6148 सीपीयू (कुल मिलाकर 40 कोर) 256 जीबी रैम (डीडीआर 4-2666) और एक क्वाड इंटेल प्लेटिनम 8180 सीपीयू (कुल 112 कोर) 384 जीबी रैम (डीडीआर 4-2666) । मैं उनके बाद सर्वर ए और सर्वर बी के रूप में संदर्भित करूंगा।

दूसरी चुनौती - वेबस्केट्स के लिए कोई लाइब्रेरी या टेस्ट सूट नहीं हैं जो काफी तेज़ हैं। यही कारण है कि मुझे LAppS ( cws ) के लिए एक WebSockets क्लाइंट मॉड्यूल विकसित करने के लिए मजबूर किया गया।

परीक्षण सेटअप

दोनों सर्वरों में दोहरी पोर्ट 10GbE कार्ड हैं। प्रत्येक कार्ड के पोर्ट 1 को एक बॉन्डिंग इंटरफ़ेस के लिए एकत्रित किया जाता है और ये कार्ड या तो पोर्ट्स आरआर मोड में एक दूसरे से जुड़े होते हैं। प्रत्येक कार्ड के पोर्ट 2 को एक ईथरनेट बैकअप पर कनेक्टेड, एक्टिव-बैकअप मोड में एक बॉन्डिंग इंटरफेस में एकत्रित किया जाता है। प्रत्येक हार्डवेयर सर्वर RHEL 7.6 चला रहा था। मुझे डिफ़ॉल्ट gcc-4.8.5 के बजाय आधुनिक संकलक रखने के लिए स्रोतों से gcc-8.3 स्थापित करना पड़ा। प्रदर्शन परीक्षणों के लिए सबसे अच्छा सेटअप नहीं, फिर भी भिखारी चयनकर्ता नहीं हो सकते।

सर्वर ए (2xGold 6148) पर सीपीयू में सर्वर बी (4xPl Platinum 8180) की तुलना में उच्च आवृत्ति होती है। एक ही समय में सर्वर बी में अधिक कोर होते हैं, इसलिए मैंने सर्वर ए पर एक इको सर्वर और सर्वर बी पर इको क्लाइंट चलाने का निर्णय लिया।

मैं यह देखना चाहता था कि लाखों कनेक्शनों के साथ LAppS किस तरह से उच्च भार का व्यवहार करता है और प्रति सेकेंड अधिकतम प्रतिध्वनि क्या अनुरोध कर सकता है। ये वास्तव में परीक्षणों के दो अलग-अलग सेट हैं क्योंकि कनेक्शन राशि वृद्धि के साथ सर्वर और क्लाइंट तेजी से जटिल काम कर रहे हैं।

इससे पहले मैंने अपने घर पीसी पर सभी परीक्षण किए हैं जो मैं विकास के लिए उपयोग करता हूं। इन परीक्षणों के परिणामों का उपयोग तुलना के लिए किया जाएगा। मेरे होम पीसी में एक इंटेल कोर i7-7700 सीपीयू 3.6GHz (4.0GHz टर्बो) है जिसमें 4 कोर और 32GB DDR4-2400 रैम है। यह पीसी Gentoo को 4.14.72 कर्नेल के साथ चलाता है।

LAppS को स्थापित करना 0.8.1

 ADD https://github.com/wolfSSL/wolfssl/archive/v3.15.7-stable.tar.gz ${WORKSPACE} RUN tar xzvf v3.15.7-stable.tar.gz WORKDIR ${WORKSPACE}/wolfssl-3.15.7-stable RUN ./autogen.sh RUN ./configure CFLAGS="-pipe -O2 -march=native -mtune=native -fomit-frame-pointer -fstack-check -fstack-protector-strong -mfpmath=sse -msse2avx -mavx2 -ftree-vectorize -funroll-loops -DTFM_TIMING_RESISTANT -DECC_TIMING_RESISTANT -DWC_RSA_BLINDING" --prefix=/usr/local --enable-tls13 --enable-openssh --enable-aesni --enable-intelasm --enable-keygen --enable-certgen --enable-certreq --enable-curve25519 --enable-ed25519 --enable-intelasm --enable-harden RUN make -j40 all RUN make install 

 ADD https://github.com/weidai11/cryptopp/archive/CRYPTOPP_8_2_0.tar.gz ${WORKSPACE} RUN rm -rf ${WORKSPACE}/cryptopp-CRYPTOPP_8_2_0 RUN tar xzvf ${WORKSPACE}/CRYPTOPP_8_2_0.tar.gz WORKDIR ${WORKSPACE}/cryptopp-CRYPTOPP_8_2_0 RUN make CFLAGS="-pipe -O2 -march=native -mtune=native -fPIC -fomit-frame-pointer -fstack-check -fstack-protector-strong -mfpmath=sse -msse2avx -mavx2 -ftree-vectorize -funroll-loops" CXXFLAGS="-pipe -O2 -march=native -mtune=native -fPIC -fomit-frame-pointer -fstack-check -fstack-protector-strong -mfpmath=sse -msse2avx -mavx2 -ftree-vectorize -funroll-loops" -j40 libcryptopp.a libcryptopp.so RUN make install 

 ADD http://luajit.org/download/LuaJIT-2.0.5.tar.gz ${WORKSPACE} WORKDIR ${WORKSPACE} RUN tar xzvf LuaJIT-2.0.5.tar.gz WORKDIR ${WORKSPACE}/LuaJIT-2.0.5 RUN env CFLAGS="-pipe -Wall -pthread -O2 -fPIC -march=native -mtune=native -mfpmath=sse -msse2avx -mavx2 -ftree-vectorize -funroll-loops -fstack-check -fstack-protector-strong -fno-omit-frame-pointer" make -j40 all RUN make install 

 WORKDIR ${WORKSPACE} RUN rm -rf ITCLib ITCFramework lar utils LAppS RUN git clone https://github.com/ITpC/ITCLib.git RUN git clone https://github.com/ITpC/utils.git RUN git clone https://github.com/ITpC/ITCFramework.git RUN git clone https://github.com/ITpC/LAppS.git RUN git clone https://github.com/ITpC/lar.git WORKDIR ${WORKSPACE}/LAppS 

 # find ./nbproject -type f -name "*.mk" -exec sed -i.bak -e 's/-lmimalloc//g' {} \; # find ./nbproject -type f -name "*.bak" -exec rm {} \; 

 # make clean # make CONF=Release.AVX2 install # make CONF=Release.AVX2.NO_STATS.NO_TLS install 

टेस्ट 1. होम पीसी पर शीर्ष प्रदर्शन। आधार रेखा के लिए विन्यास।

मैंने पहले ही स्थापित कर लिया है कि मुझे सर्वश्रेष्ठ प्रदर्शन मिलता है जब मैं प्रत्येक 100 कनेक्शन के साथ चार बेंचमार्क सेवा उदाहरणों को कॉन्फ़िगर करता हूं। एक ही समय में मुझे सर्वश्रेष्ठ प्रदर्शन प्राप्त करने के लिए केवल तीन IOWorkers और चार इको सेवा की आवश्यकता है। याद रखें? मेरे यहाँ केवल 4 कोर हैं।

इस परीक्षण का उद्देश्य आगे की तुलना के लिए एक आधार रेखा स्थापित करना है। वास्तव में यहां कुछ भी रोमांचक नहीं है।

Bellow परीक्षणों के लिए LAppS को कॉन्फ़िगर करने के लिए आवश्यक कदम हैं।

स्वयं हस्ताक्षरित प्रमाण पत्र

 #!/bin/bash openssl genrsa -out example.org.key 2048 openssl req -new -key example.org.key -out example.org.csr openssl genrsa -out ca.key 2048 openssl req -new -x509 -key ca.key -out ca.crt openssl x509 -req -in example.org.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out example.org.crt cat example.org.crt ca.crt > example.org.bundle.crt 

/ ऑप्ट / lapps / conf / ssl निर्देशिका के भीतर से इस स्क्रिप्ट को चलाने से सभी आवश्यक फाइलें बन जाएंगी। यहाँ स्क्रिप्ट का आउटपुट है और मैंने इसमें क्या लिखा है:

 # certgen.sh Generating RSA private key, 2048 bit long modulus .................................................................................................................................................................+++++ .....................................+++++ e is 65537 (0x010001) You are about to be asked to enter information that will be incorporated into your certificate request. What you are about to enter is what is called a Distinguished Name or a DN. There are quite a few fields but you can leave some blank For some fields there will be a default value, If you enter '.', the field will be left blank. ----- Country Name (2 letter code) [AU]:KZ State or Province Name (full name) [Some-State]:none Locality Name (eg, city) []:Almaty Organization Name (eg, company) [Internet Widgits Pty Ltd]:NOORG.DO.NOT.FORGET.TO.REMOVE.FROM.BROWSER Organizational Unit Name (eg, section) []: Common Name (eg server FQDN or YOUR name) []: Email Address []: Please enter the following 'extra' attributes to be sent with your certificate request A challenge password []: An optional company name []: Generating RSA private key, 2048 bit long modulus ...+++++ ............................................................................+++++ e is 65537 (0x010001) You are about to be asked to enter information that will be incorporated into your certificate request. What you are about to enter is what is called a Distinguished Name or a DN. There are quite a few fields but you can leave some blank For some fields there will be a default value, If you enter '.', the field will be left blank. ----- Country Name (2 letter code) [AU]:KZ State or Province Name (full name) [Some-State]:none Locality Name (eg, city) []:Almaty Organization Name (eg, company) [Internet Widgits Pty Ltd]:none Organizational Unit Name (eg, section) []: Common Name (eg server FQDN or YOUR name) []:*.example.org Email Address []: Signature ok subject=C = KZ, ST = none, L = Almaty, O = NOORG.DO.NOT.FORGET.TO.REMOVE.FROM.BROWSER Getting CA Private Key 

LAppS कॉन्फ़िगरेशन

यहां WebSockets कॉन्फ़िगरेशन फ़ाइल है जो TLS 1.3 के लिए सेट है, इसमें उपरोक्त उत्पन्न प्रमाण पत्र शामिल हैं और 3 IOWorkers (LAppS विकि में चर का विस्तृत विवरण देखें) के साथ कॉन्फ़िगर किया गया है।

 { "listeners" : 2, "connection_weight": 1.0, "ip" : "0.0.0.0", "port" : 5083, "lapps_config_auto_save" : true , "workers" : { "workers": 3, "max_connections" : 40000, "auto_fragment" : false, "max_poll_events" : 256, "max_poll_wait_ms" : 10, "max_inbounds_skip" : 50, "input_buffer_size" : 2048 }, "acl" : { "policy" : "allow", "exclude" : [] }, "tls":true, "tls_server_version" : 4, "tls_client_version" : 4, "tls_certificates":{ "ca":"/opt/lapps/conf/ssl/ca.crt", "cert": "/opt/lapps/conf/ssl/example.org.bundle.crt", "key": "/opt/lapps/conf/ssl/example.org.key" } } 

कॉन्फ़िगर करने वाली सेवाएं: इको सर्वर और इको क्लाइंट (बेंचमार्क), प्रत्येक में चार उदाहरण हैं।

 { "directories": { "app_conf_dir": "etc", "applications": "apps", "deploy": "deploy", "tmp": "tmp", "workdir": "workdir" }, "services": { "echo": { "auto_start": true, "instances": 4, "internal": false, "max_inbound_message_size": 16777216, "protocol": "raw", "request_target": "/echo", "acl" : { "policy" : "allow", "exclude" : [] } }, "benchmark": { "auto_start": true, "instances" : 4, "internal": true, "preload": [ "nap", "cws", "time" ], "depends" : [ "echo" ] } } } 

गूंज सेवा बहुत तुच्छ है:

 echo = {} echo.__index = echo; echo.onStart=function() print("echo::onStart"); end echo.onDisconnect=function() end echo.onShutdown=function() print("echo::onShutdown()"); end echo.onMessage=function(handler,opcode, message) local result, errmsg=ws:send(handler,opcode,message); if(not result) then print("echo::OnMessage(): "..errmsg); end return result; end return echo 

बेंचमार्क सेवा बेंचमार्क के रूप में बेंचमार्क .ax_connections के रूप में कई बनाता है और तब तक चलता है जब तक आप LAASS को रोक नहीं देते। कनेक्शन की स्थापना या गूंज अनुरोध बमबारी में कोई ठहराव नहीं है। Cws मॉड्यूल API WebSockets के लिए वेब API जैसा दिखता है। सभी बेंचमार्क .max_connections स्थापित होने के बाद बेंचमार्क जुड़े सॉकेट की मात्रा को प्रिंट करता है। एक बार कनेक्शन स्थापित होने के बाद बेंचमार्क सर्वर को बेंचमार्क.मैसेज भेजता है। सर्वर द्वारा उत्तर देने के बाद cws ऑब्जेक्ट का अनाम ऑनमेसेज विधि लागू किया जाता है, जो सर्वर पर वापस उसी संदेश को भेजता है।

 benchmark={} benchmark.__index=benchmark benchmark.init=function() end benchmark.messages_counter=0; benchmark.start_time=time.now(); benchmark.max_connections=100; benchmark.target="wss://127.0.0.1:5083/echo"; benchmark.message="XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"; benchmark.meter=function() benchmark.messages_counter=benchmark.messages_counter+1; local slice=time.now() - benchmark.start_time; if( slice >= 1000) then print(benchmark.messages_counter.." messages received per "..slice.."ms") benchmark.messages_counter=0; benchmark.start_time=time.now(); end end benchmark.run=function() local n=nap:new(); local counter=1; n:sleep(1); local array={}; local start=time.now(); while(#array < benchmark.max_connections) and (not must_stop()) do local sock, err_msg=cws:new(benchmark.target, { onopen=function(handler) local result, errstr=cws:send(handler,benchmark.message,2); if(not result) then print("Error on websocket send at handler "..handler..": "..errstr); end end, onmessage=function(handler,message,opcode) benchmark.meter(); cws:send(handler,message,opcode); end, onerror=function(handler, message) print("Client WebSocket connection is failed for socketfd "..handler..". Error: "..message); end, onclose=function(handler) print("Connection is closed for socketfd "..handler); end }); if(sock ~= nil) then table.insert(array,sock); else print(err_msg); err_msg=nil; collectgarbage("collect"); end -- poll events once per 10 outgoing connections -- this will improve the connection establishment speed if counter == 10 then cws:eventLoop(); counter=1 else counter = counter + 1; end end print("Sockets connected: "..#array); benchmark.start_time=time.now(); while not must_stop() do cws:eventLoop(); end for i=1,#array do array[i]:close(); cws:eventLoop(); end end return benchmark; 

सेवाओं की स्थापना

अब हमें सेवा स्क्रिप्ट को /opt/lapps/apps//.lua में रखना होगा:

• /opt/lapps/apps/benchmark/benchmark.lua
• /opt/lapps/apps/echo/echo.lua

हम अपना बेंचमार्क अब चलाने के लिए तैयार हैं। बस चलाएं: rm -f lapps.log; /opt/lapps/bin/lapps.avx2 > log rm -f lapps.log; /opt/lapps/bin/lapps.avx2 > log LAppS निर्देशिका के भीतर से rm -f lapps.log; /opt/lapps/bin/lapps.avx2 > log करें और 5 मिनट की प्रतीक्षा करें, फिर LAppS को रोकने के लिए एक बार Ctrl-C दबाएं (यह तुरंत बंद नहीं होगा, यह पहले कनेक्शन बंद कर देगा), या दो बार (यह शटडाउन अनुक्रम को बाधित करेगा)।

ठीक है, हमें इस तरह से कुछ के साथ एक पाठ फ़ाइल मिली है:

आइए इस लॉग फ़ाइल को इस तरह से साफ़ करें:

 echo -e ':%s/ms/^V^M/g\n:%g/^$/d\nGdd1G4/Sockets\n4\ndggZZ' | vi $i 

'^ V ^ M' निम्नलिखित प्रमुख हिट्स का दृश्यमान प्रतिनिधित्व है: Ctrl-V Ctrl-V Ctrl-V Ctrl-M, इसलिए इस बैश लाइन को कॉपी पेस्ट करना बहुत बेकार होगा। संक्षिप्त विवरण:

• हमें लाइन के अंत के साथ 'एमएस' प्रतीकों को बदलना होगा, क्योंकि हमें उनकी आवश्यकता नहीं है, वे बाद में गणना को गड़बड़ कर देंगे और समानांतर में काम करने वाले 4 मानदंड एक पंक्ति में अपने परिणाम प्रिंट कर सकते हैं।
• हमें बाद में सभी खाली लाइनों को हटाने की आवश्यकता है
• हम अंतिम पंक्ति को भी हटाते हैं, क्योंकि हम सर्वर को रोकते हैं
• लॉग फ़ाइल में केवल कुछ पंक्तियाँ होंगी जिनमें सॉकेट्स जुड़े हुए हैं: 100 (यह इसलिए है क्योंकि हम केवल चार बेंचमार्क सेवा चलाते हैं)। इसलिए हम उनमें से अंतिम 4 लाइनों को छोड़ देते हैं, और फ़ाइल के शीर्ष पर सब कुछ हटाने से।
• फ़ाइल सहेजना।

फ़ाइल सहेज ली गई है और आप अब शेल में वापस आ गए हैं, और लॉग फ़ाइल अगले चरण के लिए तैयार है:

 # awk -v avg=0 '{rps=($1/$5);avg+=rps;}END{print ((avg*1000)/NR)*4}' log 

यह awk सिंगल-लाइनर प्रति ms प्रतिध्वनी प्रतिक्रियाओं की मात्रा की गणना करता है, और एवीजी चर में परिणाम को जमा करता है। लॉग फ़ाइल में सभी लाइनों के संसाधित होने के बाद, यह प्रति सेकंड इको प्रतिक्रियाओं की कुल राशि प्राप्त करने के लिए 1000 से गुणा करता है, लाइनों की संख्या को विभाजित करता है और बेंचमार्क सेवाओं की मात्रा को गुणा करता है। यह हमें इस परीक्षण रन के लिए प्रति सेकंड की औसत प्रतिध्वनि प्रतिक्रिया देता है।

मेरे पीसी पर यह संख्या (ईआरपीएस) है: ५६३ .५४

एसएसएल समर्थन के बिना ऐसा ही करते हैं और अंतर देखते हैं:

• Wsjson में tls चर के मूल्य को गलत में बदलें
• बेंचमार्क में बदलें ।मार्क को wss: // से ws: // में देखें।
• rm -f lapps.log; /opt/lapps/bin/lapps.avx2.nostats.notls > log rm -f lapps.log; /opt/lapps/bin/lapps.avx2.nostats.notls > log LAppS निर्देशिका के भीतर से rm -f lapps.log; /opt/lapps/bin/lapps.avx2.nostats.notls > log , और ऊपर दिए गए चरणों को दोहराएं।

मुझे मिल गया है: प्रति सेकंड 721236 प्रतिक्रियाएं

SSL और बिना SSL के प्रदर्शन में अंतर लगभग 22% है। आइए भविष्य के संदर्भ के लिए इन नंबरों को ध्यान में रखें।

सर्वर A पर समान सेटअप के साथ, मुझे मिला है: SSL के साथ 421905 ERpS और SSL के बिना 443145 ERpS। स्पेक्टर और मेल्टडाउन के लिए पैच को अक्षम कर दिया गया था।
सर्वर B पर मुझे SSL के साथ 270996 ERpS और SSL के बिना 318522 ERpS सक्षम हैं। 385726 और 372126 बिना एसएसएल के। स्पेक्टर और मेल्टडाउन के लिए पैच को भी अक्षम कर दिया गया था।

परिणाम एक ही सेटअप के साथ खराब होते हैं क्योंकि इन सर्वरों पर सीपीयू की आवृत्ति कम होती है।

कृपया सावधान रहें कि ग्राहक / dev / urandom में डेटा उपलब्धता पर बहुत निर्भर हैं। यह तब तक हो सकता है जब तक कि ग्राहक वास्तव में चलना शुरू न करें, यदि आप पहले से ही इसे एक बार चला चुके हैं। तो बस उनके लिए काम शुरू करने की प्रतीक्षा करें, फिर वे जो करते हैं, उसमें बहुत तेज हैं। अगर एलएपीएस इंस्टेंस वास्तव में कोई काम कर रहा है तो बस ऊपर से निगरानी करें। यदि / dev / urandom को समाप्त कर दिया जाता है तो LAppS आपके CPU को तब तक नहीं खाएगा जब तक कि कुछ डेटा उपलब्ध न हो।

बड़े परीक्षणों की तैयारी कर रहा है

सबसे पहले हमें कर्नेल मापदंडों में कुछ बदलाव करने की आवश्यकता है और खुली फाइलों की एनआर के लिए अल्मिट को मत भूलना। मैंने इस लेख में लगभग समान सेटअप का उपयोग किया है।

निम्नलिखित सामग्री के साथ एक फ़ाइल बनाएँ

 : sysctl -w fs.file-max=14000000 sysctl -w fs.nr_open=14000000 ulimit -n 14000000 sysctl -w net.ipv4.tcp_mem="100000000 100000000 100000000" sysctl -w net.core.somaxconn=20000 sysctl -w net.ipv4.tcp_max_syn_backlog=20000 sysctl -w net.ipv4.ip_local_port_range="1025 65535" 

फिर स्रोत का उपयोग करें। कर्नेल पैरामीटर और अलिमेट को बदलने के लिए दोनों सर्वरों पर नाम बदलें।

इस बार मेरा उद्देश्य एक सर्वर पर कई लाखों ग्राहक बनाना और उन्हें दूसरे से जोड़ना है।

सर्वर ए वेबसॉकेट गूंज सेवा सर्वर पक्ष के रूप में काम करेगा।
सर्वर बी वेबसॉकेट इको सर्विस क्लाइंट साइड के रूप में काम करेगा।

LuaJIT द्वारा लगाए गए LAppS में एक सीमा है। आप प्रति LuaJIT VM में केवल 2GB RAM का उपयोग कर सकते हैं। यह रैम की सीमा है जिसे आप सभी सेवाओं के लिए एकल एलएपीएस उदाहरण के भीतर उपयोग कर सकते हैं, क्योंकि सेवाएं एक लबुआजित उदाहरण के खिलाफ जुड़े धागे हैं। यदि आपकी कोई भी सेवा, जो सिंगल एलएपीएस उदाहरण के तहत चल रही है, इस सीमा से अधिक हो जाती है, तो सभी सेवाएं मेमोरी से बाहर हो जाएंगी।

मुझे पता चला है कि प्रति एकल एलएपीएस उदाहरण आप 64 बाइट्स के संदेश आकार के साथ 2 तो 464 000 क्लाइंट वेबस्केट को अधिक स्थापित नहीं कर सकते हैं। संदेश का आकार इस सीमा को थोड़ा बदल सकता है, क्योंकि LAppS संदेश को LuaJIT के भीतर इस संदेश के लिए स्थान आवंटित करके सेवा को पास करता है।

इसका तात्पर्य है कि मुझे सर्वर बी पर एक ही कॉन्फ़िगरेशन के साथ कई LAppS इंस्टेंसेस को शुरू करना है ताकि अधिक से अधिक 2.4 लाखों WebSockets को स्थापित किया जा सके। सर्वर A (इको सर्वर) LuaJIT पक्ष पर अधिक मेमोरी का उपयोग नहीं करता है, इसलिए LAppS का एक उदाहरण बिना किसी समस्या के 12.3 मिलियन WebSockets का ध्यान रखेगा।

चलो सर्वर ए और बी के लिए दो अलग-अलग कॉन्फ़िगरेशन तैयार करते हैं।

 { "listeners" : 224, "connection_weight": 1.0, "ip" : "0.0.0.0", "port" : 5084, "lapps_config_auto_save" : true , "workers" : { "workers": 40, "max_connections" : 2000000, "auto_fragment" : false, "max_poll_events" : 256, "max_poll_wait_ms" : 10, "max_inbounds_skip" : 50, "input_buffer_size" : 2048 }, "acl" : { "policy" : "allow", "exclude" : [] }, "tls": true, "tls_server_version" : 4, "tls_client_version" : 4, "tls_certificates":{ "ca":"/opt/lapps/conf/ssl/ca.crt", "cert": "/opt/lapps/conf/ssl/example.org.bundle.crt", "key": "/opt/lapps/conf/ssl/example.org.key" } } 

 { "directories": { "app_conf_dir": "etc", "applications": "apps", "deploy": "deploy", "tmp": "tmp", "workdir": "workdir" }, "services": { "echo": { "auto_start": true, "instances": 40, "internal": false, "max_inbound_message_size": 16777216, "protocol": "raw", "request_target": "/echo", "acl" : { "policy" : "allow", "exclude" : [] } } } } 

 { "listeners" : 0, "connection_weight": 1.0, "ip" : "0.0.0.0", "port" : 5083, "lapps_config_auto_save" : true , "workers" : { "workers": 0, "max_connections" : 0, "auto_fragment" : false, "max_poll_events" : 2048, "max_poll_wait_ms" : 10, "max_inbounds_skip" : 50, "input_buffer_size" : 2048 }, "acl" : { "policy" : "deny", "exclude" : [] }, "tls": true, "tls_server_version" : 4, "tls_client_version" : 4, "tls_certificates":{ "ca":"/opt/lapps/conf/ssl/ca.crt", "cert": "/opt/lapps/conf/ssl/example.org.bundle.crt", "key": "/opt/lapps/conf/ssl/example.org.key" } } 

सर्वर A में दो इंटरफेस हैं:

• बंध0 - xx203.37
• बंध 1 - xx23.10

एक तेजी से एक और धीमी है, लेकिन यह वास्तव में कोई फर्क नहीं पड़ता। सर्वर भारी लोड के तहत होगा।

हमारे /opt/lapps/benchmark/benchmark.lua से एक खाका तैयार करें

 benchmark={} benchmark.__index=benchmark benchmark.init=function() end benchmark.messages_counter=0; benchmark.start_time=time.now(); benchmark.max_connections=10000; benchmark.target_port=0; benchmark.target_prefix="wss://IPADDR:"; benchmark.target_postfix="/echo"; benchmark.message="XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"; benchmark.meter=function() benchmark.messages_counter=benchmark.messages_counter+1; local slice=time.now() - benchmark.start_time; if( slice >= 1000) then print(benchmark.messages_counter.." messages received per "..slice.."ms") benchmark.messages_counter=0; benchmark.start_time=time.now(); end end benchmark.run=function() local n=nap:new(); local counter=1; n:sleep(1); local array={}; local start=time.now(); while(#array < benchmark.max_connections) and (not must_stop()) do benchmark.target_port=math.random(5084,5307); local sock, err_msg=cws:new(benchmark.target_prefix..benchmark.target_port..benchmark.target_postfix, { onopen=function(handler) local result, errstr=cws:send(handler,benchmark.message,2); if(not result) then print("Error on websocket send at handler "..handler..": "..errstr); end end, onmessage=function(handler,message,opcode) benchmark.meter(); cws:send(handler,message,opcode); end, onerror=function(handler, message) print("Client WebSocket connection is failed for socketfd "..handler..". Error: "..message); end, onclose=function(handler) print("Connection is closed for socketfd "..handler); end }); if(sock ~= nil) then table.insert(array,sock); else print(err_msg); err_msg=nil; collectgarbage("collect"); -- force garbage collection on connection failure. end -- poll events once per 10 outgoing connections -- this will improve the connection establishment speed if counter == 10 then cws:eventLoop(); counter=1 else counter = counter + 1; end end print("Sockets connected: "..#array); benchmark.start_time=time.now(); while not must_stop() do cws:eventLoop(); end for i=1,#array do array[i]:close(); cws:eventLoop(); end end return benchmark; 

आइए सर्वर A IP पतों को क्रमशः IP1 और IP2 फाइलों में स्टोर करें और फिर:

 for i in 1 2 do mkdir -p /opt/lapps/apps/benchmark${i} sed -e "s/IPADDR/$(cat IP1)/g" /opt/lapps/apps/benchmark/benchmark.lua > /opt/lapps/apps/benchmark${i}/benchmark${i}.lua done 

अब हम सर्वर बी पर / गोद /lapps/etc/conf/lapps.json को संशोधित करते हुए इन दो अक्षरों का प्रयोग करते हैं:

 { "directories": { "app_conf_dir": "etc", "applications": "apps", "deploy": "deploy", "tmp": "tmp", "workdir": "workdir" }, "services": { "benchmark1": { "auto_start": true, "instances" : 112, "internal": true, "preload": [ "nap", "cws", "time" ] }, "benchmark2": { "auto_start": true, "instances" : 112, "internal": true, "preload": [ "nap", "cws", "time" ] } } } 

क्या हम तैयार हैं? नहीं हम नहीं हैं। क्योंकि हम केवल दो पतों पर 2 240 000 आउटगोइंग सॉकेट उत्पन्न करने का इरादा कर रहे हैं और हमें सर्वर साइड पर अधिक पोर्ट की आवश्यकता है। एक ही आईपी से अधिक 64k कनेक्शन बनाना असंभव है: पोर्ट जोड़ी (वास्तव में थोड़ा कम तो 64k)।

सर्वर ए पर फ़ाइल LAppS में शामिल / / wsServer.h एक फ़ंक्शन void startListeners () है। इस फ़ंक्शन में हम लाइन 126 को प्रतिस्थापित करेंगे

 LAppSConfig::getInstance()->getWSConfig()["port"], 

इसके साथ:

 static_cast<int>(LAppSConfig::getInstance()->getWSConfig()["port"])+i, 

LAppS का पुनर्निर्माण करें:

 make CONF=Release.AVX2 install 

2 240 000 क्लाइंट वेबस्केट के लिए परीक्षण चला रहा है।

सर्वर बी पर LAppS प्रारंभ करें, फिर सर्वर B पर LAppS प्रारंभ करें और आउटपुट को इस तरह फ़ाइल में पुनर्निर्देशित करें:

 /opt/lapps/bin/lapps.avx2 > log 

संपादित करें, NB:

 if you want to run several LAppS instances, then create separate directory for each instnace (like run1,run2, etc) and run each instance from within these directories. This is required for lapps.log file and of course for resulting standard output, for not to be overlapped/overwritten by concurrent LAppS instances. 

सभी कनेक्शन स्थापित होने तक इसमें कुछ समय लग सकता है। चलो प्रगति की निगरानी करते हैं।

स्थापित कनेक्शन देखने के लिए नेटस्टैट का उपयोग न करें, यह बेकार है जबकि यह 150k कनेक्शनों की तरह अनिश्चित काल तक चलता है जो कुछ सेकंड में स्थापित होते हैं। सर्वर A पर lapps.log को उस निर्देशिका में देखें, जिसमें आप LAppS को शुरू करते समय थे। आप निम्नलिखित वन-लाइनर का उपयोग यह देखने के लिए कर सकते हैं कि कनेक्शन कैसे स्थापित किए जाते हैं और IOWorkers के बीच कैसे वितरित किए जाते हैं:

 date;awk '/ will be added to connection pool of worker/{a[$22]++}END{for(i in a){ print i, a[i]; sum+=a[i]} print sum}' lapps.log | sort -n;date 

इन कनेक्शनों को कितनी तेजी से स्थापित किया जाता है, इस पर एक विचार है:

 375874 Sun Jul 21 20:33:07 +06 2019 650874 Sun Jul 21 20:34:42 +06 2019 2894 connections per second 1001874 Sun Jul 21 20:36:45 +06 2019 2974 connections per second 1182874 Sun Jul 21 20:37:50 +06 2019 2784 connections per second 1843874 Sun Jul 21 20:41:44 +06 2019 2824 connections per second 2207874 Sun Jul 21 20:45:43 +06 2019 3058 connections per second 

सर्वर B पर हम उनके कनेक्शन स्थापित करने के लिए तैयार किए गए मानदंड की राशि की जांच कर सकते हैं:

 # grep Sockets log | wc -l 224 

आपके द्वारा यह देखने के बाद कि संख्या 224 है, सर्वर को कुछ समय के लिए काम करने दें, शीर्ष पर सीपीयू और मेमोरी उपयोग की निगरानी करें। आप इस तरह कुछ देख सकते हैं (बाईं ओर सर्वर बी और दाईं ओर सर्वर ए):

या इस तरह (बाईं ओर सर्वर बी और दाईं ओर सर्वर ए):

यह स्पष्ट रूप से सर्वर बी है, जहां बेंचमार्क क्लाइंट सेवाएं चल रही हैं, भारी भार के अधीन है। सर्वर ए भारी लोड के तहत है, लेकिन हमेशा नहीं। जब सर्वर बी काम करने के लिए कार्यों की मात्रा के साथ संघर्ष करता है, तो कुछ बार यह धोखा देता है। टीएलएस पर ट्रैफिक साइफरिंग बहुत सीपीयू इंटेंसिव है।

आइए सर्वरों को बंद करें (कई बार Ctrl-C दबाएं) और पहले की तरह लॉग को संशोधित करें लेकिन बेंचमार्क सेवाओं की बदली हुई राशि (224) के संबंध में:

 echo -e ':%s/ms/^V^M/g\n:%g/^$/d\nGdd1G224/Sockets\n224\ndggZZ' | vi $i awk -v avg=0 '{rps=($1/$5);avg+=rps;}END{print ((avg*1000)/NR)*224}' log 

आप बेंचमार्क सेवाओं को रोकने से प्रिंट आउट के लिए कई अंतिम लाइनें भी हटाना चाहते हैं। आपको पहले ही पता चल गया है कि यह कैसे करना है। इसलिए मैं विभिन्न परीक्षण परिदृश्यों के लिए परिणाम पोस्ट करूंगा और उन समस्याओं के साथ आगे बढ़ूंगा, जिनका मैंने सामना किया है।

अन्य सभी परीक्षणों के परिणाम (4.9 मिलियन और उससे अधिक)

समस्याएं।

लाल के साथ ऊपर की तालिका में चिह्नित।

तब सर्वर बी पर 224 बेंचमार्क इंस्टेंसेस चलाना बुरा विचार साबित हुआ, क्योंकि क्लाइंट साइड पर सर्वर सीपीयू समय को प्रक्रियाओं / थ्रेड्स के बीच समान रूप से वितरित करने में असमर्थ था। पहले 224 बेंचमार्क इंस्टेंसेस जिन्होंने अपने सभी कनेक्शन स्थापित किए हैं, अधिकांश सीपीयू संसाधनों को ले लिया और बाकी बेंचमार्क इंस्टेंसेस पिछड़ रहे हैं। यहां तक ​​कि मूलांक -20 का उपयोग करने से बहुत मदद नहीं मिलती है (448 बेंचमार्क इंस्टेंस, 2 एलएपीएस उदाहरण):

इसलिए मैंने अलग-अलग LAppS इंस्टेंस को शुरू करने के बजाय बेंचमार्क .max_connections को दोगुना कर दिया।

अभी भी 12.3 मिलियन वेबस्केट्स को चलाने के लिए, मैंने पहले से ही चल रहे चार को रोकने के बिना 5 एलएपीएस उदाहरण (परीक्षण 5 और 6) शुरू कर दिया है। और CFST की भूमिका को मैन्युअल रूप से निलंबित करने और मारने -STOP / -Cont या / के साथ प्राथमिकता वाली प्रक्रियाओं को फिर से शुरू करने और उनकी प्राथमिकताओं को रद्द करने की भूमिका निभाई। आप इसके लिए निम्न टेम्प्लेट स्क्रिप्ट का उपयोग कर सकते हैं:

 while [ 1 ]; do kill -STOP <4 fast-processes pids> sleep 10 kill -CONT <4 fast-processes pids> sleep 5 done 

2019 आरएचईएल 7.6 में आपका स्वागत है! ईमानदारी से, मैंने 2009 के बाद पहली बार रेनिस कमांड का उपयोग किया। सबसे खराब क्या है, - मैंने इस बार लगभग असफल रूप से इसका उपयोग किया।

मुझे एनआईसी के तितर-बितर इंजन के साथ एक समस्या थी। इसलिए मैंने इसे कुछ परीक्षणों के लिए अक्षम कर दिया, वास्तव में इस घटना को तालिका में चिह्नित नहीं किया।

मुझे भारी भार और एनआईसी चालक बग के तहत आंशिक लिंक व्यवधान थे, इसलिए मुझे संबंधित परीक्षण परिणामों को छोड़ना पड़ा।

कहानी का अंत

ईमानदारी से, परीक्षण मेरे अनुमान की तुलना में बहुत चिकना चला गया।

मुझे विश्वास है कि मैंने सर्वर ए पर एलएपीएस को अपनी पूर्ण क्षमता (एसएसएल के बिना) लोड करने में कामयाब नहीं किया है, क्योंकि मेरे पास क्लाइंट पक्ष के लिए पर्याप्त सीपीयू संसाधन नहीं थे। हालांकि टीएलएस 1.3 सक्षम होने के बावजूद, सर्वर ए पर एलएपीएस लगभग सभी उपलब्ध सीपीयू संसाधनों का उपयोग कर रहा था।

मुझे अब भी यकीन है कि LAppS वहाँ से सबसे अधिक स्केलेबल और सबसे तेज़ WebSockets खुला स्रोत सर्वर है और Cws WebSockets क्लाइंट मॉड्यूल केवल इसका प्रकार है, जो उच्च भार परीक्षण के लिए रूपरेखा प्रदान करता है।

कृपया अपने स्वयं के हार्डवेयर पर परिणाम सत्यापित करें।

सलाह पर ध्यान दें: लोड बैलेंसर के रूप में या वेबस्कॉफ़्ट के लिए प्रॉक्सी-पास के रूप में कभी भी नंगेक्स या अपाचे का उपयोग न करें, या आप परिमाण के आदेश पर प्रदर्शन को समाप्त कर देंगे। वे WebSockets के लिए नहीं बने हैं।