रुकावट का कारण क्या है? वेब अनुप्रयोग सांख्यिकी

हमारी पिछली पोस्ट में, चौकस हावराइज़र dovg ने एक खूबसूरत शेड्यूल के साथ एक स्क्रीनशॉट नोट किया। इसने विभिन्न खोज अभियानों के निष्पादन समय को दर्शाया। और चूंकि अत्यधिक भरी हुई परियोजनाओं के प्रदर्शन के आँकड़े और विश्लेषण काफी प्रासंगिक विषय हैं, इसलिए हमने उस प्रणाली के बारे में बात करने का फैसला किया जिसका उपयोग हम माम्बा आँकड़ों को एकत्र करने और उनका विश्लेषण करने के लिए करते हैं। जैसा कि खोज के मामले में, हम अपने स्वयं के समाधान का उपयोग करते हैं, लेकिन इसके विपरीत, BTP (किसी को याद नहीं है कि यह संक्षिप्त नाम कैसे पैदा हुआ था, लेकिन किसी कारण से यह नाम बन गया) सार्वजनिक डोमेन में है, और यदि आप चाहें, तो आप इसे स्थापित कर सकते हैं उनके सर्वर पर।



प्रणाली निम्नलिखित प्रकार के आंकड़े प्रदान करती है:

• सेवा पर संचालन (उदाहरण के लिए, "mysql" या "memcache")
• किसी विशेष सेवा के सर्वर पर संचालन (उदाहरण के लिए, mysql सेवा और db7 सर्वर)
• स्क्रिप्ट जो किसी प्रकार के सर्विस ऑपरेशन का उपयोग करती हैं (उदाहरण के लिए, "mysql" सेवा का "अपडेट")
• सेवाओं / परिचालनों द्वारा जो एक विशेष स्क्रिप्ट का उपयोग करता है

अनुप्रयोग कैसे काम करते हैं, इसका सबसे पूरा चित्र प्राप्त करने के लिए, हमने दो पदानुक्रमों में जानकारी की प्रस्तुति का उपयोग किया। पहला काफी पारंपरिक है: सेवा-सर्वर-ऑपरेशन। यह आपको सेवाओं पर भार, सर्वरों पर लोड वितरण की एकरूपता और विशिष्ट संचालन के उपयोग की आवृत्ति निर्धारित करने की अनुमति देता है।

यह दर्शाता है, उदाहरण के लिए, क्लस्टर किए गए डेटाबेस के लिए प्रश्नों की संख्या। उनमें से प्रत्येक के प्रतिक्रिया समय की निगरानी करना आपको समग्र प्रदर्शन को समझने की अनुमति देता है, और समस्याओं के मामले में, यह पता करें कि कौन सा विशिष्ट डेटाबेस सबसे धीमा है। उसी पदानुक्रम में हम देखते हैं, केवल चयन या अपडेट भी बढ़े हैं; सामान्य या बढ़ा हुआ कैश लोड, आदि। दूसरे शब्दों में, यहां समस्याओं के मामले में हम विफलता के बिंदु को निर्धारित करते हैं - जो सेवा / सर्वर समग्र प्रदर्शन को कम करता है। इसी समय, सूचना को संसाधित करते हुए, वेब इंटरफ़ेस दूसरी पदानुक्रम से डेटा भी लेता है, जो प्रदर्शित करता है कि कौन सी स्क्रिप्ट हमारे लिए किसी विशेष सेवा के संचालन का उपयोग करती हैं।

दूसरी पदानुक्रम - लिपि-सेवा-संचालन - का उपयोग विशिष्ट "रुकावट के कारण" का पता लगाने के लिए किया जा सकता है, अर्थात्, ब्रेकिंग स्क्रिप्ट क्या पहुंच रही है और यह किस समय बर्बाद कर रही है। इस पदानुक्रम में, आप यह निर्धारित कर सकते हैं कि स्क्रिप्ट किस विशिष्ट सेवाओं का उपयोग करती है, यह कितने अनुरोध करती है, और इन अनुरोधों के लिए प्रतिक्रिया समय क्या है। यह कैसे संभव है, उदाहरण के लिए, यह निर्धारित करने के लिए कि स्क्रिप्ट कोड में बदलाव के कारण किसी विशेष डेटाबेस पर लोड में वृद्धि कैसे हुई।



वेब एप्लिकेशन प्रदर्शन का सबसे आम उपाय प्रतिक्रिया समय है। कई सिस्टम एनालिटिक्स को औसत और सीमा प्रतिक्रिया समय तक सीमित करते हैं, लेकिन व्यवहार में यह डेटा "वैक्यूम में एक गोलाकार घोड़ा" हो सकता है। मान लीजिए कि 10% आगंतुकों को शेष 90% की तुलना में वांछित पृष्ठ 10-20 गुना धीमा मिलता है। यह औसत को प्रभावित नहीं करेगा, लेकिन एक मिलियन दर्शकों के साथ इसका परिणाम सैकड़ों हज़ारों विस्थापित उपयोगकर्ताओं में होगा। इसलिए, हम प्रतिशत रिपोर्ट का उपयोग करते हैं और न केवल औसत संकेतक देख सकते हैं, बल्कि ऐसे मान भी हैं जो 50, 80, 95 और 99 प्रतिशत संचालन के लायक हैं। यह हमें "उपयोगकर्ता संतुष्टि" के संदर्भ में बहुत अधिक प्रासंगिक परिणाम प्राप्त करने की अनुमति देता है।



सिस्टम विकसित करते समय, हमने तुरंत मान लिया कि मापा मापदंडों की संख्या और संरचना बदल सकती है। इसके अलावा, लंबी अवधि के विश्लेषण समय की अवधि में संग्रहीत डेटा के विश्लेषण के बिना असंभव है, इसलिए हमने उपलब्ध आंकड़ों के भंडारण पर भी विशेष ध्यान दिया।

परिणामस्वरूप, तकनीकी दृष्टिकोण से, सिस्टम में निम्नलिखित भाग होते हैं:

1. दानव
   यह काउंटर डेटा प्राप्त करता है और संसाधित करता है; आंकड़ों पर विचार करता है, स्टोर करता है और जारी करता है। यह JSON-RPC प्रोटोकॉल पर चलता है, और स्टोरेज के लिए kyoto कैबिनेट लाइब्रेरी (एम्बेडेड की-वैल्यू स्टोरेज) का उपयोग करता है।
2. वेब इंटरफ़ेस
   वास्तव में आँकड़े देखने के लिए इंटरफ़ेस। ग्राफ़ खींचता है (नीचे दिए गए ग्राफ़ के बारे में अधिक)।
3. ग्राहक
   यह वह हिस्सा है जो आपके एप्लिकेशन में एकीकृत होता है। एक डेमॉन में काउंटर भेजता है। इस मामले में, आप पीएचपी या पायथन में तैयार क्लाइंट का उपयोग कर सकते हैं, और, यदि वांछित हो, तो अपना स्वयं का लिखें।

जब आप वेब इंटरफ़ेस पर जाते हैं, तो आप तुरंत अपनी स्क्रिप्ट से काउंटरों पर आंकड़े देखते हैं। अंतिम ~ 2 घंटों के आंकड़ों की गणना 5 सेकंड के एक संकल्प के साथ की जाती है। दिन - 1 मिनट के संकल्प के साथ (अच्छी तरह से, निश्चित रूप से, 30 मिनट और 6 घंटे के संकल्प के साथ महीने और वर्ष के आंकड़े हैं)।

रेखांकन बनाने के लिए, वेब इंटरफ़ेस क्लाइंट टेम्प्लेट, बैकबोन.जेएस और डाइग्राफ का उपयोग करता है, और लगभग सभी जावास्क्रिप्ट में लिखा जाता है, सिवाय छोटे http-से-ज्सन-आरपीसी प्रॉक्सी फाइल js.php, और इंडेक्स .php (जो पेज पर क्लाइंट टेम्प्लेट एकत्र करता है) के अलावा एक अलग निर्देशिका से)।

वास्तव में चार्ट पर यह अलग से रुकने लायक है। उनकी पीढ़ी और आउटपुट के लिए, हमने कई अलग-अलग पुस्तकालयों का उपयोग करने की कोशिश की, जिनमें हाईचर्ट, राफेल.जेएस और एनविजन.जेएस शामिल हैं, लेकिन डायग्राफ पर बसे हैं। हमने लगभग इस प्रकार बताया:

राफेल: svg- आधारित पुस्तकालय जिसमें लगभग सब कुछ अपने हाथों से करना पड़ता है। जिसमें SVG के सेगमेंट के रूप में एक समन्वित ग्रिड बनाना शामिल है। और एक ही समय में, यह उच्च गति में भिन्न नहीं होता है।
Highcharts: राफेल की तुलना में बहुत सरल, यह भी svg- आधारित है, लेकिन अनुकूलन के साथ कुछ कठिनाइयां हैं। और बहुत तेज नहीं (1.5 हजार अंक के 3-4 ग्राफ़ काफी धीमा हो जाते हैं)।
Envision.js: कैनवास-आधारित, थोड़ा तेज़ (यदि आप मिनी-नेविगेशन जैसी सभी प्रकार की दिलचस्प चीजों का उपयोग नहीं करते हैं)। सामान्य तौर पर, एक अच्छा विकल्प।
डायग्राफ: सबसे तेज। मौजूदा कार्यक्षमता अपेक्षाकृत सरल रूप से लागू की गई है, लेकिन कुछ विशेषताएं पर्याप्त नहीं हैं (उदाहरण के लिए, अलग-अलग अभ्यावेदन में एक ही स्क्रीन पर दो रेखांकन खींचना संभव नहीं था: एक छायांकित क्षेत्र और एक सरल रेखा के रूप में)। फिर भी, ऑपरेशन की गति अन्य पुस्तकालयों से कई गुना अधिक हो गई। नतीजतन, चुनाव डायग्राफ पर केंद्रित था।

स्वाभाविक रूप से, अन्य आंकड़े संग्रह प्रणालियां हैं, जैसे कि न्यू रिले और पिनबा। लेकिन BTP के कई लाभकारी अंतर हैं।

यह नए रेलिक से अलग है, सबसे पहले, यह एक खुला उत्पाद है, और दूसरी बात, यह आवेदन मापदंडों की निगरानी (जिसे नए अवशेष कस्टम मेट्रिक्स कहते हैं) पर सटीक रूप से केंद्रित है। और तीसरा, आपको पीएचपी एक्सटेंशन और जावा प्रॉक्सी एजेंट स्थापित करने की आवश्यकता नहीं है। हालांकि यह पहचानने लायक है कि न्यू रेलिक का इंटरफ़ेस अधिक "पाला" गया है।

हमारा सिस्टम पिनाबा से अलग है, सबसे पहले, एक सरल इंस्टॉलेशन (कोई MySQL प्लग-इन की आवश्यकता, कोई एक्सटेंशन की आवश्यकता नहीं), और दूसरी बात, पिनबा केवल आंकड़ों से संबंधित है। पिनबा डेटा को स्टोर या प्रदर्शित नहीं करता है, लेकिन ऐसा करने के लिए, पिनबा को क्राउन स्क्रिप्ट, रर्डटूल को कमांड-लाइन विकल्पों और ग्राफिंग टूल के झुंड के साथ जकड़ना पड़ता है। और निश्चित रूप से, नए काउंटरों को जोड़ते समय, आपको उनसे डेटा को बचाने के लिए भी याद रखना चाहिए।

संदर्भ:
BTP / डेमॉन
https://github.com/mambaru/btp-daemon
तस्वीरें

BTP / वेब इंटरफ़ेस
https://github.com/mambaru/btp-webui

BTP / हमारा ग्राहक
https://github.com/mambaru/btp-api

BTP / पायथन क्लाइंट
https://github.com/mastergenius/pybtp

नया अवशेष
https://newrelic.com/docs/php/the-php-api

Pinba
http://pinba.org/wiki/Main_Page