गेट का समर्थन। हम सब कुछ कैसे काम करते हैं?

नमस्ते! मेरा नाम विटाली कोस्तोव है, मैं ग्लोबल टेक हीरोज टीम में काम करता हूं, और आज मैं आपको समर्थन के बारे में बताऊंगा - किसी भी सेवा के सबसे महत्वपूर्ण घटकों में से एक। आप शांत चित्रों और कभी-कभी पर्याप्त रूप से चुटकुला चैट बॉट के साथ एक शानदार एप्लिकेशन बना सकते हैं। आप ग्राहकों को पहली बार कम लागत वाली सेवा दे सकते हैं। आप एक शानदार SMM- बॉक्स किराए पर ले सकते हैं, जिसके लिए आपको शर्म नहीं आएगी और जिसे 90 के दशक में अक्सर एक एकाउंटेंट के रूप में बदलना नहीं पड़ेगा।

लेकिन यह सब आपकी सेवा के लिए समर्थन के अभाव में अच्छी तरह से ठोकर खा सकता है। और एक वैश्विक अर्थों में समर्थन - सॉफ्टवेयर और हार्डवेयर की कार्यक्षमता सुनिश्चित करने के लिए उपयोगकर्ता की समस्याओं को हल करने से। खैर, गंभीरता से, कब तक लोग उस एप्लिकेशन का उपयोग करेंगे जो कुछ हफ़्ते से बेवकूफ़ बना हुआ है, लेकिन डेवलपर्स अभी भी समस्याओं के लिए सामान्य रूप से जवाब नहीं दिया है, समर्थन सेवा रोबोट के उत्तर के साथ सदस्यता समाप्त है, और क्या आप कॉल सेंटर में मुफ्त में शास्त्रीय संगीत सुन सकते हैं?



जैसा कि हमने सब कुछ व्यवस्थित किया है, समस्याओं का पता लगाने और उन्हें हल करने के लिए हम अपने काम में क्या उपयोग करते हैं, हम में से कितने और बाकी सभी कटौती के अधीन हैं।

अब हम 3 देशों में काम करते हैं: रूस, यूके और इजरायल, और हमारे पास हजारों सक्रिय उपयोगकर्ता हैं, अकेले कॉर्पोरेट ग्राहक 20,000 से अधिक हैं। हमारे अनुप्रयोगों के लिए पर्याप्त दैनिक अनुरोध हैं। और उनसे ड्राइवर और अनुरोध हैं। और आंतरिक सिस्टम और निगरानी भी। यह सब काम करना चाहिए, और अच्छी तरह से काम करना चाहिए। ऐसा करने के लिए, हमारे पास एक वैश्विक तकनीकी सहायता टीम है जिसे "टेक हीरोज" के नाम से जाना जाता है - आर एंड डी टीमें, एस्केलेशन ऑपरेटर और इंजीनियर, साथ ही ग्लोबल इंसीडेंट मैनेजर। और यह वह है जो वे अपने काम में सामना करते हैं।

टीम और उपयोगकर्ता

तुरंत एक आरक्षण करें कि हमारी टीम के अंतिम उपयोगकर्ताओं का मतलब न केवल ग्राहकों और ड्राइवरों से है जो प्राथमिकता में हैं (दोनों निजी और कॉर्पोरेट), बल्कि विपणन, सहायता सेवाएं और हमारे आंतरिक विभाग भी हैं। बेशक, वे एप्लिकेशन का उपयोग करके या सामाजिक नेटवर्क पर समर्थन करने के लिए लिखते हैं। यदि समस्या एक तकनीकी प्रकृति की है, तो SalesForce के अंदर का कार्य तुरंत हमारे पास जाता है। वे न केवल आवेदन और उसके काम की गुणवत्ता के बारे में पूरे या कुछ विशेष रूप से कार्य कर सकते हैं, बल्कि कंपनी की आंतरिक सेवाओं के प्रदर्शन के बारे में भी लिख सकते हैं। 1000 से अधिक Gett कर्मचारी हैं जो काम करने वाले सॉफ़्टवेयर, प्रक्रिया संगठन के बारे में सवाल पूछते हैं।

हमारी टीम में तीन देशों इज़राइल, ग्रेट ब्रिटेन और रूस में 8 लोग शामिल हैं। रूस का एक विशेषज्ञ दूरस्थ रूप से काम करता है, उसकी जिम्मेदारियों में परिचालन प्रक्रियाओं के साथ काम करना शामिल है: निगरानी करना और हमारी मुख्य सेवाओं में बदलाव करना। शेष सात परिचालन मुद्दों में लगे हुए हैं, और कई अन्य: परीक्षण, बग, विनिर्देशों, जल्दी से कॉल को हल करते हैं जो परिचालन विशेषज्ञों और प्रबंधकों से आते हैं, और हमारे सभी डेटाबेस, सेवाओं और माइक्रोसॉर्क्स की निगरानी भी करते हैं। यह टीम सभी टिकटों को संसाधित करती है, वे जिस भी देश में आते हैं। अधिकांश भाग के लिए, आपको स्थानीय समस्याओं के साथ काम करना होगा, लेकिन ऐसा होता है कि वैश्विक सेवाओं के काम में कुछ गंभीर बग है, फिर काम ग्लोबल मोड में चला जाता है।

आपको यह भी विचार करने की आवश्यकता है कि हमारे पास दुनिया भर में बहुत सारे बी 2 बी क्लाइंट हैं - सिस्टम में बहुत लचीली सेटिंग्स हैं और कंपनी की सेवाओं के साथ व्यापार एकीकरण की संभावना है। यानी, सेवा के निजी उपयोगकर्ताओं की तुलना में कारों के बहुत अधिक वर्ग हैं। यह समझना महत्वपूर्ण है कि यह सब सेवाओं के संचालन और लेन-देन के संचालन की संख्या को प्रभावित करता है। बी 2 बी खंड कंपनी की वेबसाइट पर एक व्यक्तिगत खाते का उपयोग कर सकता है।

मुलायम

बाजार पर टिकटों के साथ काम करने के लिए कई प्रणालियां हैं जो पहले से ही अपनी उपयोगिता साबित कर चुकी हैं: लाइवएजेंट, ज़ेनडेस्क, ज़ोहोडेस्क और अन्य। आप सुविधा के अनुसार चुन सकते हैं, आप आदत से बाहर हो सकते हैं, आप कर सकते हैं - उस तरह के सॉफ़्टवेयर से शुरू करना, जिसके साथ आपके सहकर्मी काम करते हैं, ताकि परतों और बैसाखी का एक गुच्छा अवरुद्ध न करें (जिसे भी समर्थन और समाप्त करना होगा)। इसलिए, हम SalesForce के लिए काम करते हैं, क्योंकि यह कंपनी के मुख्य परिचालन क्षेत्रों (बिक्री और समर्थन) द्वारा उपयोग किया जाता है। यह आपको इसके निर्माता की ओर से प्रत्येक मामले की स्थिति को ट्रैक करने की अनुमति देता है। अपील के विषयों के आधार पर मामलों की एक स्वचालित प्राथमिकता है। SalesForce को Jira में भी एकीकृत किया गया है, और यदि कोई कार्य बनाया जाता है या बग को विकास में पेश किया जाता है, तो स्थिति में इसकी स्थिति भी प्रदर्शित होती है। यह है कि हम समर्थन और विकास के बीच पारदर्शी संचार कैसे प्राप्त करते हैं।


SalesForce, क्लिक करने योग्य

एक समर्पित एप्लिकेशन सिस्टम आपको हमारे पास आने वाले प्रत्येक टिकट के लिए SLA को ट्रैक करने की अनुमति देता है।

टिकट और अनुरोध

विशेष रूप से, हमारी टीम एप्लिकेशन (स्वयं ड्राइवर और यात्रियों दोनों के लिए) के काम में लगी हुई है, ऐसे माइक्रोसिस्टर्स जो परिचालन विशेषज्ञ काम करते हैं, साथ ही परीक्षण और निगरानी भी करते हैं। इसके अलावा, हमेशा नई रिपोर्टों और निगरानी के लिए अनुरोध होते हैं, जो अन्य विभागों के सहयोगियों के लिए उपयोगी हो सकते हैं। उसी समय, कुछ निगरानी हमारी टीम के लिए कड़ाई से है, यदि वे विशेष रूप से सेवाओं और डेटाबेस के तकनीकी मापदंडों से संबंधित हैं। निगरानी का एक हिस्सा हमें अलर्ट भेजता है, जिम्मेदार टीम और समर्थन। यदि समस्या जुड़ी हुई है, उदाहरण के लिए, ड्राइवर के आवेदन के साथ, समर्थन बहुत तेजी से प्रतिक्रिया देगा और यदि आवश्यक हो तो ड्राइवरों को सूचित करेगा। इस प्रकार, सूचना का समय कुछ मिनटों तक कम हो जाता है।

निगरानी

हमारे पास बहुत सारी निगरानी है। जैसे ही उनमें से एक काम करता है, चाहे वह न्यूट्रेलिक हो (सिस्टम सर्विसेज अप), ग्राफाना (विशिष्ट परिदृश्यों की निगरानी), डेटाडॉग (इन्फ्रास्ट्रक्चर अपटाइम), हम तुरंत स्लैक में एक सूचना प्राप्त करते हैं और हमें बदले में कॉल आता है (पेजरडूट के लिए धन्यवाद)। और एक निश्चित अवधि के लिए एक व्यक्ति को नियुक्त किया जाता है। चूंकि यह स्वचालित रूप से होता है, यह संभावना है कि यह विशेष व्यक्ति वर्तमान में अनुपलब्ध है या बस जवाब नहीं दिया है, फिर कॉल को श्रृंखला के साथ आगे भेजा जाएगा।

जब अलर्ट चालू हो जाते हैं, तो हम सिस्टम के प्रदर्शन का पुन: परीक्षण करते हैं और विफलता का कारण (या बढ़ा हुआ लोड, या बड़ी संख्या में ईवेंट या कॉल का पता लगाते हैं, यहां उड़ान भरेंगे)। यदि हम समझते हैं कि यह एक समस्या है और इसे हल करने की आवश्यकता है, तो हम परिचालन विशेषज्ञों के लिए विशेष वितरण समूहों को एक पत्र भेजेंगे।

इसलिए, हम हमेशा ऑनलाइन हैं।

हादसा प्रबंधन

यदि आपकी कंपनी सेवाएं प्रदान करती है, तो घटना प्रबंधन कहीं नहीं है। हम इस योजना के अनुसार काम करते हैं:

• समस्याओं का समय पर पता लगाना।
• जिम्मेदार व्यक्तियों की समस्या की अधिसूचना।
• सभी स्तरों पर हितधारक अधिसूचना। यही है, हम व्यापार के लिए समस्या के बारे में बात करते हैं, ताकि वहां हर कोई यह समझ सके कि ऐसी समस्याएं कंपनियों और मुनाफे को कैसे प्रभावित करती हैं।
• काम की अधिकतम पारदर्शिता बनाए रखना।
• अनिवार्य मूल कारण विश्लेषण। आखिरकार, इसके पास समस्या की उत्पत्ति है, और अगले को रोका जा सकता है। दूसरे दौर में इसे फिर से हल करने की तुलना में यह तेज और अधिक उपयोगी है।

लक्ष्य है कि आप शून्य चरणों में समस्याओं के बारे में जानें। यह तब है जब यह आप थे जिन्होंने समस्या को काम करने की क्षमता प्रदान करने वाले कर्मचारी के रूप में खोजा। तब नहीं जब ग्राहक ने आपको उसके बारे में बताया। इसलिए, हम सक्रिय रूप से एपीएम (एप्लिकेशन प्रदर्शन निगरानी) टूलकिट का उपयोग करते हैं। मैं उन्हें एक बार और आवाज़ दूंगा

NewRelic

• हमारे सभी माइक्रोसर्विसेज और गेटवे की निगरानी करना
• 50x, 4xx त्रुटियां
• रेडिस एपेक्स
• DBs Apdex

NewRelic, क्लिक करने योग्य

Grafana । घटनाओं की निगरानी (यह स्पष्ट करता है कि क्या वास्तव में काम करना बंद कर दिया है या व्यवहार सामान्य से अलग है)।


ग्राफाना, क्लिक करने योग्य

डेटाडॉग । हमारे सिस्टम के हार्डवेयर घटकों (डेटाबेस, लोड बैलेन्सर) की निगरानी करना।


डेटाडॉग, क्लिक करने योग्य

Airbrake । एप्लिकेशन / माइक्रोसर्विसेज के लिए कोड अपवाद (उदाहरण के लिए, उदाहरण के लिए, डेटाबेस में कोड या प्रश्नों को निष्पादित करते समय, यदि कुछ गलत हो जाता है और यह सूची में है - हम इसे ट्रैक करते हैं)।

Kibana - microservice / एप्लिकेशन लॉग (ड्राइवर / क्लाइंट) की निगरानी।

और इसलिए कि सब कुछ न केवल पता लगाने के लिए काम करता है, बल्कि समय पर अधिसूचना (तुरंत, तेजी से बेहतर) के लिए, यह सब कुछ अधिसूचना चैनलों के साथ जुड़ा हुआ है, जिसमें स्लैक और पेजेरूट से लेकर अच्छे पुराने ईमेल नोटिफिकेशन शामिल हैं। इसलिए, पूरी टीम किसी भी विसंगतियों के बारे में तुरंत जान जाएगी। विभिन्न चैनलों पर अलर्ट भेजे जा सकते हैं। अनुप्रयोगों के संचालन के लिए महत्वपूर्ण निगरानी हमेशा तकनीकी सहायता टीम को अलर्ट भेजती है और चुनिंदा रूप से विकास टीमों के चैनल को एक विशिष्ट सुविधा / सेवा के लिए जिम्मेदार बनाती है। यह सब प्रतिक्रिया समय का अनुकूलन करने में मदद करता है।

अगले चरण में कठिनाइयाँ तब पैदा हुईं, जब समस्या का पता लगाने के बाद आपको उस व्यक्ति को सेवा के लिए ज़िम्मेदार होने के लिए जल्दी से सूचित करना पड़ा। और यह करने के लिए इतना आसान नहीं है अगर बहुत सारी प्रक्रियाएं और माइक्रोसेवाएं हैं, जिसका मतलब है कि कम जिम्मेदार नहीं हैं। और चेतावनी आपको देर रात तक आ सकती है, जब आप कुछ भी चाहते हैं, लेकिन आप सिर्फ यह नहीं जानते हैं कि कौन जिम्मेदार है।

इसलिए, हमने सभी सेवा मालिकों (आमतौर पर कंपनी भर में) को सूचीबद्ध करने के लिए एक सुविधाजनक निर्देशिका बनाई। जैसा कि अभ्यास से पता चला है, इस अकेले ने हमें प्रत्येक घटना को लगभग 20% हल करने का समय कम करने में मदद की।

इस मामले में चल रही आपदा का सबसे अच्छा नुस्खा एक व्यक्ति के बिना घटना को छोड़ना है।

एक विशेष व्यक्ति है, ग्लोबल इंसीडेंट मैनेजर, जो गंभीर घटनाओं के लिए एक हब के रूप में काम करता है। वह उन त्रुटियों को खत्म करने के लिए बुनियादी प्रणालियों की निगरानी और उन्हें बदलने में शामिल है जो व्यवसाय की हड्डियों को जन्म दे सकती हैं, और कंपनी के शीर्ष अधिकारियों के लिए जिम्मेदार है, उन्हें मूल कारणों के विश्लेषण पर विस्तृत रिपोर्ट प्रदान करती है।

इसलिए, संक्षेप में, घटना प्रबंधन प्रक्रिया स्वयं इस तरह दिखती है:

1. हम घटना के कारणों को निर्धारित करते हैं।
2. हम प्रभारी व्यक्ति पाते हैं।
3. हम समस्या को जल्द से जल्द ठीक करने के लिए उसके साथ समन्वय कर रहे हैं।
4. हम घटना के दौरान सभी आवश्यक निर्णय लेते हैं।
5. हम इस बारे में व्यवसाय को सूचित करते हैं, उन्हें सभी समस्याएं लाते हैं।
6. जब धूल छितरी हुई होती है, तो हम मूल कारण विश्लेषण आरसीए (रूट कॉज एनालिसिस) शुरू करते हैं।

हम जीरा में घटना की रिपोर्ट बना रहे हैं, एक संबंधित मॉड्यूल है, हादसे , हमने वहां कई अतिरिक्त क्षेत्र जोड़े हैं।

आरसीए के केवल तीन चरण हैं।

1. प्रारंभिक आरसीए

यह समस्या के कारण का शीर्ष-स्तरीय विवरण है (चाहे वह डेटाबेस के साथ समस्या थी, या बुनियादी ढांचे के साथ, या कोड के साथ)। यह रिपोर्ट उस समर्थन अधिकारी द्वारा तैयार की गई है जिसने इस घटना को प्रबंधित किया है। घटना के पूरा होने के 24 घंटे के भीतर रिपोर्ट पूरी होनी चाहिए।

2. आर एंड डी आरसीए

घटना के पूरा होने के 48 घंटे के भीतर प्रक्रिया का सबसे महत्वपूर्ण हिस्सा पूरा होना चाहिए। मूल कारण का एक पूरा तकनीकी विश्लेषण पहले से ही है - ऐसा क्यों हुआ, इसकी खोज क्यों नहीं की गई (परीक्षणकर्ताओं ने अनदेखी की या कोई उपयुक्त निगरानी नहीं है), क्या ऐसा मौका है कि यह फिर से होगा, और इसे फिर से होने से रोकने के लिए क्या करना चाहिए।

3. क्रिया

दूसरे पैराग्राफ के आधार पर, इसी उप-प्रकार का गठन किया जाता है, घटना तब तक खुली रहती है जब तक कि इन उप-शीर्षों को बंद नहीं किया जाता है। कोई भी नहीं चाहता है कि यह कार्य लंबे समय के लिए कंबन ले जाए, इसलिए यह सब कुछ तेजी से हल करने के लिए प्रेरित करता है।

इस प्रकार हम घटनाओं के साथ काम कर रहे हैं।

आंकड़े और प्रौद्योगिकी

हम काम करते हैं, निश्चित रूप से, 99/7% के SLA के साथ 24/7। GoLang / Ruby पर हमारे पास मुख्य स्टैक है, यह जटिल एल्गोरिदम को संसाधित करने के लिए आवश्यक गति देता है। कुल मिलाकर 150 से अधिक माइक्रोसर्विस हैं, और ये सभी गोलांग और रूबी में भी हैं। हम डेटाबेस के रूप में MySQL, Postgres और Presto का उपयोग करते हैं। हमारे पास AWS पर स्टोरेज है।

हमारी सेवाओं पर सबसे गंभीर भार नव वर्ष की छुट्टियों और पूर्ववर्ती 2 सप्ताह पर पड़ता है। प्रतियोगियों की स्थिति भी प्रभावित करती है, उदाहरण के लिए, उनमें से एक ने आवेदन को छोड़ दिया, जिसका अर्थ है कि हमारी मशीनों को अधिक बार कहा जाएगा।

आंतरिक कार्यों में चोटियां भी हैं जो अंतिम उपयोगकर्ताओं को प्रभावित करती हैं। उदाहरण के लिए, जब हम डेटाबेस को अपडेट करते हैं या आपूर्तिकर्ताओं और विक्रेताओं के पक्ष में तकनीकी कार्य करते हैं, या उत्पादन के लिए नई सेवाओं को तैनात करते हैं (शुक्रवार को नहीं, हाँ), या हम उन सुविधाओं को कमीशन करते हैं जो तुरंत बड़ी संख्या में उपयोगकर्ताओं या लेनदेन को प्रभावित करते हैं।

हम लोग भी हैं, और कभी-कभी ऐसा होता है कि गलत सेटिंग्स या मैनुअल हस्तक्षेप परिचालन त्रुटियों का कारण बनता है, इसलिए हमने इस मामले के लिए एक योजना विकसित की:



नहीं, ऐसा नहीं है। यहां:

• हम सेवाओं, लॉग और ऑडिट में डेटा की जांच करते हैं।
• हम स्क्रम पर अपडेट संचालन का परीक्षण करते हैं और करते हैं।
• हम टीम के लिए एक कार्य तैयार करते हैं और उत्पादन पर कार्य के निष्पादन की निगरानी करते हैं।

यदि आप किसी भी विवरण में रुचि रखते हैं, तो टिप्पणियों में प्रश्न पूछने के लिए स्वतंत्र महसूस करें, हम यहां या तो अलग-अलग विस्तृत पोस्ट में जवाब देंगे।