DUMP सम्मेलन | grep 'बैकएंड' | devops '

पिछले हफ्ते मैं येकातेरिनबर्ग में DUMP IT कॉन्फ्रेंस (https://dump-ekb.ru/) पर गया और बैकएंड और डेवोप्स सेक्शन में क्या चर्चा हुई और क्या क्षेत्रीय आईटी सम्मेलनों पर ध्यान देना है, इस बारे में बात करना चाहता हूं।


सर्वर रहित के बारे में ईविल मार्टियंस से निकोले सेवरचकोव

वहां पर क्या था?

कुल मिलाकर, सम्मेलन में 8 खंड थे: बैकएंड, फ्रंटेंड, मोबाइल, परीक्षण और क्यूए, देवोप्स, डिज़ाइन, विज्ञान और प्रबंधन।

सबसे बड़ा हॉल, वैसे, विज्ञान और प्रबंधन हैं)) प्रत्येक 350 ~ लोग। बैकएंड और फ्रंटेंड भी कम नहीं हैं। Devops Hall सबसे छोटा लेकिन सबसे सक्रिय था।

मैंने देवोप्स और बैकएंड अनुभागों में रिपोर्ट सुनी और वक्ताओं के साथ थोड़ी बात की। मैं कवर किए गए विषयों के बारे में बात करना चाहता हूं और सम्मेलन में इन वर्गों का अवलोकन करना चाहता हूं।

SKB-Kontur, DataArt, Evil Martians, Yekaterinburg वेब स्टूडियो के फ्लैग, Miro (RealTimeBoard) के प्रतिनिधियों ने देवोप्स और बैकेंड सेक्शन में बात की। CI / CD से संबंधित विषय, कतार सेवाओं के साथ काम करना, लॉगिंग, सर्वर रहित विषय और Go में PostgreSQL के साथ काम करना अच्छी तरह से खुलासा किया गया।

Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank द्वारा भी रिपोर्ट की गई, लेकिन मेरे पास उनके भौतिक रूप से जाने का समय नहीं था (वीडियो रिकॉर्डिंग और रिपोर्ट की स्लाइड अभी तक उपलब्ध नहीं हैं, वे उन्हें 2 सप्ताह के भीतर डंप-ekb.ru पर पोस्ट करने का वादा करते हैं)।

Devops अनुभाग

क्या आश्चर्य हुआ - यह खंड सबसे छोटे हॉल में लगभग 50 सीटों पर आयोजित किया गया था। लोग भी गलियारों में खड़े थे :) मैं आपको उन रिपोर्टों के बारे में बताऊंगा जिन्हें मैं सुनने में कामयाब रहा।

पेटाबाइट्स में लोचदार वजन

खंड की शुरुआत व्लादिमीर लील (SKB-Kontur) ने कोंटूर में इलास्टिक्सखोज के बारे में रिपोर्ट के साथ की। उनके पास पर्याप्त बड़ी और भरी हुई इलास्टिक है (~ 800 टीबी डेटा, ~ 1.3 पेटाबाइट्स, खाते में अतिरेक को ध्यान में रखते हुए)। सर्किट की सभी सेवाओं के लिए इलास्टिसर्च एकल है, जिसमें 2 क्लस्टर (7 और 9 सर्वरों के) हैं, और यह इतना महत्वपूर्ण है कि सर्किट में एक विशेष इलास्टिक्स खोज इंजीनियर है (वास्तव में, व्लादिमीर खुद)।

व्लादिमीर ने एलिटिक्स खोज के लाभों और उनके द्वारा लाई जाने वाली समस्याओं पर भी अपने विचार साझा किए।

लाभ:

• सभी जगह एक ही जगह पर प्रवेश करते हैं, उन तक आसान पहुँच
• एक वर्ष के लिए लॉग इन करें और उनके आसान विश्लेषण
• लॉग के साथ उच्च गति
• कूल डेटा विज़ुअलाइज़ेशन "बॉक्स से बाहर"

समस्याएं:

• संदेश ब्रोकर - होना चाहिए (काफ्का कोंटूर की भूमिका निभाता है)
• एलिटोसर्च क्यूरेटर के साथ काम करने की विशेषताएं (क्यूरेटर में नियमित कार्यों से समय-समय पर उच्च भार बनाया गया)
• कोई अंतर्निहित प्राधिकरण (केवल अलग, काफी बड़े पैसे के लिए, या उत्पादन के लिए अलग-अलग डिग्री के खुले स्रोत प्लग-इन के लिए तत्परता की डिग्री)

एलिस्टिक्सखोज के लिए ओपन डिस्ट्रो के बारे में समीक्षा केवल सकारात्मक थी :) वही प्राधिकरण मुद्दा वहां हल किया गया था।

सर्वरहित विकास सुविधाएँ

सर्वरलेस के बारे में डेटाआर्ट से रुसलान सेर्किन की और रिपोर्ट।

रुस्लान ने इस बारे में बात की कि सामान्य रूप से सर्वरलेस दृष्टिकोण के साथ क्या विकास है, और इसकी विशेषताएं क्या हैं।

सर्वरलेस एक विकास दृष्टिकोण है जहां डेवलपर्स का बुनियादी ढांचे से कोई लेना-देना नहीं है। एक उदाहरण AWS लैंबडा सर्वरलेस, Kubeless.io (सर्वरलेस इनसाइड कुबेरनेट्स), Google क्लाउड फ़ंक्शंस है।

एक आदर्श सर्वर रहित एप्लिकेशन एक ऐसी सुविधा है जो समर्पित गेटवे एपीआई के माध्यम से सर्वर रहित प्रदाता को अनुरोध भेजती है। एक आदर्श microservice, जबकि एक ही AWS लैम्ब्डा में आधुनिक प्रोग्रामिंग भाषाओं की एक बड़ी संख्या का समर्थन किया जाता है। क्लाउड प्रदाताओं के मामले में बुनियादी ढांचे के समर्थन और तैनाती की लागत शून्य हो जाती है, छोटे अनुप्रयोगों का समर्थन करना भी बहुत सस्ता होगा (एडब्ल्यूएस लाम्बा - $ 0.2 / 1 मिलियन सरल अनुरोध)।

इस तरह की प्रणाली की स्केलेबिलिटी लगभग सही है - क्लाउड प्रदाता अपने आप ही इस बात का ध्यान रखता है, कुबलेस स्वचालित रूप से कुबेरनेट्स क्लस्टर के अंदर स्केल किया जाता है।

नुकसान हैं:

• बड़े अनुप्रयोगों को विकसित करना कठिन होता जा रहा है
• प्रोफाइलिंग अनुप्रयोगों के साथ एक कठिनाई है (केवल लॉग आपके लिए उपलब्ध हैं, लेकिन सामान्य अर्थों में प्रोफाइलिंग नहीं)
• कोई संस्करण नहीं

सच कहूँ तो, मैंने कुछ साल पहले सर्वरलेस के बारे में सुना था, लेकिन इन सभी वर्षों में यह मेरे लिए स्पष्ट नहीं था कि इसका सही उपयोग कैसे किया जाए। रुस्लान की रिपोर्ट के बाद, समझ दिखाई दी, और बैकएंड अनुभाग से निकोलाई स्वेरकोव (एविल मार्टियंस) की रिपोर्ट के बाद, उन्होंने समेकित किया। कोई आश्चर्य नहीं कि मैं सम्मेलन में गया :)

गरीबों के लिए CI, या यह वेब स्टूडियो के लिए अपना CI लिखने के लायक है

येकातेरिनबर्ग के फ्लैग वेब स्टूडियो के प्रमुख मिखाइल रेडियोनोव ने स्व-लिखित सीआई / सीडी के बारे में बात की।

उनका स्टूडियो "मैनुअल सीआई / सीडी" से चला गया (एसएसएच के माध्यम से सर्वर पर लॉग किया गया, जेनिटक के लिए और दिन में 100 बार दोहराए जाने पर, पुल खींचो) और एक स्व-लिखित उपकरण के लिए, जो आपको कोड को नियंत्रित करने और जुलकिन्स नामक रिलीज को निष्पादित करने की अनुमति देता है।

जेनकिंस ने काम क्यों नहीं किया? यह डिफ़ॉल्ट रूप से पर्याप्त लचीलापन नहीं देता था और अनुकूलन के लिए बहुत जटिल था।

लारवेल (PHP फ्रेमवर्क) में "ध्वज" विकसित किया जा रहा है। सीआई / सीडी सर्वर को विकसित करते समय, माइकल और उनके सहयोगियों ने टेलीस्कॉप और एन्वॉय नामक अंतर्निहित लारवेल तंत्र का उपयोग किया। परिणाम एक php सर्वर है (ध्यान दें) जो आने वाले वेबहूक अनुरोधों को संसाधित करता है, जो फ्रंटएंड, बैकएंड को इकट्ठा करने में सक्षम होता है, विभिन्न सर्वरों पर तैनात होता है और स्लैक को रिपोर्ट करता है।

इसके अलावा, नीली / हरी तैनाती करने की क्षमता के लिए, देव-मंच-ठेस वातावरण में एक समान सेटिंग करने के लिए, उन्होंने डॉकर पर स्विच किया। प्लसस समान रहे, पर्यावरण और सहज तैनाती को सम्‍मिलित करने की संभावनाओं को जोड़ा गया, और इसके साथ सही ढंग से काम करने के लिए डॉकर को सीखने की जरूरत को जोड़ा गया।

परियोजना गितुब पर है

हमने सर्वर रिलीज़ के रोलबैक की संख्या को 99% कम कर दिया है

डेवोप्स सेक्शन की नवीनतम रिपोर्ट Miro.com (पूर्व में RealTimeBoard) में लीड डेप्स इंजीनियर विक्टर एरेमेंको से थी।

RealTimeBoard, Miro टीम का मुख्य उत्पाद, एक अखंड जावा एप्लिकेशन पर आधारित है। डाउनटाइम के बिना इसे इकट्ठा करना, परीक्षण करना और तैनात करना एक मुश्किल काम है। उसी समय, कोड के ऐसे संस्करण को तैनात करना महत्वपूर्ण है ताकि इसे वापस रोल न करना पड़े (एक भारी मठ)।

एक प्रणाली के निर्माण के रास्ते पर जो इसे अनुमति देता है, मिरो ने एक लंबा रास्ता तय किया, जिसमें वास्तुकला पर काम, उपयोग किए गए उपकरण (एटलसियन बांस, अन्सिबल, आदि) शामिल हैं, और टीमों के निर्माण पर काम करते हैं (उनके पास अब एक समर्पित डेवोप कमांड + कई अलग-अलग विक्रम कमांड हैं) विभिन्न प्रोफाइल के डेवलपर्स से)।

रास्ता मुश्किल और कांटेदार निकला और विक्टर ने अपने फैसले, संचित दर्द और आशावाद को साझा किया जो कि समाप्त नहीं हुआ।


सवालों के लिए एक पुस्तक जीता

बैकेंड सेक्शन

मेरे पास 2 रिपोर्टें थीं - निकोलाई सेवरचकोव (एविल मार्टियंस) से, सर्वरलेस के बारे में भी, और टेलीमेट्री पर ग्रिगोरी कोशेलेव (कांटूर कंपनी) से।

केवल नश्वर के लिए सर्वरहित

अगर रुस्लान सिर्केन ने सर्वरलेस क्या है के बारे में बात की, निकोलाई ने सर्वरलेस का उपयोग करते हुए सरल अनुप्रयोग दिखाए, और उन विवरणों के बारे में बात की जो एडब्ल्यूएस लैंबडा में अनुप्रयोगों की लागत और गति को प्रभावित करते हैं।

एक दिलचस्प विवरण: न्यूनतम भुगतान किया गया आइटम 128 एमबी मेमोरी और 100 एमएस सीपीयू है, इसकी कीमत $ 0.000000208 है। इसके अलावा, प्रति माह इस तरह के अनुरोध के 1 मिलियन मुफ्त है।

निकोलाई के कुछ कार्य अक्सर 100 एमएस की सीमा को पार कर जाते थे (मुख्य आवेदन रूबी में लिखा गया था), इसलिए उन्हें गो पर फिर से लिखना उत्कृष्ट बचत देता था।

वोस्तोक हरक्यूलिस - टेलीमेट्री को फिर से महान बनाएं!

टेलीमेट्री पर ग्रिगोरी कोशेलेव (कोंतूर कंपनी) के बैकेंड सेक्शन की नवीनतम रिपोर्ट। टेलीमेट्री लॉग, मेट्रिक्स, एप्लिकेशन निशान है।

कंटूर इसके लिए गितुब पर पोस्ट किए गए अपने स्वयं के लिखित टूल का उपयोग करता है। टेलीमेट्री डेटा देने के लिए रिपोर्ट टूल, हरक्यूलिस, github.com/vostok/hercules का उपयोग किया जाता है।

डेवोड्स अनुभाग में व्लादिमीर लीला की एक रिपोर्ट ने एलास्टिसर्च में भंडारण और प्रसंस्करण लॉग को देखा, लेकिन अभी भी कई हजारों उपकरणों और अनुप्रयोगों से लॉग वितरित करने का कार्य है, और वोस्तोक हरक्यूलिस जैसे उपकरण उन्हें हल करते हैं।

सर्किट कई तरह से जाना जाता था - RabbitMQ से Apache Kafka तक, लेकिन इतना सरल नहीं)) उन्हें स्कीम में Zookeeper, Cassandra और ग्रेफाइट जोड़ना था। मैं इस रिपोर्ट (मेरी प्रोफ़ाइल नहीं) पर पूरी तरह से जानकारी का खुलासा नहीं करूंगा, अगर दिलचस्पी है, तो आप सम्मेलन की वेबसाइट पर स्लाइड और वीडियो की प्रतीक्षा कर सकते हैं।

अन्य सम्मेलनों की तुलना में कैसे?

मैं मास्को और सेंट पीटर्सबर्ग में सम्मेलनों के साथ इसकी तुलना नहीं कर सकता, मैं इसकी तुलना उरल्स में अन्य घटनाओं और समारा में 404fest के साथ कर सकता हूं।

DUMP 8 वर्गों में आयोजित किया जाता है, यह यूराल सम्मेलनों के लिए एक रिकॉर्ड है। विज्ञान और प्रबंधन के बहुत बड़े वर्ग, यह भी असामान्य है। येकातेरिनबर्ग में दर्शकों को काफी संरचित किया गया है - शहर में बड़े विकास विभाग यैंडेक्स, कोंटोर, टिंकॉफ हैं, यह रिपोर्टों पर अपनी छाप छोड़ता है।

एक और दिलचस्प बात यह है कि सम्मेलन में कई कंपनियों के पास तुरंत 3-4 वक्ता हैं (यह कोंटूर, एविल मार्टियंस, टॉफॉफ के साथ मामला था)। उनमें से कई प्रायोजक थे, लेकिन रिपोर्टें दूसरों के बराबर हैं, ये विज्ञापन रिपोर्ट नहीं हैं।

जाने के लिए या नहीं जाने के लिए? यदि आप Urals में या उसके आस-पास रहते हैं, तो आपके पास अवसर और दिलचस्प विषय हैं - हाँ, निश्चित रूप से। यदि आप एक लंबी यात्रा के बारे में सोचते हैं, तो मैं पिछले वर्षों के www.youtube.com/user/videoitpeople/videos रिपोर्ट और वीडियो रिपोर्ट के विषयों को देखूंगा और निर्णय लूंगा ।
क्षेत्रों में सम्मेलनों का एक और प्लस, एक नियम के रूप में, रिपोर्ट के बाद स्पीकर के साथ संवाद करना आसान है, ऐसे संचार के लिए कम आवेदक हैं।



डंप और येकातेरिनबर्ग के लिए धन्यवाद! )