जुलाई हब्र सम्मेलन से बैकएंड, मशीन लर्निंग और सर्वर रहित सबसे दिलचस्प हैं

हबर सम्मेलन - कहानी पहली फिल्म नहीं है। हम 300-400 लोगों के लिए बड़ी घटनाओं टोस्टर को पकड़ते थे, लेकिन अब हमने फैसला किया कि छोटी विषयगत बैठकें प्रासंगिक होंगी, जिसकी दिशा आप भी निर्धारित कर सकते हैं - उदाहरण के लिए, टिप्पणियों में। इस प्रारूप का पहला सम्मेलन जुलाई में आयोजित किया गया था और यह बैकएंड विकास के लिए समर्पित था। प्रतिभागियों ने बैकएंड से एमएल तक और राज्य सेवा पोर्टल पर क्वाड्रुपेल सेवा के डिजाइन पर संक्रमण की विशेषताओं के बारे में रिपोर्ट सुनी, और सर्वरलेस को समर्पित एक गोल मेज में भी भाग लिया। उन लोगों के लिए जो व्यक्तिगत रूप से इस कार्यक्रम में शामिल नहीं हो सके, इस पोस्ट में हम सबसे दिलचस्प बताते हैं।

बैकएंड डेवलपमेंट से लेकर मशीन लर्निंग तक

एमएल डेटा इंजीनियर क्या करते हैं? बैकएंड डेवलपर और एमएल इंजीनियर के कार्यों के बीच समानताएं और अंतर क्या हैं? पहले पेशे को दूसरे में बदलने के लिए आपको किस रास्ते पर जाने की जरूरत है? यह अलेक्जेंडर परिनोव द्वारा बताया गया था, जो बैकएंड के 10 साल बाद मशीन लर्निंग में गए थे।


अलेक्जेंडर परिनोव

आज, अलेक्जेंडर X5 रिटेल ग्रुप में कंप्यूटर विज़न सिस्टम के एक वास्तुकार के रूप में काम करता है और कंप्यूटर विज़न और डीप लर्निंग (github.com/creafz) से संबंधित स्रोत परियोजनाओं को खोलने में योगदान देता है। उनके कौशल की पुष्टि विश्व रैंकिंग के शीर्ष 100 में उनकी भागीदारी केगेल मास्टर (kaggle.com/creafz) द्वारा की जाती है - सबसे लोकप्रिय मंच जो मशीन सीखने की प्रतियोगिताओं की मेजबानी करता है।

मशीन लर्निंग पर स्विच क्यों करें

डेढ़ साल पहले, Google ब्रेन, Google की गहन शिक्षण कृत्रिम बुद्धिमत्ता अनुसंधान परियोजना के प्रमुख, जेफ डीन ने Google को बताया कि कैसे Google Translate में कोड की आधी मिलियन लाइनों को एक तंत्रिका नेटवर्क द्वारा बदल दिया गया जिसमें टेन्सर फ्लो होता है, जिसमें सिर्फ 500 लाइनें होती हैं। नेटवर्क को प्रशिक्षित करने के बाद, डेटा गुणवत्ता बढ़ी है और बुनियादी ढांचे को सरल बनाया गया है। ऐसा लगता है कि यहां हमारा उज्ज्वल भविष्य है: अब कोड लिखना नहीं है, बस न्यूरॉन्स बनाएं और उन्हें डेटा के साथ फेंक दें। लेकिन व्यवहार में, सब कुछ बहुत अधिक जटिल है।

Google एमएल इन्फ्रास्ट्रक्चर

तंत्रिका नेटवर्क बुनियादी ढांचे का एक छोटा सा हिस्सा है (ऊपर चित्र में एक छोटा ब्लैक बॉक्स)। डेटा प्राप्त करने, उसे संसाधित करने, उसे संग्रहीत करने, गुणवत्ता की जांच करने आदि के लिए कई और सहायक प्रणालियों की आवश्यकता होती है, हमें प्रशिक्षण के लिए आधारभूत संरचना की जरूरत होती है, उत्पादन में मशीन लर्निंग कोड को तैनात करना, इस कोड का परीक्षण करना। ये सभी कार्य वैसे ही हैं जैसे बैकएंड डेवलपर्स करते हैं।

मशीन सीखने की प्रक्रिया

एमएल और बैकएंड में क्या अंतर है

शास्त्रीय प्रोग्रामिंग में, हम कोड लिखते हैं, और यह प्रोग्राम के व्यवहार को निर्धारित करता है। एमएल में, हमारे पास एक छोटा मॉडल कोड और बहुत सारा डेटा होता है जिसके साथ हम मॉडल को छोड़ देते हैं। एमएल में डेटा बहुत महत्वपूर्ण है: एक ही मॉडल, विभिन्न डेटा के साथ प्रशिक्षित, पूरी तरह से अलग परिणाम दिखा सकता है। समस्या यह है कि लगभग हमेशा डेटा खंडित होता है और विभिन्न प्रणालियों (रिलेशनल डेटाबेस, नोएसक्यूएल डेटाबेस, लॉग, फाइलें) में निहित होता है।

डेटा संस्करण

एमएल को न केवल कोड की आवश्यकता होती है, बल्कि शास्त्रीय विकास में भी, लेकिन डेटा की भी: यह स्पष्ट रूप से समझना आवश्यक है कि मॉडल किस पर प्रशिक्षित था। आप इसके लिए लोकप्रिय डेटा साइंस वर्जन कंट्रोल लाइब्रेरी (DVc.org) का उपयोग कर सकते हैं।


डेटा मार्कअप

अगला कार्य डेटा मार्कअप है। उदाहरण के लिए, चित्र में सभी वस्तुओं को चिह्नित करें या कहें कि यह किस वर्ग का है। यह Yandex.Tolki जैसी विशेष सेवाओं द्वारा किया जाता है, जिसके साथ काम एपीआई की उपलब्धता को सरल करता है। "मानव कारक" के कारण कठिनाइयाँ उत्पन्न होती हैं: डेटा की गुणवत्ता में सुधार करना और कई कलाकारों को एक ही कार्य सौंपकर त्रुटियों को कम करना संभव है।

सेंसर बोर्ड में दृश्य

परिणामों की तुलना के लिए प्रयोगों का लॉगिंग आवश्यक है, कुछ मैट्रिक्स के लिए सबसे अच्छा मॉडल चुनना। विज़ुअलाइज़ेशन के लिए उपकरणों का एक बड़ा सेट है - उदाहरण के लिए, टेन्सर बोर्ड। लेकिन भंडारण के प्रयोगों के लिए कोई आदर्श तरीके नहीं हैं। छोटी कंपनियों में, वे अक्सर एक्सेल-प्लेट के साथ प्राप्त करते हैं, बड़ी कंपनियों में वे डेटाबेस में परिणाम संग्रहीत करने के लिए विशेष प्लेटफार्मों का उपयोग करते हैं।

मशीन सीखने के लिए कई मंच हैं, लेकिन उनमें से एक भी 70% जरूरतों को पूरा नहीं करता है

जब आप एक प्रशिक्षित मॉडल को उत्पादन के लिए लाते हैं, तो आपको सबसे पहली समस्या अपने पसंदीदा डेटा वैज्ञानिक उपकरण - जुपिटर नोटबुक से संबंधित होती है। इसमें कोई मॉड्युलैरिटी नहीं है, यानी आउटपुट कोड का ऐसा "फुट-फॉल" है जो लॉजिकल टुकड़ों में नहीं तोड़ा जाता है। सब कुछ मिलाया जाता है: कक्षाएं, फ़ंक्शंस, कॉन्फ़िगरेशन, आदि। यह कोड संस्करण और परीक्षण के लिए मुश्किल है।

इससे कैसे निपटें? आप नेटफ्लिक्स के साथ जुड़ सकते हैं और अपना खुद का प्लेटफ़ॉर्म बना सकते हैं जो आपको इन लैपटॉप को सीधे उत्पादन में चलाने, उन्हें डेटा स्थानांतरित करने और परिणाम प्राप्त करने की अनुमति देता है। आप डेवलपर्स को मजबूर कर सकते हैं जो कोड को सामान्य रूप से फिर से लिखने के लिए मॉडल को उत्पादन में रोल करते हैं, इसे मॉड्यूल में तोड़ते हैं। लेकिन इस दृष्टिकोण के साथ, गलती करना आसान है, और मॉडल इरादा के अनुसार काम नहीं करेगा। इसलिए, आदर्श विकल्प मॉडल कोड के लिए जुपिटर नोटबुक के उपयोग को प्रतिबंधित करना है। यदि, निश्चित रूप से, डेटा वैज्ञानिक इसके लिए सहमत हैं।

एक ब्लैक बॉक्स के रूप में मॉडल

एक मॉडल को उत्पादन में लाने का सबसे आसान तरीका यह है कि इसे ब्लैक बॉक्स के रूप में इस्तेमाल किया जाए। आपके पास मॉडल का कुछ वर्ग है, मॉडल का वजन (प्रशिक्षित नेटवर्क के न्यूरॉन्स के पैरामीटर) आप को पारित किया गया था, और यदि आप इस वर्ग को आरंभीकृत करते हैं (भविष्यवाणी विधि को कॉल करें, तो उस पर एक तस्वीर डालें), तो आउटपुट को किसी प्रकार का पूर्वानुमान मिलेगा। अंदर क्या होता है कोई फर्क नहीं पड़ता।


एक मॉडल के साथ अलग सर्वर प्रक्रिया

आप एक अलग प्रक्रिया भी चुन सकते हैं और इसे आरपीसी कतार (चित्रों या अन्य स्रोत डेटा के साथ) के माध्यम से भेज सकते हैं। आउटपुट पर, हम भविष्यवाणियां प्राप्त करेंगे।

फ्लास्क में मॉडल का उपयोग करने का एक उदाहरण:

@app.route("/predict", methods=["POST"]) def predict(): image = flask.request.files["image"].read() image = preprocess_image(image) predictions = model.predict(image) return jsonify_prediction(predictions) 

इस दृष्टिकोण के साथ समस्या प्रदर्शन सीमा है। मान लें कि हमारे पास डेटा वैज्ञानिकों द्वारा लिखा गया एक Phyton कोड है जो धीमा हो जाता है, और हम अधिकतम प्रदर्शन को निचोड़ना चाहते हैं। ऐसा करने के लिए, आप उन उपकरणों का उपयोग कर सकते हैं जो कोड को मूल में परिवर्तित करते हैं या इसे उत्पादन के लिए तेज करते हुए किसी अन्य ढांचे में परिवर्तित करते हैं। प्रत्येक ढांचे के लिए ऐसे उपकरण हैं, लेकिन कोई आदर्श उपकरण नहीं हैं, आपको इसे स्वयं समाप्त करना होगा।

एमएल में बुनियादी ढांचा एक नियमित बैकएंड के समान है। Docker और Kubernetes हैं, केवल Docker के लिए आपको NVIDIA रनटाइम सेट करने की आवश्यकता है, जो कंटेनर के अंदर प्रक्रियाओं को होस्ट में वीडियो कार्ड तक पहुंचने की अनुमति देता है। कुबेरनेट को एक प्लगइन की आवश्यकता होती है ताकि वह वीडियो कार्ड के साथ सर्वर का प्रबंधन कर सके।



शास्त्रीय प्रोग्रामिंग के विपरीत, एमएल के मामले में, बुनियादी ढांचे में बहुत सारे अलग-अलग चलती तत्व हैं, जिन्हें जांचने और जांचने की आवश्यकता होती है - उदाहरण के लिए, डेटा प्रोसेसिंग कोड, मॉडल प्रशिक्षण पाइपलाइन और उत्पादन (ऊपर आरेख देखें)। कोड का परीक्षण करना महत्वपूर्ण है जो पाइपलाइनों के विभिन्न टुकड़ों को जोड़ता है: बहुत सारे टुकड़े हैं, और मॉड्यूल की सीमाओं पर अक्सर समस्याएं पैदा होती हैं।


AutoML कैसे काम करता है

AutoML सेवाएं आपके लक्ष्यों के लिए सर्वश्रेष्ठ मॉडल का चयन करने और उसे प्रशिक्षित करने का वादा करती हैं। लेकिन आपको समझने की आवश्यकता है: एमएल डेटा में बहुत महत्वपूर्ण है, परिणाम उनकी तैयारी पर निर्भर करता है। लोग चिह्नित कर रहे हैं, जो त्रुटियों से भरा है। कठोर नियंत्रण के बिना, कचरा बाहर निकल सकता है, लेकिन स्वचालन अभी तक काम नहीं करता है, विशेषज्ञों - डेटा वैज्ञानिकों द्वारा सत्यापन की आवश्यकता है। यह वह जगह है जहां AutoML "ब्रेक" करता है। लेकिन यह वास्तुकला के चयन के लिए उपयोगी हो सकता है - जब आप पहले से ही डेटा तैयार कर चुके हैं और सबसे अच्छा मॉडल खोजने के लिए प्रयोगों की एक श्रृंखला का संचालन करना चाहते हैं।

मशीन लर्निंग में कैसे आए

यदि आप पाइथन में विकास कर रहे हैं, जो सभी गहन शिक्षण ढाँचों (और नियमित ढाँचों) में उपयोग किया जा रहा है, तो एमएल में जाना आसान है। गतिविधि के इस क्षेत्र के लिए यह भाषा व्यावहारिक रूप से आवश्यक है। C ++ का उपयोग कंप्यूटर विज़न के साथ कुछ कार्यों के लिए किया जाता है - उदाहरण के लिए, मानवरहित वाहनों के नियंत्रण प्रणालियों में। जावास्क्रिप्ट और शेल - विज़ुअलाइज़ेशन और इस तरह की अजीब चीजों के लिए एक ब्राउज़र में न्यूरॉन लॉन्च करने के रूप में। जावा और स्काला का उपयोग बिग डेटा के साथ काम करने और मशीन सीखने के लिए किया जाता है। R और जूलिया को आँकड़े करने वाले लोगों से प्यार है।

कागले के साथ शुरू करने के लिए व्यावहारिक अनुभव प्राप्त करना, प्लेटफ़ॉर्म के किसी एक प्रतियोगिता में भाग लेना सिद्धांत का अध्ययन करने के एक वर्ष से अधिक समय देता है। इस प्लेटफ़ॉर्म पर, आप किसी के निर्धारित और टिप्पणी किए गए कोड ले सकते हैं और इसे बेहतर बनाने का प्रयास कर सकते हैं, अपने लक्ष्यों के लिए अनुकूलित कर सकते हैं। काग्ले पर बोनस रैंक आपके वेतन को प्रभावित करता है।

एक अन्य विकल्प एमएल टीम के बैकएंड डेवलपर के रूप में जाना है। अब मशीन सीखने में बहुत सारे स्टार्टअप शामिल हैं, जिसमें आप सहयोगियों को उनकी समस्याओं को हल करने में मदद करके अनुभव प्राप्त करते हैं। अंत में, आप डेटा वैज्ञानिक समुदायों में से एक में शामिल हो सकते हैं - ओपन डेटा साइंस (ओडेसाई) और अन्य।

स्पीकर ने विषय पर अतिरिक्त जानकारी https://bit.ly/backend-to-ml पर रखी

"क्वाड्रुपेल" - पोर्टल "राज्य सेवाओं" की लक्षित सूचनाओं की सेवा

एवगेनी स्मिरनोव

अगले वक्ता ई-गवर्नमेंट इन्फ्रास्ट्रक्चर डेवलपमेंट डिपार्टमेंट के प्रमुख येवगेनी स्मिरनोव थे, जिन्होंने क्वाड्रपल के बारे में बताया। यह Gosuslugi portal (gosuslugi.ru) की एक लक्षित सूचना सेवा है, जो रूसी इंटरनेट पर सबसे अधिक देखी जाने वाली राज्य संसाधन है। दैनिक दर्शक 2.6 मिलियन हैं, सभी में, 90 मिलियन उपयोगकर्ता साइट पर पंजीकृत हैं, जिनमें से 60 मिलियन की पुष्टि की जाती है। पोर्टल एपीआई पर लोड 30 हजार आरपीएस है।

गोसालुग बैकेंड में उपयोग की जाने वाली तकनीकें

"क्वाड्रुपल" एक एड्रेस नोटिफिकेशन सेवा है, जिसकी मदद से उपयोगकर्ता विशेष सूचना नियमों की स्थापना करके उसके लिए सबसे उपयुक्त समय पर एक सर्विस ऑफर प्राप्त करता है। सेवा के विकास में मुख्य आवश्यकताएं लचीली सेटिंग्स थीं और मेलिंग के लिए पर्याप्त समय था।

चौगुनी कैसे काम करती है?

ऊपर दिए गए आरेख ड्राइवर के लाइसेंस को बदलने की आवश्यकता के साथ एक स्थिति के उदाहरण पर "चौगुनी" के नियमों में से एक को दर्शाता है। सबसे पहले, सेवा उन उपयोगकर्ताओं को खोजती है जिनकी समाप्ति तिथि एक महीने में समाप्त हो जाती है। वे संबंधित सेवा प्राप्त करने और एक ई-मेल संदेश भेजने के लिए एक प्रस्ताव के साथ एक बैनर लगाते हैं। उन उपयोगकर्ताओं के लिए जो पहले ही समाप्त हो चुके हैं, बैनर और ईमेल बदल रहे हैं। अधिकारों के एक सफल आदान-प्रदान के बाद, उपयोगकर्ता को अन्य सूचनाएं प्राप्त होती हैं - प्रमाण पत्र में डेटा को अपडेट करने के प्रस्ताव के साथ।

तकनीकी दृष्टिकोण से, ये ग्रूवी स्क्रिप्ट हैं जिसमें कोड लिखा जाता है। इनपुट पर - डेटा, आउटपुट पर - सही / गलत, मिलान / मिलान नहीं हुआ। कुल में, 50 से अधिक नियम - उपयोगकर्ता के जन्मदिन का निर्धारण करने से (वर्तमान तिथि उपयोगकर्ता के जन्मदिन के बराबर है) कठिन परिस्थितियों के लिए। हर दिन, इन नियमों के अनुसार, लगभग दस लाख मैच निर्धारित किए जाते हैं - जिन लोगों को सूचित करने की आवश्यकता होती है।

चौगुनी अधिसूचना चैनल

Quadrupel के हुड के नीचे एक डेटाबेस है जिसमें उपयोगकर्ता डेटा संग्रहीत है, और तीन अनुप्रयोग हैं:

• कार्यकर्ता को डेटा अपडेट करने के लिए डिज़ाइन किया गया है।
  
• रेस्ट एपीआई पिकअप करता है और खुद को पोर्टल और मोबाइल एप्लिकेशन को बैनर देता है।
  
• शेड्यूलर लॉन्च करता है बैनर recounts या बल्क मेलिंग।
  

डेटा अपडेट करने के लिए बैकएंड ईवेंट-ओरिएंटेड है। दो इंटरफेस - आराम या जेएमएस। कई घटनाएं होती हैं, उन्हें सहेजने और संसाधित करने से पहले, उन्हें एकत्र किया जाता है ताकि अनावश्यक अनुरोध न करें। डेटाबेस ही, जिस प्लेट में डेटा संग्रहीत किया जाता है, कुंजी मूल्य भंडारण की तरह दिखता है - उपयोगकर्ता की कुंजी और स्वयं मूल्य: झंडे प्रासंगिक दस्तावेजों की उपस्थिति या अनुपस्थिति, उनकी वैधता अवधि, इस उपयोगकर्ता द्वारा सेवाओं के क्रम पर एकत्रित आंकड़े, और इसी तरह का संकेत देते हैं।



डेटा को सहेजने के बाद, कार्य JMS में सेट किया जाता है ताकि बैनर तुरंत फिर से जुड़ जाएं - इसे तुरंत वेब पर प्रदर्शित किया जाना चाहिए। सिस्टम रात में शुरू होता है: जेएमएस कार्यों में उपयोगकर्ता अंतराल पर फेंका जाता है, जिसके अनुसार आपको नियमों को फिर से बनाने की आवश्यकता होती है। इसे रिक्रूटर द्वारा उठाया जाता है। इसके अलावा, प्रसंस्करण परिणाम अगली कतार में आते हैं, जो या तो डेटाबेस में बैनर बचाता है, या उपयोगकर्ता को सूचित करने के लिए उपयोगकर्ता को कार्य भेजता है। प्रक्रिया में 5-7 घंटे लगते हैं, यह इस तथ्य के कारण आसानी से स्केलेबल है कि आप हमेशा प्रोसेसर को गिरा सकते हैं या नए प्रोसेसर के साथ उदाहरण उठा सकते हैं।



सेवा काफी अच्छी तरह से काम करती है। लेकिन डेटा की मात्रा अधिक उपयोगकर्ताओं के रूप में बढ़ रही है। यह डेटाबेस पर लोड में वृद्धि की ओर जाता है - यहां तक ​​कि इस तथ्य को ध्यान में रखते हुए कि रेस्ट एपीआई प्रतिकृति पर दिखता है। दूसरा बिंदु जेएमएस है, जो कि, जैसा कि यह निकला, बड़ी मेमोरी खपत के कारण बहुत उपयुक्त नहीं है। JMS क्रैश और प्रोसेसिंग स्टॉप के साथ कतार अतिप्रवाह का एक उच्च जोखिम है। लॉग को साफ किए बिना इसके बाद जेएमएस को उठाना असंभव है।



इसे तेज करने का उपयोग करके समस्याओं को हल करने की योजना बनाई गई है, जो आधार पर लोड को संतुलित करने की अनुमति देगा। डेटा स्टोरेज स्कीम को बदलने, और JMS को काफ्का में बदलने की भी योजना है - एक अधिक दोष-सहिष्णु समाधान जो स्मृति समस्याओं को हल करेगा।

बैकएंड-ए-ए-सेवा बनाम। serverless

बाएं से दाएं: अलेक्जेंडर बोर्गार्ट, एंड्री टोमिलेंको, निकोलाई मार्कोव, आरा इस्राइलन

एक सेवा या सर्वर रहित समाधान के रूप में बैकएंड करें? निम्नलिखित लोगों ने गोलमेज पर इस दबाव वाले मुद्दे की चर्चा में भाग लिया:

• आरा इजरायली, सीटीओ सीटीओ और स्कॉरोकोड के संस्थापक।
  
• निकोले मार्कोव, ऑल्टर्ड रिसर्च ग्रुप में वरिष्ठ डेटा इंजीनियर।
  
• एंड्री टॉमिलेंको, विकास विभाग के प्रमुख आरयूवीडीएस।
  

बातचीत को वरिष्ठ डेवलपर अलेक्जेंडर बोर्गार्ट ने संचालित किया। हम बहस प्रस्तुत करते हैं, जिसमें दर्शकों ने भाग लिया, एक संक्षिप्त संस्करण में।

- आपकी समझ में सर्वरहित क्या है?

आंद्रेई : यह एक कम्प्यूटेशनल मॉडल है - एक लैम्ब्डा फ़ंक्शन जिसे डेटा को संसाधित करना चाहिए ताकि परिणाम केवल डेटा पर निर्भर हो। यह शब्द Google से आया है, या अमेज़न और इसकी AWS लैम्ब्डा सेवा से आया है। प्रदाता के लिए इसके लिए एक क्षमता पूल आवंटित करके इस तरह के फ़ंक्शन को संसाधित करना आसान है। विभिन्न उपयोगकर्ताओं को स्वतंत्र रूप से एक ही सर्वर पर माना जा सकता है।
निकोले : यदि यह सरल है, तो हम अपने आईटी इन्फ्रास्ट्रक्चर के कुछ हिस्से, बिजनेस लॉजिक को क्लाउड में, आउटसोर्स करने के लिए ट्रांसफर कर देते हैं।
आरा : डेवलपर्स की ओर से - संसाधनों को बचाने के लिए एक अच्छा प्रयास, विपणक की ओर से - अधिक पैसा कमाने के लिए।

- सर्वर रहित - माइक्रोसर्विसेस के समान?

निकोलाई : नहीं, सर्वरहित अधिक वास्तुकला का संगठन है। माइक्रोसर्विस एक निश्चित तर्क की एक परमाणु इकाई है। सर्वर रहित एक दृष्टिकोण है, "अलग इकाई" नहीं।
आरा : सर्वर रहित फ़ंक्शन को एक माइक्रोसैस सर्विस में पैक किया जा सकता है, लेकिन इसमें से सर्वरलेस होना बंद हो जाएगा, लैंबडा फ़ंक्शन होना बंद हो जाएगा। सर्वर रहित में, एक फ़ंक्शन केवल तब शुरू होता है जब यह अनुरोध किया जाता है।
एंड्रयू : वे जीवन के समय में भिन्न हैं। हमने लैंबडा फंक्शन लॉन्च किया और भूल गए। यह कुछ सेकंड के लिए काम करता है, और अगला ग्राहक किसी अन्य भौतिक मशीन पर इसके अनुरोध को संसाधित कर सकता है।

- कौन सा तराजू बेहतर?

आरा : क्षैतिज स्केलिंग के साथ, लैम्बडा फ़ंक्शंस बिल्कुल उसी तरह से व्यवहार करते हैं जैसे कि माइक्रोसिस्टर्स।
निकोलाई : आप कितने प्रतिकृतियां पूछते हैं - उनमें से बहुत सारे होंगे, सर्वरलेस स्केलिंग के साथ कोई समस्या नहीं है। कुबेरनेट्स ने एक प्रतिकृति सेट बनाया, 20 उदाहरण "कहीं" लॉन्च किए, और 20 अनाम लिंक आपके पास वापस आ गए। आगे बढ़ो!

- क्या सर्वरलेस पर बैकएंड लिखना संभव है?

एंड्रयू : सैद्धांतिक रूप से, लेकिन इसका कोई मतलब नहीं है। लैम्ब्डा फ़ंक्शन एक एकल रिपॉजिटरी के खिलाफ आराम करेंगे - हमें एक गारंटी प्रदान करने की आवश्यकता है। उदाहरण के लिए, यदि उपयोगकर्ता ने एक निश्चित लेनदेन किया है, तो अगली बार उसे देखना चाहिए: लेनदेन पूरा हो गया है, धनराशि जमा की गई है। इस कॉल पर सभी लंबोदर कार्यों को अवरुद्ध किया जाएगा। वास्तव में, सर्वर रहित फ़ंक्शंस का एक समूह डेटाबेस तक पहुँच के एक संकीर्ण बिंदु के साथ एकल सेवा में बदल जाएगा।

- किन स्थितियों में सर्वरहित वास्तुकला का उपयोग करना समझ में आता है?

एंड्रयू : कार्य जिसमें एक आम भंडारण की आवश्यकता नहीं है - वही खनन, ब्लॉकचेन। जहां आपको बहुत कुछ गिनने की जरूरत है। यदि आपके पास बहुत अधिक कंप्यूटिंग शक्ति है, तो आप एक फ़ंक्शन को परिभाषित कर सकते हैं जैसे कि "किसी चीज़ के हैश की गणना करें ..." लेकिन आप डेटा स्टोरेज की समस्या को हल कर सकते हैं, उदाहरण के लिए, अमेज़ॅन और लैम्ब्डा-फ़ंक्शंस, और उनके वितरित भंडारण। और यह पता चला है कि आप एक नियमित सेवा लिख ​​रहे हैं। लैम्ब्डा फ़ंक्शन रिपॉजिटरी तक पहुंच जाएगा और उपयोगकर्ता को किसी प्रकार की प्रतिक्रिया देगा।
निकोलाई : सर्वरलेस में चलने वाले कंटेनर बेहद संसाधन-सीमित होते हैं। थोड़ी याददाश्त और बाकी सब कुछ है। लेकिन अगर आपके पास सभी तरह के क्लाउड - Google, Amazon - पर पूरी तरह से मौजूद बुनियादी ढाँचा है और आपके पास उनके साथ एक स्थायी अनुबंध है, तो इस सब के लिए एक बजट है, तो कुछ कार्यों के लिए आप सर्वर रहित कंटेनरों का उपयोग कर सकते हैं। इस बुनियादी ढांचे के बिल्कुल अंदर स्थित होना आवश्यक है, क्योंकि एक विशिष्ट वातावरण में उपयोग के लिए सब कुछ अनुरूप है। यही है, यदि आप क्लाउड इंफ्रास्ट्रक्चर के लिए सब कुछ टाई करने के लिए तैयार हैं, तो आप प्रयोग कर सकते हैं। प्लस यह है कि आपको इस बुनियादी ढांचे का प्रबंधन करने की आवश्यकता नहीं है।
आरा : उस सर्वरहित को आपको कुबेरनेट्स, डोकर, काफ्का स्थापित करने की आवश्यकता नहीं है, और इसी तरह, स्व-धोखा है। वही अमेज़न और Google प्रबंधक हैं और उन्होंने इसे रखा है। एक और बात यह है कि आपके पास एक एसएलए है। उसी सफलता के साथ, आप सब कुछ आउटसोर्स कर सकते हैं, न कि इसे स्वयं प्रोग्राम करें।
एंड्रयू : सर्वर रहित स्वयं सस्ता है, लेकिन आपको अमेज़ॅन की बाकी सेवाओं के लिए बहुत अधिक भुगतान करना होगा - उदाहरण के लिए, एक डेटाबेस। लोगों ने पहले से ही इस तथ्य के लिए उन पर मुकदमा दायर किया है कि वे एपीआई गेट के लिए पागल पैसे फाड़ रहे थे।
आरा : अगर हम पैसे के बारे में बात करते हैं, तो आपको इस बिंदु पर विचार करने की आवश्यकता है: आपको सभी कोड को सर्वर रहित में स्थानांतरित करने के लिए कंपनी में 180 डिग्री पूरे विकास पद्धति को तैनात करना होगा। इसमें काफी समय और पैसा लगेगा।

- क्या सर्वर रहित अमेजन और गूगल को भुगतान करने का कोई अच्छा विकल्प है?

निकोले : कुबेरनेट्स में, आप किसी तरह का काम शुरू करते हैं, यह पूरा होता है और मर जाता है - यह वास्तुकला की दृष्टि से काफी सर्वर रहित है। यदि आप अड्डों के साथ, कतारों के साथ एक बहुत ही दिलचस्प व्यवसाय तर्क बनाना चाहते हैं, तो आपको इसके बारे में थोड़ा और सोचने की आवश्यकता है। यह सब कुबेरनेट्स को छोड़ने के बिना हल किया गया है। मैं अतिरिक्त कार्यान्वयन को खींचना शुरू नहीं करूंगा।

- सर्वर रहित क्या हो रहा है इसकी निगरानी करना कितना महत्वपूर्ण है?

आरा : सिस्टम वास्तुकला और व्यावसायिक आवश्यकताओं पर निर्भर करता है। वास्तव में, प्रदाता को ऐसी रिपोर्ट प्रदान करनी चाहिए जो संभावित समस्याओं का पता लगाने में मदद करेगी।
निकोलाई : अमेज़ॅन में क्लाउडवेच है, जहां सभी लॉग स्ट्रीम किए जाते हैं, जिसमें लैम्ब्डा भी शामिल है। लॉग फ़ॉरवर्डिंग को एकीकृत करें और देखने, अलर्ट करने आदि के लिए कुछ अलग टूल का उपयोग करें। जिन कंटेनरों में आप शुरू करते हैं, आप एजेंटों को रटना कर सकते हैं।



- आइए संक्षेप करते हैं।

एंड्रयू : लैम्बडा कार्यों के बारे में सोचना उपयोगी है। यदि आप घुटने पर एक सेवा बनाते हैं - एक माइक्रोसैस सर्विस नहीं, लेकिन एक जो अनुरोध लिखता है, डेटाबेस तक पहुंचता है और एक जवाब भेजता है - लैंबडा फ़ंक्शन कई समस्याओं को हल करता है: मल्टीथ्रेडिंग, स्केलेबिलिटी, और बहुत कुछ। यदि आपका तर्क इस तरह से बनाया गया है, तो भविष्य में आप इन लैंबडा को माइक्रोसर्विस में स्थानांतरित कर सकेंगे या अमेज़ॅन जैसी तृतीय-पक्ष सेवाओं का उपयोग कर पाएंगे। तकनीक उपयोगी है, एक दिलचस्प विचार है। व्यापार के लिए कितना उचित है यह अभी भी एक खुला सवाल है।
निकोलाई: किसी भी तरह के व्यावसायिक तर्क की गणना करने की तुलना में ऑपरेशन-कार्यों के लिए सर्वरलेस का उपयोग करना बेहतर है। मैं हमेशा इसे इवेंट प्रोसेसिंग के रूप में लेता हूं। यदि आपके पास अमेज़न में है, यदि आप कुबेरनेट्स में हैं - हाँ। अन्यथा, आपको सर्वरलेस को बढ़ाने के लिए स्वयं बहुत प्रयास करने होंगे। आपको एक विशिष्ट व्यावसायिक मामला देखने की आवश्यकता है। उदाहरण के लिए, मेरे पास अब एक कार्य है: जब फाइलें एक निश्चित प्रारूप में डिस्क पर दिखाई देती हैं, तो आपको उन्हें काफ्का पर अपलोड करना होगा। मैं इस वॉचडॉग या लैंबडा का उपयोग कर सकता हूं। तार्किक रूप से, दोनों उपयुक्त हैं, लेकिन सर्वरलेस को लागू करना कठिन है, और मैं लम्बे बिना सरल तरीका पसंद करता हूं।
आरा : सर्वर रहित - एक दिलचस्प, लागू, बहुत तकनीकी रूप से सुंदर विचार। जल्दी या बाद में, प्रौद्योगिकी उस बिंदु तक पहुंच जाएगी जहां कोई भी कार्य 100 मिलीसेकंड से कम में बढ़ जाएगा। फिर, सिद्धांत रूप में, इस बात का कोई सवाल नहीं होगा कि उपयोगकर्ता के लिए प्रतीक्षा समय महत्वपूर्ण है या नहीं। उसी समय, सर्वरलेस की प्रयोज्यता, जैसा कि सहकर्मी पहले ही कह चुके हैं, पूरी तरह से व्यावसायिक कार्य पर निर्भर है।

हम अपने प्रायोजकों को धन्यवाद देते हैं जिन्होंने हमारी बहुत मदद की:

• सम्मेलन के लिए मंच के पीछे आईटी सम्मेलन " स्प्रिंग " का स्थान।
• आईटी कार्यक्रमों का कैलेंडर रनेट-आईडी और सूचना समर्थन और समाचार के लिए प्रकाशन " संख्याओं में इंटरनेट "।
• उपहार के लिए Akronis ।
• सह-निर्माण के लिए Avito ।
• भागीदारी और अनुभव के लिए "इलेक्ट्रॉनिक संचार एसोसिएशन" RAEC ।
• RUVDS का मुख्य प्रायोजक - सब कुछ के लिए!