Pinterest पर एक कुबेरनेट्स प्लेटफ़ॉर्म बनाएं

Pinterest के अस्तित्व के वर्षों में, सेवा के 300 मिलियन उपयोगकर्ताओं ने 4 बिलियन से अधिक बोर्डों पर 200 बिलियन से अधिक पिन बनाए हैं। उपयोगकर्ताओं की इस सेना और एक व्यापक सामग्री आधार की सेवा करने के लिए, पोर्टल ने हजारों सेवाओं को विकसित किया है, जो कि माइक्रोसर्विस से लेकर कई सीपीयू को संभाल सकते हैं, और विशाल मोनोलिथ के साथ समाप्त हो सकते हैं जो वर्चुअल मशीनों के एक पूरे बेड़े पर घूमते हैं। और फिर वह क्षण आया जब कंपनी की नजर k8s पर पड़ी। "क्यूब" ने "रुचि" को क्या देखा? आप नवीनतम Pinterest संलग्न ब्लॉग पोस्ट के हमारे अनुवाद से इस बारे में जानेंगे।



तो, उपयोगकर्ताओं के लाखों और अरबों पिन के सैकड़ों। उपयोगकर्ताओं की इस सेना और एक व्यापक सामग्री आधार की सेवा करने के लिए, हमने हजारों सेवाओं को विकसित किया है, जिसमें माइक्रोसॉफ़्ट से लेकर कई सीपीयू द्वारा विशालकाय मोनोलिथ को संभाला जा सकता है जो वर्चुअल मशीनों के एक पूरे बेड़े पर घूमता है। इसके अलावा, हमारे पास विभिन्न प्रकार के फ्रेमवर्क हैं जिनके लिए CPU संसाधनों, मेमोरी, या I / O तक पहुंच की आवश्यकता हो सकती है।

उपकरणों के इस चिड़ियाघर के समर्थन में, विकास टीम कई चुनौतियों का सामना करती है:

• काम के माहौल को चलाने के लिए इंजीनियरों के पास एकीकृत तरीका नहीं है। स्टेटलेस सर्विसेज, स्टेटफुल सर्विसेज और एक्टिव डेवलपमेंट के तहत प्रोजेक्ट्स पूरी तरह से अलग टेक्नोलॉजी स्टैक पर आधारित हैं। इससे इंजीनियरों के लिए एक संपूर्ण प्रशिक्षण पाठ्यक्रम का निर्माण हुआ, और यह हमारे बुनियादी ढाँचे की टीम के काम को गंभीरता से पूरा करता है।
• वर्चुअल मशीनों के अपने बेड़े के साथ डेवलपर्स आंतरिक प्रशासकों पर एक बड़ा भार बनाते हैं। नतीजतन, इस तरह के सरल ऑपरेशन ओएस या एएमआई को अपडेट करने के रूप में हफ्तों और महीनों तक चलते हैं। इसके कारण रोजमर्रा की स्थितियों में काम का बोझ बढ़ जाता है।
• मौजूदा समाधान के शीर्ष पर वैश्विक बुनियादी ढांचा प्रबंधन उपकरण बनाने में कठिनाई। स्थिति इस तथ्य से जटिल है कि आभासी मशीनों के मालिकों को ढूंढना आसान नहीं है। यही है, हम नहीं जानते कि हमारे बुनियादी ढांचे के अन्य हिस्सों में काम करने के लिए इन क्षमताओं को निकालना सुरक्षित है या नहीं।

कंटेनर ऑर्केस्ट्रेशन सिस्टम कार्यभार प्रबंधन को एकजुट करने का एक तरीका है। वे आपके लिए विकास की गति बढ़ाने और बुनियादी ढांचे के प्रबंधन को सरल बनाने का मार्ग खोलते हैं, क्योंकि परियोजना में शामिल सभी संसाधनों को एक केंद्रीकृत प्रणाली द्वारा प्रबंधित किया जाता है।



चित्रा 1: बुनियादी ढांचे की प्राथमिकताएं (विश्वसनीयता, डेवलपर उत्पादकता और दक्षता)।

Pinterest पर क्लाउड मैनेजमेंट प्लेटफ़ॉर्म टीम ने 2017 में K8s से मुलाकात की। 2017 की पहली छमाही तक, हमने एपीआई और हमारे सभी वेब सर्वरों सहित हमारी अधिकांश उत्पादन सुविधाओं का दस्तावेजीकरण किया। उसके बाद, हमने कंटेनर समाधान ऑर्केस्ट्रेशन, क्लस्टर बनाने और उनके साथ काम करने की विभिन्न प्रणालियों का सावधानीपूर्वक मूल्यांकन किया। 2017 के अंत तक, हमने कुबेरनेट्स का उपयोग करने का निर्णय लिया। यह डेवलपर्स के समुदाय में पर्याप्त रूप से लचीला और व्यापक रूप से समर्थित था।

अब तक, हमने अपने स्वयं के Kops- आधारित क्लस्टर बूटस्ट्रैप टूल बनाए हैं और नेटवर्क, सुरक्षा, मैट्रिक्स, लॉगिंग, पहचान प्रबंधन, और ट्रैफ़िक जैसे कुबेरनेट्स मौजूदा बुनियादी ढांचे के घटकों में स्थानांतरित कर दिए हैं। हमने अपने संसाधन के लिए एक वर्कलोड मॉडलिंग सिस्टम भी लागू किया है, जिसकी जटिलता डेवलपर्स से छिपी हुई है। अब हम क्लस्टर की स्थिरता, इसकी स्केलिंग और नए ग्राहकों को जोड़ने पर ध्यान केंद्रित कर रहे हैं।

कुबेरनेट्स: पिनटेरेस्ट्स वे

एक मंच के रूप में एक Pinterest पैमाने पर कुबेरनेट्स के साथ शुरू करना, जो हमारे इंजीनियरों को पसंद आएगा वह अभिभूत करने वाला है।

एक बड़ी कंपनी के रूप में, हमने इन्फ्रास्ट्रक्चर टूल्स में भारी निवेश किया है। उदाहरणों में सुरक्षा उपकरण शामिल हैं जो प्रमाणपत्रों को संसाधित करते हैं और चाबियाँ, यातायात नियंत्रण घटक, सेवा खोज सिस्टम, दृश्यता और लॉग और मैट्रिक्स भेजते हैं। यह सब एक कारण के लिए एकत्र किया गया था: हम परीक्षण और त्रुटि के सामान्य तरीके से चले गए, और इसलिए हम इस सभी अर्थव्यवस्था को एक नए मंच पर पुरानी साइकिल को पुन: स्थापित करने के बजाय कुबेरनेट पर नए बुनियादी ढांचे में एकीकृत करना चाहते थे। यह दृष्टिकोण आम तौर पर सरलीकृत प्रवासन है, क्योंकि सभी एप्लिकेशन समर्थन पहले से मौजूद हैं, इसे स्क्रैच से बनाने की आवश्यकता नहीं है।

दूसरी ओर, कुबेरनेट्स में लोड पूर्वानुमान मॉडल (उदाहरण के लिए, तैनाती, नौकरी और डेमॉन किट) हमारी परियोजना के लिए पर्याप्त नहीं हैं। कुबेरनेट्स पर जाने के लिए ये प्रयोज्य मुद्दे बहुत बड़ी बाधाएं हैं। उदाहरण के लिए, हमने सुना है कि सेवा डेवलपर्स एक लापता या गलत लॉगिन सेटिंग के बारे में शिकायत करते हैं। जब एक ही विनिर्देश और कार्य के साथ सैकड़ों प्रतियां बनाई गईं, तो हमें टेम्पलेट इंजन के अनुचित उपयोग का भी सामना करना पड़ा, जिसके परिणामस्वरूप डिबगिंग के साथ बुरे सपने आए।

एक ही क्लस्टर में विभिन्न संस्करणों का समर्थन करना भी बहुत मुश्किल था। ग्राहक सहायता की जटिलता की कल्पना करें यदि आपको अपनी सभी समस्याओं, बगों और अद्यतनों के साथ एक ही रनटाइम के कई संस्करणों में तुरंत काम करने की आवश्यकता है।

Pinterest कस्टम संसाधन और नियंत्रक

कुबेरनेट्स को हमारे इंजीनियरों के लिए लागू करने के साथ-साथ बुनियादी ढांचे को सरल बनाने और गति प्रदान करने के लिए, हमने अपनी स्वयं की कस्टम संसाधन परिभाषाएँ (CRD) विकसित की हैं।

CRD निम्नलिखित विशेषताएं प्रदान करते हैं:

1. विभिन्न देशी कुबेरनेट संसाधनों को मिलाकर उन्हें एक लोड के रूप में काम करने के लिए। उदाहरण के लिए, PinterestService संसाधन में परिनियोजन, लॉगिन सेवा और कॉन्फ़िगरेशन मैप शामिल होता है। यह डेवलपर्स को DNS स्थापित करने के बारे में चिंता करने की अनुमति नहीं देता है।
2. आवश्यक एप्लिकेशन समर्थन को लागू करें। उपयोगकर्ता को केवल अपने व्यावसायिक तर्क के अनुसार कंटेनर विनिर्देश पर ध्यान केंद्रित करना चाहिए, जबकि CRD नियंत्रक सभी आवश्यक init कंटेनरों, पर्यावरण चर और फली विनिर्देशों को लागू करता है। यह डेवलपर्स के लिए मौलिक रूप से अलग स्तर का आराम प्रदान करता है।
3. सीआरडी नियंत्रक अपने स्वयं के संसाधनों के जीवन चक्र का प्रबंधन करते हैं और डिबगिंग उपलब्धता को बढ़ाते हैं। इसमें वांछित और वास्तविक विनिर्देशों पर सहमत होना, सीआरडी की स्थिति को अपडेट करना और इवेंट लॉग को बनाए रखना और अधिक शामिल हैं। सीआरडी के बिना, डेवलपर्स को संसाधनों के एक बड़े सेट का प्रबंधन करने के लिए मजबूर किया जाएगा, जो केवल एक त्रुटि की संभावना को बढ़ाएगा।

यहां PinterestService का एक उदाहरण और आंतरिक संसाधन है जो हमारे नियंत्रक द्वारा नियंत्रित किया जाता है:



जैसा कि आप ऊपर देख सकते हैं, एक कस्टम कंटेनर का समर्थन करने के लिए, हमें सुरक्षा, दृश्यता सुनिश्चित करने और नेटवर्क ट्रैफ़िक के साथ काम करने के लिए एक इनिशियलाइज़ेशन कंटेनर और कई ऐड-ऑन को एकीकृत करने की आवश्यकता है। इसके अलावा, हमने कॉन्फ़िगरेशन मैप टेम्प्लेट बनाए और बैच जॉब्स के लिए पीवीसी टेम्प्लेट के लिए समर्थन लागू किया, साथ ही पहचान, संसाधन खपत और कचरा संग्रह को ट्रैक करने के लिए विभिन्न प्रकार के पर्यावरण चर को ट्रैक किया।

यह कल्पना करना कठिन है कि डेवलपर्स इन कॉन्फ़िगरेशन फ़ाइलों को सीआरडी समर्थन के बिना मैन्युअल रूप से लिखना चाहते हैं, कॉन्फ़िगरेशन के आगे समर्थन और डिबगिंग का उल्लेख नहीं करना।

वर्कफ़्लो अनुप्रयोग परिनियोजन

ऊपर दिए गए चित्र से पता चलता है कि कुबेरनेट क्लस्टर में एक Pinterest कस्टम संसाधन कैसे तैनात करें:

1. डेवलपर्स सीएलआई और उपयोगकर्ता इंटरफ़ेस के माध्यम से हमारे कुबेरनेट समूह के साथ बातचीत करते हैं।
2. सीएलआई / यूआई उपकरण आर्टिफैक्ट से वर्कफ़्लो कॉन्फ़िगरेशन YAML फ़ाइल्स और अन्य असेंबली प्रॉपर्टीज़ (समान वर्ज़न आइडेंटिफ़ायर) को निकालते हैं, और फिर उन्हें जॉब सबमिशन सर्विस में भेजते हैं। यह चरण यह सुनिश्चित करता है कि केवल उत्पादन संस्करण क्लस्टर में दिए गए हैं।
3. JSS कुबेरनेट सहित विभिन्न प्लेटफार्मों के लिए प्रवेश द्वार है। यह वह जगह है जहां उपयोगकर्ता प्रमाणीकरण, कोटा जारी करने और हमारे सीआरडी कॉन्फ़िगरेशन का आंशिक सत्यापन होता है।
4. JSS की ओर से CRD की जाँच करने के बाद, जानकारी k8s प्लेटफ़ॉर्म API पर भेजी जाती है।
5. हमारे CRD नियंत्रक सभी उपयोगकर्ता संसाधनों पर घटनाओं की निगरानी करता है। यह CR को देशी k8 के संसाधनों में परिवर्तित करता है, आवश्यक मॉड्यूल जोड़ता है, उचित वातावरण चर निर्धारित करता है और अन्य सहायक कार्य करता है, जो कंटेनर उपयोगकर्ता अनुप्रयोगों को पर्याप्त बुनियादी ढांचे के समर्थन की गारंटी देता है।
6. फिर सीआरडी नियंत्रक प्राप्त डेटा को कुबेरनेट्स एपीआई में स्थानांतरित करता है ताकि इसे अनुसूचक द्वारा संसाधित किया जाए और ऑपरेशन में डाल दिया जाए।

नोट : यह प्री-रिलीज़ वर्कफ़्लो परिनियोजन नए k8s प्लेटफ़ॉर्म के पहले उपयोगकर्ताओं के लिए बनाया गया था। अब हम अपने नए CI / CD के साथ पूरी तरह से एकीकृत करने के लिए इस प्रक्रिया को अंतिम रूप देने की प्रक्रिया में हैं। इसका मतलब यह है कि हम कुबेरनेट से संबंधित सब कुछ नहीं बता सकते। हम अपने अनुभव को साझा करने और अपने अगले ब्लॉग पोस्ट "Pinterest के लिए एक CI / सीडी मंच का निर्माण" में इस प्रगति के बारे में टीम को बताने के लिए उत्सुक हैं।

विशेष संसाधनों के प्रकार

Pinterest की विशिष्ट आवश्यकताओं के आधार पर, हमने निम्नलिखित CRD विकसित किए हैं जो विभिन्न प्रकार के वर्कफ़्लो के लिए उपयुक्त हैं:

• PinterestService एक लंबी चलने वाली स्टेटलेस-सर्विसेज है। हमारे कई मुख्य सिस्टम ऐसी सेवाओं के एक सेट पर आधारित हैं।
• PinterestJobSet मॉडल पूर्ण-चक्र बैच की नौकरियां। Pinterest का एक सामान्य परिदृश्य है, जिसके अनुसार कई कार्य समान कंटेनरों को समानांतर में चलाते हैं, और अन्य समान प्रक्रियाओं की परवाह किए बिना।
• PinterestCronJob को छोटे आवधिक भार के साथ व्यापक रूप से उपयोग किया जाता है। यह पिंटरेस्ट सपोर्ट मैकेनिज्म वाला क्रोन देशी शेल है जो सुरक्षा, ट्रैफिक, लॉग और मेट्रिक्स के लिए जिम्मेदार है।
• PinterestDaemon में डेमन का बुनियादी ढांचा शामिल है। जब हम अपने समूहों के लिए अधिक समर्थन जोड़ते हैं, तो यह परिवार बढ़ता रहता है।
• PinterestTrainingJob अन्य सभी CRD के रूप में ऑन-लाइन समर्थन के समान स्तर प्रदान करते हुए, Tensorflow और Pytorch प्रक्रियाओं तक फैली हुई है। चूंकि Pinterest सक्रिय रूप से Tensorflow और अन्य मशीन लर्निंग सिस्टम का उपयोग कर रहा है, हमारे पास उनके आसपास एक अलग CRD बनाने का एक कारण था।

हम PinterestStatefulSet पर भी काम कर रहे हैं, जिसे जल्द ही डेटा वेयरहाउस और अन्य स्टेटफुल सिस्टम के लिए अनुकूलित किया जाएगा।

रनटाइम सपोर्ट

जब एप्लिकेशन मॉड्यूल कुबेरनेट्स में चलता है, तो यह स्वचालित रूप से खुद को पहचानने के लिए एक प्रमाण पत्र प्राप्त करता है। इस प्रमाणपत्र का उपयोग गुप्त स्टोर तक पहुंचने या mTLS के माध्यम से अन्य सेवाओं के साथ संवाद करने के लिए किया जाता है। इस बीच, कंटेनर एप्लिकेशन लॉन्च करने से पहले कंटेनर इनिशियलाइज़ेशन कॉन्फ़िगरेशन और डेमन सभी आवश्यक निर्भरताओं को डाउनलोड करेगा। जब सब कुछ तैयार हो जाता है, तो साइडकार ट्रैफ़िक और डेमन हमारे ज़ुकाइपर में मॉड्यूल आईपी पते को पंजीकृत करेंगे ताकि ग्राहक इसे पा सकें। यह सब काम करेगा, क्योंकि एप्लिकेशन लॉन्च होने से पहले नेटवर्क मॉड्यूल कॉन्फ़िगर किया गया था।

रन-टाइम वर्कलोड समर्थन के विशिष्ट उदाहरण निम्नलिखित हैं। अन्य प्रकार के वर्कलोड के लिए, थोड़े अलग समर्थन की आवश्यकता हो सकती है, लेकिन वे सभी साइडकार पॉड स्तर, नोडल या डेमन स्तर वर्चुअल मशीनों के रूप में प्रस्तुत किए जाते हैं। हम यह सुनिश्चित करते हैं कि यह सब प्रबंधन बुनियादी ढांचे के ढांचे के भीतर तैनात है और अनुप्रयोगों के बीच समन्वित है, जो अंततः तकनीकी काम और ग्राहक सहायता के मामले में लोड को काफी कम करता है।

परीक्षण और क्यूए

हमने मौजूदा कुबेरनेट्स टेस्ट इंफ्रास्ट्रक्चर के शीर्ष पर एंड-टू-एंड टेस्ट पाइपलाइन को एक साथ रखा है। ये परीक्षण हमारे सभी समूहों पर लागू होते हैं। हमारी पाइपलाइन उत्पाद क्लस्टर का हिस्सा बनने से पहले कई बदलावों से गुजरी।

परीक्षण प्रणालियों के अलावा, हमारे पास निगरानी और चेतावनी प्रणाली है जो सिस्टम घटकों, संसाधन खपत और अन्य महत्वपूर्ण संकेतकों की स्थिति की लगातार निगरानी करते हैं, हमें केवल तब सूचित करते हैं जब आवश्यक मानव हस्तक्षेप होता है।

विकल्प

हमने कस्टम संसाधनों के कुछ विकल्पों पर ध्यान दिया, जैसे कि म्यूटेशनल एक्सेस कंट्रोलर्स और टेम्पलेट सिस्टम। हालांकि, ये सभी काम में गंभीर कठिनाइयों से भरे हैं, इसलिए हमने सीआरडी का रास्ता चुना।

म्यूटेशन टॉलरेंस कंट्रोलर का उपयोग साइडकार, एक पर्यावरण चर और अन्य रनटाइम समर्थन में प्रवेश करने के लिए किया गया था। फिर भी, उन्हें विभिन्न समस्याओं का सामना करना पड़ा, उदाहरण के लिए, संसाधन बंधन और उनके जीवन चक्र के प्रबंधन के साथ, जब सीआरडी में ऐसी समस्याएं उत्पन्न नहीं होती हैं।

नोट: हेल्म आरेख जैसे टेम्प्लेट सिस्टम भी समान कॉन्फ़िगरेशन वाले एप्लिकेशन चलाने के लिए व्यापक रूप से उपयोग किए जाते हैं। हालाँकि, हमारे उत्पादन अनुप्रयोगों को भी उन्हें टेम्पलेट्स के साथ प्रबंधित करने के लिए विविध हैं। इसके अलावा, निरंतर तैनाती के दौरान, टेम्प्लेट का उपयोग करके बहुत अधिक त्रुटियां उत्पन्न होंगी।

भविष्य का काम

अब हम अपने सभी समूहों पर मिश्रित भार का सामना कर रहे हैं। विभिन्न प्रकारों और आकारों की समान प्रक्रियाओं का समर्थन करने के लिए, हम निम्नलिखित क्षेत्रों में काम करते हैं:

• क्लस्टरों का एक समूह मापनीयता और स्थिरता प्रदान करने के लिए क्लस्टर भर में बड़े अनुप्रयोगों को वितरित करता है।
• आवेदन और इसके एसएलए के संबंध बनाने के लिए क्लस्टर की स्थिरता, मापनीयता और दृश्यता सुनिश्चित करना।
• संसाधन और कोटा प्रबंधन ताकि आवेदन एक दूसरे के साथ संघर्ष न करें, और क्लस्टर स्केल हमारे द्वारा नियंत्रित किया जाता है।
• कुबेरनेट्स में अनुप्रयोगों के समर्थन और तैनाती के लिए नया सीआई / सीडी मंच।