मैंने अपने हॉबी प्रोजेक्ट को k8s में कैसे स्थानांतरित किया

इस अनुच्छेद में, मैं VKontakte सामाजिक नेटवर्क से अपार्टमेंट किराए पर लेने और इसे k8 में स्थानांतरित करने के अनुभव के विज्ञापनों की खोज और वर्गीकरण के अपने शौक परियोजना के बारे में बात करना चाहूंगा।

सामग्री की तालिका

• परियोजना के बारे में थोड़ा सा
• पेश है K8s
• इस कदम के लिए तैयारी कर रहा है
• K8s विन्यास विकास
• K8s क्लस्टर परिनियोजन

परियोजना के बारे में थोड़ा सा

मार्च 2017 में, मैंने सोशल नेटवर्क VKontakte से अपार्टमेंट किराए पर लेने के लिए विज्ञापनों के पार्सिंग और वर्गीकरण के लिए एक सेवा शुरू की।

यहाँ आप और अधिक विस्तार से पढ़ सकते हैं कि कैसे मैंने विज्ञापनों को अलग-अलग तरीकों से वर्गीकृत करने की कोशिश की और आखिरकार यैंडेक्स टोमिता पार्सर लेक्सिकल पार्सर पर बस गया।

यहां आप परियोजना की वास्तुकला के बारे में पढ़ सकते हैं कि इसके अस्तित्व की शुरुआत में क्या और किन तकनीकों का इस्तेमाल किया गया था और क्यों।

सेवा के पहले संस्करण के विकास में लगभग एक वर्ष का समय लगा। सेवा के प्रत्येक घटक को तैनात करने के लिए, मैंने Ansible में स्क्रिप्ट लिखी। समय-समय पर, सेवा पुन: डिज़ाइन किए गए कोड या घटकों के गलत कॉन्फ़िगरेशन में त्रुटियों के कारण काम नहीं करती थी।

जून 2019 के आसपास, पार्सर कोड में एक त्रुटि पाई गई जिसके कारण नई घोषणाएं एकत्र नहीं की गईं। एक और सुधार के बजाय, इसे अस्थायी रूप से अक्षम करने का निर्णय लिया गया।

सेवा की बहाली का कारण k8s का अध्ययन था।

पेश है K8s

k8s कंटेनरीकृत अनुप्रयोगों की तैनाती, स्केलिंग और प्रबंधन को स्वचालित करने के लिए खुला स्रोत सॉफ्टवेयर है।

पूरे सेवा ढांचे को यमल प्रारूप में कॉन्फ़िगरेशन फ़ाइलों द्वारा वर्णित किया गया है (सबसे अधिक बार)।

मैं k8s की आंतरिक संरचना के बारे में बात नहीं करूंगा, लेकिन केवल इसके कुछ घटकों के बारे में कुछ जानकारी दूंगा।

K8s घटक

• फली सबसे छोटी इकाई है। इसमें कई कंटेनर हो सकते हैं जो एक ही नोड पर लॉन्च किए जाएंगे।
  पॉड के अंदर कंटेनर:
  
  • एक सामान्य नेटवर्क है और 127.0.0.1:concontainerPort के माध्यम से एक दूसरे तक पहुंच सकते हैं;
  • एक सामान्य फ़ाइल सिस्टम नहीं है, इसलिए आप सीधे एक कंटेनर से दूसरे में फ़ाइलें नहीं लिख सकते हैं।
• तैनाती - पोड के काम की निगरानी करता है। यह पॉड इंस्टेंस की आवश्यक संख्या को बढ़ा सकता है, उनके गिरने की स्थिति में उन्हें पुनः आरंभ कर सकता है और नए पॉड्स को तैनात कर सकता है।
• PersistentVolumeClaim - डेटा वेयरहाउस। डिफ़ॉल्ट रूप से, यह स्थानीय नोड फ़ाइल सिस्टम के साथ काम करता है। इसलिए, यदि आप चाहते हैं कि अलग-अलग नोड्स पर दो अलग-अलग पॉड्स में एक आम फाइल सिस्टम हो, तो आपको सेफ जैसी नेटवर्क फाइल सिस्टम का उपयोग करना होगा।
• सेवा - पॉड से और इसके लिए समीपता अनुरोध।
  सेवा प्रकार:
  
  • LoadBalancer - कई पॉड्स के बीच लोड संतुलन के साथ एक बाहरी नेटवर्क के साथ बातचीत के लिए;
  • NodePort (केवल 30000-32767 पोर्ट) - लोड संतुलन के बिना बाहरी नेटवर्क के साथ बातचीत के लिए;
  • ClusterIp - क्लस्टर के स्थानीय नेटवर्क में इंटरैक्शन के लिए;
  • बाहरी नाम - पॉड और बाहरी सेवाओं के बीच बातचीत के लिए।
• विन्यास - विन्यास का विन्यास।
  जब विन्यास मानचित्र बदलता है, तो नए विन्यास के साथ फली को फिर से शुरू करने के लिए k8s के क्रम में, आपको अपने विन्यास के नाम में संस्करण को इंगित करना चाहिए और हर बार विन्यास के परिवर्तन के बाद इसे बदलना चाहिए।
  वही सीक्रेट के लिए जाता है।

containers: - name: collect-consumer image: mrsuh/rent-collector:1.3.1 envFrom: - configMapRef: name: collector-configmap-1.1.0 - secretRef: name: collector-secrets-1.0.0 

• गुप्त - गुप्त कॉन्फ़िगरेशन (पासवर्ड, चाबियाँ, टोकन) का भंडारण।
• लेबल - कुंजी / मूल्य जोड़े जिन्हें k8 घटकों को सौंपा गया है, उदाहरण के लिए, पॉड।
  K8s के साथ परिचित होने की शुरुआत में यह पूरी तरह से स्पष्ट नहीं हो सकता है कि लेबल का उपयोग कैसे करें। यहाँ वह विन्यास है जो लेबल के साथ काम करने के मूल सिद्धांतों की व्याख्या करता है:

 apiVersion: apps/v1 kind: Deployment #  Deployment metadata: name: deployment-name #  Deployment labels: app: deployment-label-app # Label Deployment spec: selector: matchLabels: app: pod-label-app # Label,   Deployment    Pods   template: metadata: name: pod-name labels: app: pod-label-app # Label Pod spec: containers: - name: container-name image: mrsuh/rent-parser:1.0.0 ports: - containerPort: 9080 --- apiVersion: v1 kind: Service #  Service metadata: name: service-name #  Service labels: app: service-label-app # Label Service spec: selector: #  Service   matchLabels,  Deployment,      Labels app: pod-label-app # Label,   Service ,   Pod    ports: - protocol: TCP port: 9080 type: NodePort 

इस कदम के लिए तैयारी कर रहा है

कार्यक्षमता ट्रिमिंग

सेवा को और अधिक स्थिर और पूर्वानुमेय बनाने के लिए, मुझे उन सभी अतिरिक्त घटकों को हटाना पड़ा जो खराब तरीके से काम करते थे और मुख्य लोगों को थोड़ा फिर से लिखते हैं।
इसलिए, मैंने मना करने का फैसला किया:

• वीके के अलावा अन्य साइटों के लिए पार्सिंग कोड;
• प्रॉक्सी घटक का अनुरोध करें;
• VKontakte और टेलीग्राम में नई घोषणाओं की सूचनाओं का घटक।

सेवा घटक

सभी परिवर्तनों के बाद, अंदर से सेवा इस तरह दिखने लगी:

• दृश्य - साइट पर विज्ञापनों की खोज और प्रदर्शन (NodeJS);
• पार्सर - विज्ञापन क्लासिफायरियर (गो);
• कलेक्टर - विज्ञापन एकत्र करना, प्रसंस्करण और हटाना (PHP):
  
  • क्रोन-एक्सप्लोर - एक सांत्वना टीम जो आवास को किराए पर देने के लिए VKontakte पर समूहों की तलाश कर रही है;
  • क्रोन-कलेक्ट - एक कंसोल कमांड, जो क्रोन द्वारा संकलित समूहों में जाता है-स्वयं विज्ञापन एकत्र करता है;
  • क्रॉन-डिलीट - एक कंसोल कमांड जो समाप्त घोषणाओं को हटाता है;
  • कंज्यूमर-पार्स - कतार हैंडलर, जो क्रोन-कलेक्ट से नौकरियां प्राप्त करता है। यह पार्सर घटक का उपयोग करके विज्ञापनों को वर्गीकृत करता है;
  • कंज्यूमर-कलेक्ट - कतार का हैंडलर जिसे उपभोक्ता-पार्स से काम मिलता है। यह खराब और डुप्लिकेट विज्ञापनों को फ़िल्टर करता है।

Docker Images का निर्माण करें

घटकों को प्रबंधित करने और उन्हें एकल शैली में मॉनिटर करने के लिए, मैंने निर्णय लिया:

• env चर में घटक विन्यास रखो,
• stdout में लॉग लिखें।

छवियों में कुछ भी विशिष्ट नहीं है।

K8s विन्यास विकास

इसलिए मुझे डॉकर छवियों में घटक मिले, और मैंने k8s कॉन्फ़िगरेशन को विकसित करना शुरू कर दिया।

सभी घटक जो डेमन के रूप में काम करते हैं, उन्हें परिनियोजन में हाइलाइट किया गया है। प्रत्येक डेमॉन को क्लस्टर के भीतर सुलभ होना चाहिए, इसलिए सभी के पास एक सेवा है। सभी कार्य जिन्हें क्रोनजोब में समय-समय पर किया जाना चाहिए।

सभी स्टैटिक्स (चित्र, js, css) व्यू कंटेनर में संग्रहीत किए जाते हैं, और नग्नेक्स कंटेनर को इसे वितरित करना चाहिए। दोनों कंटेनर एक पॉड में हैं। पॉड में फाइल सिस्टम को फंबल नहीं किया गया है, लेकिन पॉड के शुरू होने पर आप सभी स्टेटिक्स को खाली कर सकते हैं और दोनों कंटेनरों को कॉमन कर सकते हैं। यह फ़ोल्डर विभिन्न कंटेनरों के लिए साझा किया जाएगा, लेकिन केवल एक पॉड के अंदर।

 apiVersion: apps/v1 kind: Deployment metadata: name: view spec: selector: matchLabels: app: view replicas: 1 template: metadata: labels: app: view spec: volumes: - name: view-static emptyDir: {} containers: - name: nginx image: mrsuh/rent-nginx:1.0.0 - name: view image: mrsuh/rent-view:1.1.0 volumeMounts: - name: view-static mountPath: /var/www/html lifecycle: postStart: exec: command: ["/bin/sh", "-c", "cp -r /app/web/. /var/www/html"] 

कलेक्टर घटक का उपयोग परिनियोजन और क्रोनजोब में किया जाता है।

ये सभी घटक VKontakte API को एक्सेस करते हैं और साझा एक्सेस टोकन को कहीं स्टोर करना चाहिए।
इसके लिए, मैंने PersistentVolumeClaim का उपयोग किया, जिसे मैंने प्रत्येक पॉड से जोड़ा। ऐसा फ़ोल्डर विभिन्न पॉड्स के लिए साझा किया जाएगा, लेकिन केवल एक नोड के अंदर।

 apiVersion: apps/v1 kind: Deployment metadata: name: collector spec: selector: matchLabels: app: collector replicas: 1 template: metadata: labels: app: collector spec: volumes: - name: collector-persistent-storage persistentVolumeClaim: claimName: collector-pv-claim containers: - name: collect-consumer image: mrsuh/rent-collector:1.3.1 volumeMounts: - name: collector-persistent-storage mountPath: /tokenStorage command: ["php"] args: ["bin/console", "app:consume", "--channel=collect"] - name: parse-consumer image: mrsuh/rent-collector:1.3.1 volumeMounts: - name: collector-persistent-storage mountPath: /tokenStorage command: ["php"] args: ["bin/console", "app:consume", "--channel=parse"] 

PersistentVolumeClaim डेटाबेस डेटा को संग्रहीत करने के लिए भी उपयोग किया जाता है। नतीजतन, हमें ऐसी योजना मिली (एक घटक के पॉड्स ब्लॉकों में एकत्र किए जाते हैं):

K8s क्लस्टर परिनियोजन

आरंभ करने के लिए, मैंने मिनिक्यूब का उपयोग करते हुए स्थानीय रूप से क्लस्टर को तैनात किया।
बेशक, कुछ गलतियाँ थीं, इसलिए टीमों ने मेरी बहुत मदद की।

 kubectl logs -f pod-name kubectl describe pod pod-name 

जब मैंने सीखा कि मिनिक्यूब में एक क्लस्टर को कैसे तैनात किया जाए, तो मेरे लिए इसे डिजिटल ऑयन में तैनात करना मुश्किल नहीं था।

निष्कर्ष में, मैं कह सकता हूं कि सेवा 2 महीने से स्थिर है। पूर्ण विन्यास यहां पाया जा सकता है ।