Kubernetes में KubeDirector जटिल स्टेटफुल एप्लिकेशन चलाने का एक आसान तरीका है

लगभग। ट्रांस। उ: मूल लेख ब्लूडेटा के प्रतिनिधियों द्वारा लिखा गया था, जो वीएमवेयर के लोगों द्वारा स्थापित कंपनी थी। वह बिग डेटा एनालिटिक्स और विभिन्न वातावरणों में मशीन सीखने के लिए समाधानों को तैनात करना आसान (आसान, तेज, सस्ता) बनाने में माहिर हैं। BlueK8s नामक कंपनी की हालिया पहल, जिसमें लेखक ओपन सोर्स टूल्स की एक आकाशगंगा को इकट्ठा करना चाहते हैं "राज्य अनुप्रयोगों को तैनात करने और कुबेरनेट्स में उन्हें प्रबंधित करने के लिए," इसे भी योगदान देने के लिए कहा जाता है। लेख उनमें से पहले को समर्पित है - क्यूबडायरेक्टर, जो लेखकों के अनुसार बिग डेटा के क्षेत्र में एक उत्साही की मदद करता है, जिनके पास Kubernetes में विशेष प्रशिक्षण नहीं है, K8s में स्पार्क, कैसेंड्रा या हिसॉप जैसे अनुप्रयोगों को तैनात करता है। यह कैसे करना है पर संक्षिप्त निर्देश लेख में प्रदान किए गए हैं। हालांकि, ध्यान रखें कि परियोजना की प्रारंभिक तत्परता की स्थिति है - पूर्व-अल्फ़ा।



KubeDirector एक ओपन सोर्स प्रोजेक्ट है जिसे कुबेरनेट्स में जटिल स्केलेबल स्टेटफुल एप्लिकेशन से क्लस्टर्स के लॉन्च को सरल बनाने के लिए बनाया गया है। KubeDirector को कस्टम रिसोर्स डेफिनिशन (CRD) फ्रेमवर्क का उपयोग करके लागू किया गया है, देशी Kubernetes API एक्सटेंशन क्षमताओं का उपयोग करता है और उनके दर्शन पर निर्भर करता है। यह दृष्टिकोण कुबेरनेट्स में उपयोगकर्ता और संसाधन प्रबंधन के साथ-साथ मौजूदा ग्राहकों और उपयोगिताओं के साथ पारदर्शी एकीकरण प्रदान करता है।

हाल ही में घोषित कुबडायरेक्टर परियोजना ब्लूके 8 के नाम से कुबेरनेट्स के लिए एक बड़ी ओपन सोर्स पहल का हिस्सा है। अब मुझे शीघ्र (पूर्व-अल्फ़ा) KubeDirector कोड की उपलब्धता की घोषणा करते हुए प्रसन्नता हो रही है। यह पोस्ट दिखाएगा कि यह कैसे काम करता है।

KubeDirector निम्नलिखित विशेषताएं प्रदान करता है:

• कुबेरनेट्स से क्लाउड देशी के अलावा अन्य राज्य अनुप्रयोगों को चलाने के लिए कोड को संशोधित करने की आवश्यकता नहीं है। दूसरे शब्दों में, microservice वास्तुकला पैटर्न से मेल करने के लिए मौजूदा अनुप्रयोगों को विघटित करने की आवश्यकता नहीं है।
• अनुप्रयोग-विशिष्ट कॉन्फ़िगरेशन और स्थिति को संग्रहीत करने के लिए मूल समर्थन।
• एप्लिकेशन-स्वतंत्र परिनियोजन पैटर्न जो कुबेरनेट्स में नए स्टेटफुल एप्लिकेशन के स्टार्टअप समय को कम करता है।

क्यूबडायरेक्टर डेटा वैज्ञानिकों को गहन डेटा प्रोसेसिंग, जैसे कि Hadoop, Spark, Cassandra, TensorFlow, Caffe2 इत्यादि के साथ वितरित अनुप्रयोगों के आदी होने देता है, उन्हें Kubernetes में उन्हें कम से कम वक्र और गो पर कोड लिखने की आवश्यकता के बिना चलाने के लिए। जब इन अनुप्रयोगों को KubeDirector द्वारा नियंत्रित किया जाता है, तो उन्हें सरल मेटाडेटा और कॉन्फ़िगरेशन के संबद्ध सेट द्वारा परिभाषित किया जाता है। एप्लिकेशन मेटाडेटा को KubeDirectorApp संसाधन के रूप में परिभाषित किया गया है।

KubeDirector के घटकों को समझने के लिए, GitHub पर रिपॉजिटरी को निम्न जैसे कमांड के साथ क्लोन करें:

 git clone http://<userid>@github.com/bluek8s/kubedirector. 

स्पार्क 2.2.1 आवेदन के लिए KubeDirectorApp परिभाषा kubedirector/deploy/example_catalog/cr-app-spark221e2.json :

  ~> cat kubedirector/deploy/example_catalog/cr-app-spark221e2.json 

  { "apiVersion": "kubedirector.bluedata.io/v1alpha1", "kind": "KubeDirectorApp", "metadata": { "name" : "spark221e2" }, "spec" : { "systemctlMounts": true, "config": { "node_services": [ { "service_ids": [ "ssh", "spark", "spark_master", "spark_worker" ], … 

अनुप्रयोग क्लस्टर कॉन्फ़िगरेशन को KubeDirectorCluster संसाधन के रूप में परिभाषित किया गया है।

स्पार्क 2.2.1 क्लस्टर उदाहरण के लिए KubeDirectorCluster परिभाषा kubedirector/deploy/example_clusters/cr-cluster-spark221.e1.yaml :

 ~> cat kubedirector/deploy/example_clusters/cr-cluster-spark221.e1.yaml 

 apiVersion: "kubedirector.bluedata.io/v1alpha1" kind: "KubeDirectorCluster" metadata: name: "spark221e2" spec: app: spark221e2 roles: - name: controller replicas: 1 resources: requests: memory: "4Gi" cpu: "2" limits: memory: "4Gi" cpu: "2" - name: worker replicas: 2 resources: requests: memory: "4Gi" cpu: "2" limits: memory: "4Gi" cpu: "2" - name: jupyter … 

Kubernetes पर KubDirector के साथ स्पार्क लॉन्च करें

Kubernetes में KubeDirector के साथ स्पार्क क्लस्टर शुरू करना आसान है।

सबसे पहले, सुनिश्चित करें कि कुबेरनेट kubectl version कमांड का उपयोग करके (संस्करण 1.9 या अधिक) चल रहा है:

 ~> kubectl version Client Version: version.Info{Major:"1", Minor:"11", GitVersion:"v1.11.3", GitCommit:"a4529464e4629c21224b3d52edfe0ea91b072862", GitTreeState:"clean", BuildDate:"2018-09-09T18:02:47Z", GoVersion:"go1.10.3", Compiler:"gc", Platform:"linux/amd64"} Server Version: version.Info{Major:"1", Minor:"11", GitVersion:"v1.11.3", GitCommit:"a4529464e4629c21224b3d52edfe0ea91b072862", GitTreeState:"clean", BuildDate:"2018-09-09T17:53:03Z", GoVersion:"go1.10.3", Compiler:"gc", Platform:"linux/amd64"} 

निम्न आदेशों का उपयोग करते हुए KubeDirector सेवा और नमूना KubeDirectorApp संसाधन KubeDirectorApp करें:

 cd kubedirector make deploy 

परिणामस्वरूप, यह KubeDirector के साथ शुरू होगा:

 ~> kubectl get pods NAME READY STATUS RESTARTS AGE kubedirector-58cf59869-qd9hb 1/1 Running 0 1m 

Kubectl चलाकर kubectl get KubeDirectorApp में स्थापित अनुप्रयोगों की सूची देखें kubectl get KubeDirectorApp :

 ~> kubectl get KubeDirectorApp NAME AGE cassandra311 30m spark211up 30m spark221e2 30m 

अब आप KubeDirectorCluster और kubectl create -f deploy/example_clusters/cr-cluster-spark211up.yaml लिए नमूना फ़ाइल का उपयोग करके स्पार्क 2.2.1 क्लस्टर शुरू कर सकते हैं। जांचें कि यह शुरू हो गया है:

 ~> kubectl get pods NAME READY STATUS RESTARTS AGE kubedirector-58cf59869-djdwl 1/1 Running 0 19m spark221e2-controller-zbg4d-0 1/1 Running 0 23m spark221e2-jupyter-2km7q-0 1/1 Running 0 23m spark221e2-worker-4gzbz-0 1/1 Running 0 23m spark221e2-worker-4gzbz-1 1/1 Running 0 23m 

स्पार्क भी चल रही सेवाओं की सूची में दिखाई दिया:

 ~> kubectl get service NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubedirector ClusterIP 10.98.234.194 <none> 60000/TCP 1d kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 1d svc-spark221e2-5tg48 ClusterIP None <none> 8888/TCP 21s svc-spark221e2-controller-tq8d6-0 NodePort 10.104.181.123 <none> 22:30534/TCP,8080:31533/TCP,7077:32506/TCP,8081:32099/TCP 20s svc-spark221e2-jupyter-6989v-0 NodePort 10.105.227.249 <none> 22:30632/TCP,8888:30355/TCP 20s svc-spark221e2-worker-d9892-0 NodePort 10.107.131.165 <none> 22:30358/TCP,8081:32144/TCP 20s svc-spark221e2-worker-d9892-1 NodePort 10.110.88.221 <none> 22:30294/TCP,8081:31436/TCP 20s 

यदि आप अपने ब्राउज़र में पोर्ट 31533 एक्सेस करते हैं, तो आप स्पार्क मास्टर UI देख सकते हैं:



वह सब है! ऊपर के उदाहरण में, स्पार्क क्लस्टर के अलावा, हमने जुपिटर नोटबुक भी तैनात किया।

एक और एप्लिकेशन शुरू करने के लिए (उदाहरण के लिए, कैसेंड्रा) सिर्फ KubeDirectorApp साथ एक और फाइल निर्दिष्ट करें:

 kubectl create -f deploy/example_clusters/cr-cluster-cassandra311.yaml 

सत्यापित करें कि कैसंड्रा क्लस्टर शुरू हो गया है:

 ~> kubectl get pods NAME READY STATUS RESTARTS AGE cassandra311-seed-v24r6-0 1/1 Running 0 1m cassandra311-seed-v24r6-1 1/1 Running 0 1m cassandra311-worker-rqrhl-0 1/1 Running 0 1m cassandra311-worker-rqrhl-1 1/1 Running 0 1m kubedirector-58cf59869-djdwl 1/1 Running 0 1d spark221e2-controller-tq8d6-0 1/1 Running 0 22m spark221e2-jupyter-6989v-0 1/1 Running 0 22m spark221e2-worker-d9892-0 1/1 Running 0 22m spark221e2-worker-d9892-1 1/1 Running 0 22m 

कुबेरनेट्स अब स्पार्क क्लस्टर (ज्यूपिटर नोटबुक के साथ) और कैसंड्रा क्लस्टर चलाता है। सेवाओं की सूची को kubectl get service आदेश के साथ देखा जा सकता है:

 ~> kubectl get service NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubedirector ClusterIP 10.98.234.194 <none> 60000/TCP 1d kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 1d svc-cassandra311-seed-v24r6-0 NodePort 10.96.94.204 <none> 22:31131/TCP,9042:30739/TCP 3m svc-cassandra311-seed-v24r6-1 NodePort 10.106.144.52 <none> 22:30373/TCP,9042:32662/TCP 3m svc-cassandra311-vhh29 ClusterIP None <none> 8888/TCP 3m svc-cassandra311-worker-rqrhl-0 NodePort 10.109.61.194 <none> 22:31832/TCP,9042:31962/TCP 3m svc-cassandra311-worker-rqrhl-1 NodePort 10.97.147.131 <none> 22:31454/TCP,9042:31170/TCP 3m svc-spark221e2-5tg48 ClusterIP None <none> 8888/TCP 24m svc-spark221e2-controller-tq8d6-0 NodePort 10.104.181.123 <none> 22:30534/TCP,8080:31533/TCP,7077:32506/TCP,8081:32099/TCP 24m svc-spark221e2-jupyter-6989v-0 NodePort 10.105.227.249 <none> 22:30632/TCP,8888:30355/TCP 24m svc-spark221e2-worker-d9892-0 NodePort 10.107.131.165 <none> 22:30358/TCP,8081:32144/TCP 24m svc-spark221e2-worker-d9892-1 NodePort 10.110.88.221 <none> 22:30294/TCP,8081:31436/TCP 24m 

अनुवादक से पी.एस.

यदि आप KubeDirector प्रोजेक्ट में रुचि रखते हैं, तो आपको इसके विकी पर भी ध्यान देना चाहिए। दुर्भाग्य से, सार्वजनिक रोडमैप खोजना संभव नहीं था, हालांकि प्रोजेक्ट के विकास और इसके मुख्य डेवलपर्स के विचारों पर गिटहब शेड पर प्रकाश डाला गया। इसके अलावा, क्यूबडायरेक्टर में रुचि रखने वालों के लिए, लेखक स्लैक चैट और ट्विटर पर लिंक प्रदान करते हैं।

हमारे ब्लॉग में भी पढ़ें:

• " कुबेरनेट्स के लिए ऑपरेटर्स: स्टेटफुल एप्लिकेशन कैसे चलाएं ";
• " रूब एक" स्व-सेवा "कुबेरनेट्स के लिए डेटा वेयरहाउस " है;
• " कुबेरनेट्स टिप्स एंड ट्रिक्स: बड़े डेटाबेस के बूटस्ट्रैप को तेज करना ";
• " कुबेरनेट्स के साथ काम करते समय उपयोगी उपयोगिताएँ ";
• " कुबेरनेट कंसोल उपयोगिता के माध्यम से कुबेरनेट्स के साथ काम करते समय उपयोगी कमांड और टिप्स ";
• " कुबेरनेट्स में स्नैपशॉट वॉल्यूम के अल्फा संस्करण को जानने के लिए ";
• " लॉगहाउस का परिचय, कुबेरनेट्स के लिए ओपन सोर्स लॉगिंग सिस्टम ।"