सर्वर रहित सीआई / सीडी एडब्ल्यूएस पर

यह अच्छा होगा यदि कॉपी-पेस्ट तैनाती अतीत की बात थी, लेकिन, अफसोस, चीजें अलग हैं। ऐसा होता है कि डेवलपर्स केवल इस तरह की डिलीवरी पद्धति पसंद करते हैं। हालाँकि अब इस बारे में एक लेख लिखें कि यह चर्चा क्यों नहीं है, लेकिन आप मेरे बिना सब कुछ जानते हैं। सर्वर रहित आर्किटेक्चर की ओर रुझान के साथ, सीआई / सीडी पाइपलाइन आवेदन वितरण में महत्वपूर्ण भूमिका निभाते हैं। मैंने उनके बारे में लेख में भी लिखा था " आपके अगले सर्वरलेस प्रोजेक्ट के लिए 3 बेहतरीन टिप्स ।"

मैं एक लंबे समय पहले CI और CD के विषय में रुचि रखता था, और पहली बार मैं कई साल पहले इस पर आया था - TeamCity का धन्यवाद। वर्तमान में, TeamCity का उपयोग अभी भी हमारे CI / CD पाइपलाइनों में से अधिकांश के लिए किया जाता है। टीमसिटी महान काम करती है, मेरे पास इसके खिलाफ कुछ भी नहीं है, लेकिन मैं हमेशा काम को बेहतर बनाने का प्रयास करता हूं। उदाहरण के लिए, कोड के रूप में पाइपलाइनों को इकट्ठा करना अच्छा होगा - यह उन क्षेत्रों में से एक है जिसमें टीमसिटी इतना अच्छा नहीं है।

मैंने कुछ समय पहले AWS पर एकीकरण और वितरण उपकरण सीखे थे, और यद्यपि हम EC2 पर काम करने वाली किसी अन्य परियोजना के लिए कोडडिप्लॉय का उपयोग करते हैं, मैंने अभी तक उनके साथ सर्वर रहित परियोजना को तैनात नहीं किया है। फिर से उपकरणों की समीक्षा करने के बाद, मैंने इस पर ध्यान दिया: अब क्लाउड एफ़ॉर्मेशन और लैम्ब्डा को तैनात करने के लिए एक अंतर्निहित एकीकरण फ़ंक्शन है, संभवतः सैम एडब्ल्यूएस पर आधारित है; हम सर्वर रहित ढांचे का उपयोग करते हैं - यह CloudFormation टेम्प्लेट उत्पन्न करता है, लेकिन यह AWS टूल के साथ बॉक्स से बाहर काम नहीं करता है।

ट्रेनिंग

मैं निम्नलिखित AWS सेवाओं का उपयोग करता हूं: EC2, Docker, ECR, S3, IAM, CodeBuild, CodePipeline, CloudWatch, CloudTrail। रखने के लिए, आपको कम से कम एक बुनियादी स्तर पर समझने की आवश्यकता है कि इनमें से प्रत्येक सेवा क्या करती है।

मूल रूप से, मैं .NET में सर्वर साइड कोड लिखता हूं, और यह गाइड भी इस प्लेटफॉर्म पर निर्भर करता है। Prebuilt CodeBuild छवियों में से कोई एक ही समय में एक .NET और NodeJS रनटाइम है (सर्वर रहित ढांचे के लिए NodeJS की आवश्यकता है)। यदि आपके लैम्ब्डा फ़ंक्शन को NodeJS में लिखा गया है, परिनियोजन पाइपलाइन को कॉन्फ़िगर करना बहुत सरल है, क्योंकि डॉक छवि में स्थापना के लिए यह एकमात्र रनटाइम वातावरण है (यदि आपका मामला है, तो बेझिझक अधिकांश मैनुअल को छोड़ दें)। एक दूसरे के लिए, कंटेनरों के साथ यह मेरा पहला अनुभव था, और मुझे कुछ नया सीखने की खुशी है।

मैं यह मानने की हिम्मत करता हूं कि आपका कोड एक निश्चित भंडार में है, उदाहरण के लिए, git। मार्गदर्शन के लिए, हम बस एस 3 में एक फाइल अपलोड करते हैं जिसमें तैनाती के लिए कोड का एक पैकेज होता है; आप कैसे प्राप्त करते हैं यह आपके ऊपर है। मेरे काम के आधार पर, आप हमेशा अपनी पाइपलाइन को रिपॉजिटरी जैसे कि गीथूब या कोडकॉमिट से जोड़कर आगे बढ़ सकते हैं।

1. एक EC2 उदाहरण बनाएं और डॉकर स्थापित करें

AWS Linux 2 EC2 का एक मानक उदाहरण चलाएं - यह स्पष्टीकरण के बिना स्पष्ट होना चाहिए। लॉग इन करें और आदेशों का उपयोग करके डॉकर स्थापित करें:

sudo yum update -y sudo amazon-linux-extras install docker sudo service docker start 

आपको sudo का उपयोग किए बिना Docker कमांड को निष्पादित करने के लिए उपयोगकर्ता ec2 को docker समूह में जोड़ने की आवश्यकता है:

 sudo usermod -a -G docker ec2-user 

जब आदेश पूरा हो जाता है, तो लॉग आउट करें और अपने EC2 उदाहरण में वापस लॉग इन करें ताकि ec2 उपयोगकर्ता को नई अनुमतियाँ प्राप्त हों। सुनिश्चित करें कि ec2 उपयोगकर्ता बिना डॉक्स कमांड चलाता है:

 docker info 

docker info आउटपुट

2. एक डॉकर छवि बनाएं और इसे ईसीआर में रखें

मान लीजिए कि पिछला चरण सफल है; अगला कदम ईसीआर में फिट होने वाली डॉकर छवि बनाना है। AWS कोडबुक के लिए बुनियादी चित्र गितुब पर प्रदान करता है, और इससे आपकी स्वयं की छवि बनाना आसान हो जाता है।

मैंने छवि को गितुब पर भी पोस्ट किया है - यदि आप अपना स्वयं का बनाने के लिए इन चरणों का पालन नहीं करना चाहते हैं: https://github.com/effectivedigital/serverless-deployment-image

छवियों को कॉपी करें और .NET कोर 2.1 निर्देशिका पर जाएं:

 git clone https://github.com/aws/aws-codebuild-docker-images.git cd aws-codebuild-docker-images cd ubuntu/dot-net/core-2.1/ 

अपने पसंदीदा पाठ संपादक में Dockerfile खोलें:

 nano Dockerfile 

Dodeerfile में पहले से उपलब्ध अन्य आदेशों के अंत में NodeJS और सर्वर रहित ढांचे को स्थापित करने के लिए कमांड जोड़ें। मुझे इनमें से अधिकांश कमांड एक ही AWS रिपॉजिटरी में NodeJS डॉकर छवि से मिलीं:

 # Install Node Dependencies ENV NODE_VERSION="10.14.1" # gpg keys listed at https://github.com/nodejs/node#release-team RUN set -ex \ && for key in \ 94AE36675C464D64BAFA68DD7434390BDBE9B9C5 \ B9AE9905FFD7803F25714661B63B535A4C206CA9 \ 77984A986EBC2AA786BC0F66B01FBB92821C587A \ 56730D5401028683275BD23C23EFEFE93C4CFFFE \ 71DCFD284A79C3B38668286BC97EC7A07EDE3FC1 \ FD3A5288F042B6850C66B31F09FE44734EB7990E \ 8FCCA13FEF1D0C2E91008E09770F7A9A5AE15600 \ C4F0DFFF4E8C1A8236409D08E73BC641CC11F4C8 \ DD8F2338BAE7501E3DD5AC78C273792F7D83545D \ 4ED778F539E3634C779C87C6D7062848A1AB005C \ A48C2BEE680E841632CD4E44F07496B3EB3C1762 \ ; do \ gpg - keyserver hkp://p80.pool.sks-keyservers.net:80 - recv-keys "$key" || \ gpg - keyserver hkp://ipv4.pool.sks-keyservers.net - recv-keys "$key" || \ gpg - keyserver hkp://pgp.mit.edu:80 - recv-keys "$key" ; \ done RUN set -ex \ && wget "https://nodejs.org/download/release/v$NODE_VERSION/node-v$NODE_VERSION-linux-x64.tar.gz" -O node-v$NODE_VER$ && wget "https://nodejs.org/download/release/v$NODE_VERSION/SHASUMS256.txt.asc" -O SHASUMS256.txt.asc \ && gpg - batch - decrypt - output SHASUMS256.txt SHASUMS256.txt.asc \ && grep " node-v$NODE_VERSION-linux-x64.tar.gz\$" SHASUMS256.txt | sha256sum -c - \ && tar -xzf "node-v$NODE_VERSION-linux-x64.tar.gz" -C /usr/local - strip-components=1 \ && rm "node-v$NODE_VERSION-linux-x64.tar.gz" SHASUMS256.txt.asc SHASUMS256.txt \ && ln -s /usr/local/bin/node /usr/local/bin/nodejs \ && rm -fr /var/lib/apt/lists/* /tmp/* /var/tmp/* RUN npm set unsafe-perm true CMD [ "node" ] # Install Serverless Framework RUN set -ex \ && npm install -g serverless 

अब हम छवि को एकत्र करते हैं और टैग करते हैं:

 docker build -t aws/codebuild/dot-net . 

विधानसभा को पूरा करने के बाद, छवि को चलाएं - सुनिश्चित करें कि सब कुछ काम करता है और सर्वर रहित रूपरेखा सही ढंग से स्थापित है:

 docker run -it --entrypoint sh aws/codebuild/dot-net -c bash sls -v 

रनिंग sls -v एक ब्रांड के नए कंटेनर के अंदर

फिर AWS CLI का उपयोग करके ECR में रिपॉजिटरी बनाएं। कमांड चलाने के बाद, नया रिपॉजिटरी AWS कंसोल में प्रदर्शित होगी:

 aws ecr create-repository --repository-name codebuild-dotnet-node 

ईसीआर में रिपोजिटरी बनाने के लिए एडब्ल्यूएस सीएलआई प्रतिक्रिया

अब पिछले चरण से मान रिपॉजिटरी यूरी के साथ पहले निर्मित aws / codebuild / dot-net छवि को चिह्नित करें:

 docker tag aws/codebuild/dot-net <ACCOUNTID>.dkr.ecr.ap-southeast-2.amazonaws.com/codebuild-dotnet-node 

कंटेनर रजिस्ट्री के लिए docker login प्रमाणीकरण कमांड लाइन प्राप्त करने के लिए get-login कमांड चलाएँ:

 aws ecr get-login --no-include-email 

अंतिम चरण के दौरान गेट-लॉगिन आदेश द्वारा जारी किए गए docker लॉगिन कमांड को चलाएं।

 docker login -u AWS -p eyJwYXlsb2FkIjoiNGZnd0dSaXM1L2svWWRLMmhJT1c0WWpOZEcxamJFeFJOK2VvT0Y5[...] https://<ACCOUNTID>.dkr.ecr.ap-southeast-2.amazonaws.com 

यदि लॉगिन सफल है, तो ECR में बनाए गए रिपॉजिटरी में docker की इमेज डालें। इसमें कई मिनट लग सकते हैं (पूर्ण छवि के आकार के आधार पर)।

 docker push <ACCOUNTID>.dkr.ecr.ap-southeast-2.amazonaws.com/codebuild-dotnet-node 

EC2 पर डॉकर हमारी छवि बनाता है

ईसीआर में डॉकर छवि

फिर हम ECR से किसी तक भी इमेज को खोल सकते हैं। काम के माहौल में अनुमति को अवरुद्ध किया जाना चाहिए, लेकिन इस उदाहरण में हम इसे खोलेंगे। AWS कंसोल में अनुमति टैब पर जाएं, "JSON नीति बदलें" चुनें और पॉलिसी में निम्नलिखित तत्व डालें:

 { "Version": "2008-10-17", "Statement": [ { "Sid": "EnableAccountAccess", "Effect": "Allow", "Principal": "*", "Action": [ "ecr:BatchCheckLayerAvailability", "ecr:BatchGetImage", "ecr:DescribeImages", "ecr:DescribeRepositories", "ecr:GetAuthorizationToken", "ecr:GetDownloadUrlForLayer", "ecr:GetRepositoryPolicy", "ecr:ListImages" ] } ] } 

3. एक पाइपलाइन बनाएं

पाइपलाइन एकत्र करने का समय आ गया है। प्रक्रिया को सरल बनाने के लिए, इसे बहु-तैनाती योग्य बनाएं, और सर्वर रहित वास्तुकला के विनाशकारी रूप से चिपके रहें, मैंने सर्वर रहित ढांचे का उपयोग करके एक पाइपलाइन का निर्माण किया। आप CloudFormation में निर्माण करके उसी परिणाम को प्राप्त कर सकते हैं।

मैं अपने serverless.yml फ़ाइल से पूरे स्रोत की नकल नहीं करूँगा - इसे github से कॉपी करूंगा: https://github.com/effectivedigital/serverless-deployment-pipeline

सर्वर रहित टेम्पलेट देखें कि वह क्या करेगा, लेकिन यह संक्षेप में, यह निम्नलिखित आइटम सेट करता है:

• 3 खंड S3
• 1 खंड नीति
• 3 आईएएम भूमिकाएं
• 1 CodeBuild परियोजना
• 1 पाइपलाइन कोडपिपलाइन
• 1 CloudWatch घटना
• CloudTrail का 1 ट्रेस

फिर ECR में अपनी छवि के लिए DockerImageArn को अपडेट करें। यदि आप परिनियोजन.zip के अलावा किसी अन्य नाम से परिनियोजन पैकेज बनाना चाहते हैं, तो परिनियोजन नाम बदलें :

 DockerImageArn: <ACCOUNTID>.dkr.ecr.ap-southeast-2.amazonaws.com/codebuild-dotnet-node:latest DeploymentFilename: Deployment.zip 

यही है, पाइपलाइन तैनाती के लिए तैयार है। सर्वर रहित परिनियोजन आदेश चलाएँ, और उसके कॉन्फ़िगर होने तक प्रतीक्षा करें:

 sls deploy -v 

सर्वर रहित ढांचा बनाया गया CloudFormation

सर्वर रहित फ्रेमवर्क पाइपलाइन कोडिपलाइन द्वारा बनाया गया

सर्वर रहित फ्रेमवर्क प्रोजेक्ट कोडबिल्ड प्रोजेक्ट द्वारा बनाया गया

4. अपने आवेदन में buildSpec.yml जोड़ें

जब CodePipeline S3 में परिनियोजन फ़ाइल में परिवर्तन का पता लगाता है, तो यह CodeBuild को शुरू करने और एप्लिकेशन को बनाने और तैनात करने का प्रयास करने के लिए कहता है। हालाँकि, CodeBuild को यह भी पता होना चाहिए कि एप्लिकेशन को बनाने और तैनात करने के लिए किन कमांड्स को निष्पादित किया जाना चाहिए, और buildSpec.yml में निर्देश हैं जो CodeBuild का पालन करेगा।

मैंने एक बहुत ही सरल "हैलो वर्ल्ड" एप्लिकेशन बनाया जिसमें एक उदाहरण buildSpec.yml फ़ाइल शामिल है जिसे आप उपयोग कर सकते हैं: https://github.com/effectivedigital/serverless-deployment-app
या मौजूदा ऐप्लिकेशन में buildSpec.yml फ़ाइल बनाएं और नीचे दिए गए निर्देशों के अनुसार भरें:

 version: 0.2 phases: pre_build: commands: - chmod a+x * build: commands: - ./build.sh post_build: commands: - sls deploy -v -s $STAGE 

5. पाइपलाइन की जाँच

अब आपकी पाइपलाइन के पहले लॉन्च के लिए सब कुछ तैयार है। परिनियोजन.ज़िप नामक एक पैकेज बनाएँ, इसमें आपके सर्वर रहित एप्लिकेशन और बिल्डस्पीक.आईएमएल फ़ाइल के लिए सभी फाइलें शामिल होनी चाहिए।

कुछ क्षणों के बाद, CloudTrail को एक PutObject इवेंट पंजीकृत करना चाहिए और CloudWatch इवेंट नियम को सक्रिय करना चाहिए, जो तब CodePipeline ट्रिगर को सक्रिय करता है।

परिनियोजन। ज़िप S3 में बूट किया गया

कोडपिपलाइन लॉन्च, बिल्ड चालू है

यदि हम AWS कोडबल्ड स्टेप के विवरण पर आगे बढ़ते हैं, तो हम निर्माण और परिनियोजन प्रक्रिया देख सकते हैं:

CodeBuild निर्माण और डॉक छवि की तैनाती से उत्पादन प्राप्त होगा

सफल तैनाती!

हमारी पाइपलाइन द्वारा तैनात नया एप्लिकेशन CloudFormation में भी दिखाई देता है:

आप हमारे साधारण एप्लिकेशन में बनाए गए एपीआई एंडपॉइंट का परीक्षण कर सकते हैं (URL कोडबील आउटपुट में या गेटवे एपीआई में है) और सुनिश्चित करें कि एप्लिकेशन सफलतापूर्वक काम करता है:

एपीआई कॉल करने के लिए पोस्टमैन

संक्षिप्त निष्कर्ष

CodePipeline आपको एक स्केलेबल, लचीली और सस्ती CI / CD पाइपलाइन बनाने की अनुमति देता है। यह सर्वरों पर बनाई गई पारंपरिक पाइपलाइनों से जुड़ी कुछ समस्याओं को हल करने में मदद करता है।
मैं आगे जाना चाहता हूं और मिश्रण में तैनाती के बाद इकाई परीक्षण जोड़ना चाहता हूं, लेकिन विषय एक अलग लेख के हकदार हैं - और यह भविष्य में हमें पढ़ने का अवसर है!