कोड को सीधे docker कंटेनर में तैनात करें। या फिर प्रत्येक कमिट के बाद कैसे न करें

कार्य WEB-12982 आया
रिपॉजिटरी में एक वेब-12982 शाखा बनाएं
जबकि शाखा जा रही है, tz पढ़ें और कॉफी पीएँ
सीधे विकास के लिए आगे बढ़ें

git कमिट, git पुश
जबकि शाखा पुनर्मिलन है
git कमिट, git पुश
जबकि शाखा का पुनर्निर्माण किया जाता है, ट्विटर को फ़्लिप किया जाता है
git कमिट, git पुश
...
आप 50 कमिट्स के साथ एक समीक्षा शाखा सौंपते हैं

आप समझते हैं कि 50 कमिट शुद्ध समय का 50 मिनट है, जो फिट और शुरू में एकत्र किया जाता है, क्योंकि 1 मिनट का अंतराल शिथिलता और बुनियादी जरूरतों के अलावा कुछ भी करने के लिए बहुत छोटा है।

क्या स्थिति परिचित है? मेरी कंपनी में, विकास बुनियादी ढाँचा इस प्रकार है:

• हितलाब में कई प्रोजेक्ट रिपॉजिटरी हैं
• नई शाखा बनाते समय विकास में आसानी सुनिश्चित करने के लिए, डॉकर्स स्वचालित रूप से एक अद्वितीय पते पर अपना सैंडबॉक्स बनाते हैं, सभी आवश्यक वातावरण के साथ मूल शाखा की एक पूरी प्रति।
• आपको जो कुछ भी चाहिए वह तैयार है - बस कोड लिखें और प्रत्येक प्रतिबद्ध के बाद परिणाम का परीक्षण-मूल्यांकन करें, यह बहुत सुविधाजनक है!

लेकिन, धीरे-धीरे ... यदि यह स्थिति आपके करीब है, तो बिल्ली के नीचे आपका स्वागत है।

• समस्या का सार
• समाधान के विकल्प
• समाधान कार्यान्वयन

समस्या का सार

tldr: कोड में किए गए परिवर्तनों को कंटेनरों को फिर से भरने और एक मिनट से अधिक समय व्यतीत करने की आवश्यकता होती है, यह परियोजना पर निर्भर करता है, खासकर अगर CI \ CD कॉन्फ़िगर किया गया है), जो वास्तव में उपयोगी रूप से खर्च नहीं किया जा सकता है, लेकिन जो प्रोग्रामर के काम के समय से पूरी तरह से एक अच्छा हिस्सा लेता है।

मैंने पहले एक संबंधित विषय पर एक लेख प्रकाशित किया था, लेकिन डिबगिंग प्रक्रिया से संबंधित (वैसे, जानकारीपूर्ण टिप्पणियों और सकारात्मक प्रतिक्रिया के लिए धन्यवाद)। हालांकि, कटौती पर समस्या अनिवार्य रूप से गायब नहीं हुई है, हम तब तक इंतजार करना जारी रखते हैं जब तक कि शाखा पुन: प्राप्त नहीं हो जाती।

यहां तक ​​कि अगर आप अतिरिक्त चरणों को छोड़ देते हैं और केवल बिल्ड-देव और तैनाती-देव को छोड़ देते हैं, तो प्रतीक्षा समय किसी भी उपयोगी कार्यों के लिए महत्वहीन है, लेकिन खर्च किए गए कुल समय में महत्वपूर्ण रूप से, विशेषकर जब यह सीआई \ सीडी की बात आती है, उदाहरण के लिए, गिटलैब से।

बेशक, आप स्थानीय रूप से प्रोजेक्ट को असेंबल करके प्रक्रिया को गति दे सकते हैं, बशर्ते कि प्रोग्रामर के पास अपेक्षाकृत शक्तिशाली कंप्यूटर हो, गिटलैब-रनर कॉन्फ़िगर किया गया हो, रिमोट सर्वर पर भी उसी वातावरण को कॉन्फ़िगर किया गया हो, और संबंधित टैग्स को gllab-ci.yml में जोड़ा जाता है, लेकिन मुझे संदेह है कि बिल्ड स्पीड ctrl + s की के बाद ऑटोमैटिक FTP कोड परिनियोजन के समान होगी।

विशेष रूप से जलता है यह तब समाप्त हो जाता है जब विकास प्रक्रिया के दौरान आप टाइपो / त्रुटियां करते हैं जो आम तौर पर एप्लिकेशन के संचालन को प्रभावित नहीं करते हैं, लेकिन जिसे केवल उसी तरह नहीं छोड़ा जा सकता है और आप उन्हें केवल तभी नोटिस करते हैं जब आप विधानसभा के बाद परिणाम देखते हैं।

क्या आवश्यक है और समाधान विकल्प

tldr: अपने संपादन के परिणाम को यथासंभव सरलता से देखने का तरीका खोजें। हर बार प्रतिबद्ध नहीं होने के लिए और शाखा के पुनर्निर्माण के लिए इंतजार न करें। मैंने स्थानीय कंप्यूटर से कंटेनर फ़ोल्डर के साथ घुड़सवार रिमोट सर्वर फ़ोल्डर में rsync का चयन किया।

मुझे इंटरनेट पर संपूर्ण समाधान नहीं मिला, लेकिन वास्तव में कई विकल्प हैं:

• Ftp \ ssh को कन्टैंट बेस के साथ कन्टेनर में सीधे कॉन्फ़िगर करें, इसे इमेज में शामिल करें, FTP के माध्यम से सीधे कन्टेनर से कनेक्ट करें
  
  • व्यक्तिगत रूप से, यह विकल्प मुझे थोड़ा जटिल लग रहा था, और "बैसाखी" भी, हालाँकि यहाँ सभी विकल्प बैसाखी हैं
• (स्थानीय उपयोग के लिए) कंटेनर में सीधे लोड करने के लिए docker cp का उपयोग करें
  
  • रिमोट सर्वर के साथ काम करने के लिए विकल्प उपयुक्त नहीं है।
  • docker cp में बहुत सीमित कार्यक्षमता होती है, इसे देखते हुए विक्रेता फ़ोल्डर को हर बार कॉपी नहीं किया जाना चाहिए, और कॉपी एल्गोरिथ्म में ही, यह धीमा होगा।
• (दूरस्थ \ स्थानीय उपयोग के लिए) बाहरी होस्ट फ़ोल्डर में वांछित कंटेनर फ़ोल्डर माउंट करें। स्थानीय फ़ाइलों को सीधे माउंटेड होस्ट फ़ोल्डर में डाउनलोड करें। पहले से ही बहुत सारे कार्यान्वयन विकल्प हैं:
  
  • डॉकटर-मशीन और विशेष रूप से डॉक-मशीन स्कैप का उपयोग करें
    
    • फिर, आपको पर्यावरण को कॉन्फ़िगर करने की आवश्यकता है, डॉकटर-मशीन को कॉन्फ़िगर करें, शायद यह तब समझ में आता है जब आप लगातार विभिन्न सर्वरों के साथ काम करते हैं
  • आईडीई में, वांछित होस्ट फ़ोल्डर के साथ एक एफ़टीपी कनेक्शन कॉन्फ़िगर करें
    
    • प्रत्येक नई शाखा को एक नया कनेक्शन बनाने या मैपिंग बदलने की आवश्यकता होती है
  • वांछित होस्ट फ़ोल्डर में फ़ाइलों को अपलोड करने के लिए scp या rsync का उपयोग करें, इसके लिए एक छोटी बैश-स्क्रिप्ट का उपयोग करें और इसे गर्म कुंजियों पर लटका दें
    
    • सबसे पहले, यह अनावश्यक रूप से जटिल लगता है, लेकिन वास्तव में यह नहीं है। स्क्रिप्ट स्वयं ही यथासंभव सरल है और प्रक्रिया को स्वचालित करने के लिए आवश्यक है ताकि आपको हर बार मैपिंग को फिर से कॉन्फ़िगर न करना पड़े।

समाधान स्वयं: rsync + वॉल्यूम

tldr:

• एक दूरस्थ सर्वर तक पहुँच और स्थानीय मशीन पर rsync की आवश्यकता है
• रिमोट सर्वर में एक लिखने योग्य फ़ोल्डर होना चाहिए
• कंटेनर में प्रोजेक्ट फ़ोल्डर को बाहरी होस्ट फ़ोल्डर में माउंट करें
• दूरस्थ सर्वर के साथ फ़ाइलों को सिंक्रनाइज़ करने के लिए प्रोजेक्ट के रूट में एक छोटी बैश स्क्रिप्ट जोड़ें
• सिंक्रनाइज़ेशन स्क्रिप्ट निष्पादन के लिए हॉटकी कॉन्फ़िगर करें

यह ध्यान देने योग्य है कि प्रदान किए गए समाधान को विकास और परीक्षण वातावरण के लिए बाहर रखा गया है

इस मामले में, मैं डॉकटर-कम्पोज़ और गीटलैब-सी के वातावरण को देखूँगा, जिसमें गेट-सी-सी से पर्यावरण चर का उपयोग करते हुए डॉक-कम्पोज़ होगा।

हम गितलब-सी में गंतव्य फ़ोल्डर का पथ बनाते हैं और इस पथ को docker-compose.yml पर निर्यात करते हैं:

before_script: - export SHARED_DIR_BASE='/var/www/builds' #    ,      - export SHARED_BRANCH_DIR=${SHARED_DIR_BASE}/${PROJECT_GROUP}/${PROJECT_NAME}/${CI_COMMIT_REF_NAME} #     web-123   my_group/my_project,      /var/shared/my_group/my_project/web-123 Deploy dev: stage: deploy_dev script: #   ,         - mkdir -p ${SHARED_BRANCH_DIR} - rsync -r --exclude-from=.gitignore --exclude-from=.dockerignore . ${SHARED_BRANCH_DIR} - find ${SHARED_BRANCH_DIR} -type d -exec setfacl -d -mo:rwx {} \; - find ${SHARED_BRANCH_DIR} -type d -exec setfacl -mo:rwx {} \; - find ${SHARED_BRANCH_DIR} -type f -exec setfacl -mo:rwx {} \; - envsubst < docker-compose.tmpl > docker-compose.yml #     gitlab-ci.yml  docker-compose.yml,   docker-compose.tmpl - docker-compose up -d 

आगे, हमें डॉकटर-कंपोज़ में प्रोजेक्ट फ़ोल्डर को बाहरी होस्ट फ़ोल्डर में माउंट करने की आवश्यकता है, क्योंकि हम डॉकटर-कंपोज़ में वेरिएबल्स का उपयोग करते हैं, हमें डॉक-कंपोज़.मप्लेट टेम्पलेट की आवश्यकता होती है जिसमें हम इन वेरिएबल्स का उपयोग करेंगे।

 version: '2.3' services: web: ... volumes: - ${SHARED_BRANCH_DIR}:/app/:rw #             #        .    ,      ,           .              ,     ,        - /app/protected/vendor/ 

वर्तमान कॉन्फ़िगरेशन पर्याप्त है, अब जब आप होस्ट सर्वर पर शाखा का निर्माण करते हैं, तो फ़ोल्डर / var / www / build / GROUP_NAME / PROJECT_NAME / BRANCH_NAME बनाया जाएगा और परियोजना को उन फ़ाइलों और फ़ोल्डरों के अलावा वहां स्थानांतरित किया जाएगा जो कि .ignignore और .dockerignore को निर्दिष्ट करते हैं, फिर। आप बस FTP मैपिंग को कॉन्फ़िगर कर सकते हैं, लेकिन हम थोड़ा आगे जाएंगे और प्रक्रिया को थोड़ा और स्वचालित बना देंगे।

वास्तव में, फ़ाइलों को सिंक्रनाइज़ करने के लिए, हमें इस तरह से कुछ चलाने की आवश्यकता है:

 rsync -r -u \ --delete-after \ --exclude-from=.gitignore \ --exclude-from=.dockerignore \ . $sshUserName@$sshHost:$sharedBaseDir 

वास्तव में, छोटे-मध्यम आकार की परियोजनाओं पर, यह कमांड तेजी से निष्पादित करेगा, जहां आपके पास संपादन करने और रिपॉजिटरी को पुश करने का समय है। यह इस स्क्रिप्ट को और अधिक पूर्ण रूप में लाने के लिए बनी हुई है और इसके निष्पादन को गर्म कुंजी से बांधती है।

 #!/usr/bin/env bash #    while [ -n "$1" ] do case "$1" in --sshUserName=*) sshUserName=${1#*=} ;; --sshHost=*) sshHost=${1#*=} ;; esac shift done #  shared    gitBranch=$(git branch | grep \* | cut -d ' ' -f2) gitProject=$(git config --local remote.origin.url|sed -n 's#.*/\([^.]*\)\.git#\1#p') gitGroup=$(git config --local remote.origin.url|sed -n 's#.*/\([^.]*\)/.*\.git#\1#p') sharedBaseDir=/var/www/builds/$gitGroup/$gitProject/$gitBranch #         rsync -r -u \ --delete-after \ --exclude-from=.gitignore \ --exclude-from=.dockerignore \ . $sshUserName@$sshHost:$sharedBaseDir echo "done" 

यह ध्यान दिया जाना चाहिए कि स्क्रिप्ट रिपॉजिटरी के प्रोजेक्ट फ़ोल्डर की जड़ में स्थित होना चाहिए या यह इंगित करना चाहिए कि यह किस निर्देशिका में काम करना चाहिए।

यह केवल विशिष्ट हॉटकी के लिए इस स्क्रिप्ट के निष्पादन को तेज करने और पैरामीटर sshUserName और sshHost को सेट करने के लिए बना हुआ है (यह समझा जाता है कि पहले से ही ssh के माध्यम से दूरस्थ सर्वर तक पहुंच है)। ऐसा कैसे करें मैं PHPstorm का एक उदाहरण दूंगा।

• फाइल -> सेटिंग्स पर जाएं
• बाएं मेनू में सेटिंग्स विंडो में, टूल का विस्तार करें, बाहरी टूल का चयन करें
• हम स्क्रिप्ट को पथ लिखते हैं और तर्कों में वास्तविक sshUserName और sshHost निर्दिष्ट करते हैं
  
  
• अगला, कीमैप पर जाएं और हमारे बाहरी उपकरण के नाम की तलाश करें, आवश्यक संयोजन सेट करें
  
  

वह सब है। अब, जब आप वांछित संयोजन पर क्लिक करते हैं, तो सभी प्रोजेक्ट फाइलें रिमोट फ़ोल्डर के साथ सिंक्रनाइज़ होती हैं, जो कंटेनर के अंदर प्रोजेक्ट फ़ोल्डर के साथ मुहिम की जाती है। यानी कोई भी बदलाव लगभग तुरंत दिखाई देगा।

मैं इस समाधान के "आदर्श" होने का नाटक नहीं करता हूं, शायद बेहतर विकल्प हैं, मुझे खुशी होगी अगर मैं टिप्पणियों में उनके बारे में सीखूं। धन्यवाद!