गिटलैब शैल रनर। डॉकर कम्पोज़ का उपयोग करके परीक्षण सेवाओं का प्रतिस्पर्धी लॉन्च

यह लेख परीक्षकों और डेवलपर्स दोनों के लिए दिलचस्पी का होगा, लेकिन यह उन वाहन चालकों के लिए अधिक लक्षित है, जो अपर्याप्त बुनियादी ढांचे के संसाधनों की स्थिति में एकीकरण परीक्षण और / या कंटेनर या ऑर्केस्ट्रेशन के लिए एक मंच की कमी के लिए GitLab CI / CD को कॉन्फ़िगर करने की समस्या का सामना कर रहे हैं। मैं आपको बताता हूं कि एक ही गितलाब शैल रनर पर डॉक का उपयोग करके परीक्षण वातावरण की तैनाती को कैसे कॉन्फ़िगर करें और ताकि कई वातावरणों को तैनात करते समय, लॉन्च की जा रही सेवाएं एक-दूसरे के साथ हस्तक्षेप न करें।

सामग्री

• आवश्यक शर्तें
• गिटलब शेल रनर
• Docker-Compose.yml तैयार करना
• मेकफाइल तैयारी
• तैयारी कर रहा है ।itlabab-ci.yml
  
  • एकीकरण परीक्षण चलाएं
  • रनर सफाई
• परिणाम

आवश्यक शर्तें

1. मेरे व्यवहार में, यह अक्सर परियोजनाओं पर एकीकरण परीक्षण को "ठीक" करने के लिए हुआ। और अक्सर पहली और सबसे महत्वपूर्ण समस्या सीआई पाइप लाइन होती है, जिसमें विकसित सेवा (एस) का एकीकरण परीक्षण देव चरण वातावरण में किया जाता है। इससे काफी समस्याएँ हुईं:

   
   
   • एकीकरण परीक्षण के दौरान एक विशेष सेवा में दोषों के कारण, टूटे हुए डेटा द्वारा परीक्षण सर्किट को दूषित किया जा सकता है। ऐसे मामले थे जब एक टूटे हुए JSON प्रारूप के साथ अनुरोध भेजने पर एक सेवा लटका दी गई, जिसने स्टैंड को पूरी तरह से निष्क्रिय कर दिया।
   • परीक्षण डेटा की वृद्धि के साथ परीक्षण लूप को धीमा करना। मुझे लगता है कि एक डेटाबेस की सफाई / रोलिंग के साथ एक उदाहरण का वर्णन करने का कोई मतलब नहीं है। मेरे अभ्यास में, मैंने एक परियोजना नहीं देखी है जहां यह प्रक्रिया सुचारू रूप से चली।
   • सामान्य सिस्टम सेटिंग्स का परीक्षण करते समय परीक्षण सर्किट के प्रदर्शन को बाधित करने का जोखिम। उदाहरण के लिए, उपयोगकर्ता / समूह / पासवर्ड / आवेदन नीति।
   • ऑटोटैस्ट से टेस्ट डेटा मैनुअल टेस्टर्स को रहने से रोकता है।
   
   

   कोई कहेगा कि अच्छे ऑटोटेस्ट्स को अपने बाद डेटा साफ करना चाहिए। मेरे पास तर्क हैं:

   
   
   • गतिशील स्टैंड उपयोग करने के लिए बहुत सुविधाजनक हैं।
   • हर वस्तु को एपीआई के माध्यम से सिस्टम से नहीं हटाया जा सकता है। उदाहरण के लिए, किसी ऑब्जेक्ट को हटाने के लिए कॉल को लागू नहीं किया जाता है, क्योंकि यह व्यावसायिक तर्क का विरोध करता है।
   • एपीआई के माध्यम से एक ऑब्जेक्ट बनाते समय, मेटाडेटा की एक बड़ी मात्रा बनाई जा सकती है, जिसे हटाने के लिए समस्याग्रस्त है।
   • यदि परीक्षण अन्योन्याश्रित हैं, तो परीक्षण पूरा होने के बाद डेटा सफाई प्रक्रिया सिरदर्द में बदल जाती है।
   • अतिरिक्त (और, मेरी राय में, उचित नहीं) एपीआई को कॉल करता है।
   • और मुख्य तर्क: जब परीक्षण डेटा डेटाबेस से सीधे साफ करना शुरू होता है। यह एक वास्तविक PK / FK सर्कस में बदल जाता है! डेवलपर्स से यह श्रव्य है: "मैंने केवल नेमप्लेट को जोड़ा / हटा दिया / नाम बदल दिया, 100500 एकीकरण परीक्षण विफल क्यों हुए?"
   
   

   मेरी राय में, सबसे इष्टतम समाधान एक गतिशील वातावरण है।

   
   
2. बहुत से लोग परीक्षण वातावरण को चलाने के लिए docker-compose का उपयोग करते हैं, लेकिन CI / CD में एकीकरण परीक्षण का संचालन करते समय कुछ लोग docker-compose का उपयोग करते हैं। और यहां मैं कुबेरनेट्स, झुंड और अन्य कंटेनर ऑर्केस्ट्रेशन प्लेटफार्मों को ध्यान में नहीं रखता हूं। हर कंपनी उनके पास नहीं है। यह अच्छा होगा यदि docker-compose.yml सार्वभौमिक था।
3. यहां तक ​​कि अगर हमारे पास अपना क्यूए धावक है, तो हम यह कैसे सुनिश्चित कर सकते हैं कि डॉकटर-कंपोज के माध्यम से शुरू की गई सेवाएं एक-दूसरे के साथ हस्तक्षेप न करें?
4. परीक्षण सेवाओं के लॉग कैसे एकत्र करें?
5. धावक को कैसे साफ करें?

मेरे पास अपने प्रोजेक्ट्स के लिए अपना खुद का GitLab रनर है और TestRail के लिए जावा क्लाइंट विकसित करते समय मैं इन मुद्दों पर आया था। या बल्कि, जब एकीकरण परीक्षण चल रहे हों। इसके बाद, हम इस परियोजना के उदाहरणों के साथ इन मुद्दों को हल करेंगे।

सामग्री के लिए

गिटलब शेल रनर

धावक के लिए, मैं 4 वीसीपीयू, 4 जीबी रैम, 50 जीबी एचडीडी के साथ एक लिनक्स वर्चुअल मशीन की सलाह देता हूं।
इंटरनेट पर, गिटलैब-रनर को कॉन्फ़िगर करने के बारे में बहुत सारी जानकारी, इसलिए संक्षेप में:

• हम SSH पर मशीन पर जाते हैं

• यदि आपके पास 8 जीबी से कम रैम है, तो मैं 10 जीबी का स्वैप बनाने की सलाह देता हूं, ताकि ओओएम हत्यारा न आए और रैम की कमी के कारण हमें मार न डाले। यह तब हो सकता है जब 5 से अधिक कार्य एक साथ शुरू किए जाते हैं। कार्य धीमे होंगे, लेकिन स्थिर होंगे।

  
  
  OOM हत्यारा उदाहरण

  यदि आप bash: line 82: 26474 Killed देखते हैं bash: line 82: 26474 Killed कार्य लॉग में bash: line 82: 26474 Killed गए, तो बस sudo dmesg | grep 26474 चलाएं sudo dmesg | grep 26474

  
  

   [26474] 1002 26474 1061935 123806 339 0 0 java Out of memory: Kill process 26474 (java) score 127 or sacrifice child Killed process 26474 (java) total-vm:4247740kB, anon-rss:495224kB, file-rss:0kB, shmem-rss:0kB 

  
  

  और अगर तस्वीर कुछ इस तरह दिखती है, तो या तो स्वैप या ड्रॉप रैम जोड़ें।

  
  
  
  

• Gitlab-runner , docker , docker-compose , make को स्थापित करें।
• gitlab-runner उपयोगकर्ता को gitlab-runner समूह में जोड़ें
  

   sudo groupadd docker sudo usermod -aG docker gitlab-runner 

• Gitlab-runner रजिस्टर करें ।

• संपादन /etc/gitlab-runner/config.toml लिए खोलें और जोड़ें

  
  

   concurrent=20 [[runners]] request_concurrency = 10 

  
  

  यह आपको एक धावक पर समानांतर कार्य चलाने की अनुमति देगा। और पढ़ें यहाँ
  यदि आपकी मशीन अधिक शक्तिशाली है, उदाहरण के लिए, 8 वीसीपीयू, 16 जीबी रैम, तो इन नंबरों को कम से कम 2 गुना बड़ा किया जा सकता है। लेकिन यह सब इस बात पर निर्भर करता है कि वास्तव में इस धावक पर क्या और किस मात्रा में लॉन्च किया जाएगा।

  
  

इतना ही काफी है।

सामग्री के लिए

Docker-Compose.yml तैयार करना

मुख्य कार्य docker-compose.yml है, जिसका उपयोग स्थानीय और CI पाइपलाइन दोनों में किया जाएगा।

चर COMPOSE_PROJECT_NAME का उपयोग पर्यावरण के कई उदाहरणों को शुरू करने के लिए किया जाएगा ( मेकफाइल देखें)।

मेरे docker-compose.yml का एक उदाहरण

 version: "3" #    web (php)  fmt , #      . #   ,   /var/www/testrail volumes: static-content: services: db: image: mysql:5.7.22 environment: MYSQL_HOST: db MYSQL_DATABASE: mydb MYSQL_ROOT_PASSWORD: 1234 SKIP_GRANT_TABLES: 1 SKIP_NETWORKING: 1 SERVICE_TAGS: dev SERVICE_NAME: mysql migration: image: registry.gitlab.com/touchbit/image/testrail/migration:latest links: - db depends_on: - db fpm: image: registry.gitlab.com/touchbit/image/testrail/fpm:latest container_name: "testrail-fpm-${CI_JOB_ID:-local}" volumes: - static-content:/var/www/testrail links: - db web: image: registry.gitlab.com/touchbit/image/testrail/web:latest #   TR_HTTP_PORT  TR_HTTPS_PORTS  , #     80  443  . ports: - ${TR_HTTP_PORT:-80}:80 - ${TR_HTTPS_PORT:-443}:443 volumes: - static-content:/var/www/testrail links: - db - fpm 

सामग्री के लिए

मेकफाइल तैयारी

मैं Makefile का उपयोग करता हूं, क्योंकि यह पर्यावरण के स्थानीय प्रबंधन और CI में दोनों के लिए बहुत सुविधाजनक है।

आगे की टिप्पणियाँ इनलाइन हैं

 #           `.indirect`, #     `docker-compose.yml` #  bash   pipefail # pipefail -   ,      SHELL=/bin/bash -o pipefail #   CI_JOB_ID   ifeq ($(CI_JOB_ID),) #   local CI_JOB_ID := local endif #    export COMPOSE_PROJECT_NAME = $(CI_JOB_ID)-testrail #    , , volumes docker-down: docker-compose -f .indirect/docker-compose.yml down #   docker-down () docker-up: docker-down #     docker-registry docker-compose -f .indirect/docker-compose.yml pull #   # force-recreate -    # renew-anon-volumes -   volumes   docker-compose -f .indirect/docker-compose.yml up --force-recreate --renew-anon-volumes -d #  ,   ,           docker ps #    docker-logs: mkdir -p ./logs docker logs $${COMPOSE_PROJECT_NAME}_web_1 >& logs/testrail-web.log || true docker logs $${COMPOSE_PROJECT_NAME}_fpm_1 >& logs/testrail-fpm.log || true docker logs $${COMPOSE_PROJECT_NAME}_migration_1 >& logs/testrail-migration.log || true docker logs $${COMPOSE_PROJECT_NAME}_db_1 >& logs/testrail-mysql.log || true #   docker-clean: @echo   testrail- docker kill $$(docker ps --filter=name=testrail -q) || true @echo    docker rm -f $$(docker ps -a -f --filter=name=testrail status=exited -q) || true @echo  dangling  docker rmi -f $$(docker images -f "dangling=true" -q) || true @echo  testrail  docker rmi -f $$(docker images --filter=reference='registry.gitlab.com/touchbit/image/testrail/*' -q) || true @echo    volume docker volume rm -f $$(docker volume ls -q) || true @echo   testrail  docker network rm $(docker network ls --filter=name=testrail -q) || true docker ps 

 $ make docker-up docker-compose -f .indirect/docker-compose.yml pull Pulling db ... done Pulling migration ... done Pulling fpm ... done Pulling web ... done docker-compose -f .indirect/docker-compose.yml up --force-recreate --renew-anon-volumes -d Creating network "local-testrail_default" with the default driver Recreating local-testrail_db_1 ... done Recreating local-testrail_migration_1 ... done Recreating local-testrail_fpm_1 ... done Recreating local-testrail_web_1 ... done docker ps CONTAINER ID NAMES 3b8f9d4af29c local-testrail_web_1 5622c7d742d5 local-testrail_fpm_1 b580e3392038 local-testrail_migration_1 e467630bd3a5 local-testrail_db_1 

 $ export CI_JOB_ID=123456789 $ make docker-up docker-compose -f .indirect/docker-compose.yml pull Pulling db ... done Pulling migration ... done Pulling fpm ... done Pulling web ... done docker-compose -f .indirect/docker-compose.yml up --force-recreate --renew-anon-volumes -d Creating network "123456789-testrail_default" with the default driver Creating volume "123456789-testrail_static-content" with default driver Creating 123456789-testrail_db_1 ... done Creating 123456789-testrail_fpm_1 ... done Creating 123456789-testrail_migration_1 ... done Creating 123456789-testrail_web_1 ... done docker ps CONTAINER ID NAMES ccf1ad33d0e8 123456789-testrail_web_1 bc079964f681 123456789-testrail_fpm_1 10dc9d4d8f2a 123456789-testrail_migration_1 fe98d43c380e 123456789-testrail_db_1 

 $ make docker-logs mkdir -p ./logs docker logs ${COMPOSE_PROJECT_NAME}_web_1 >& logs/testrail-web.log || true docker logs ${COMPOSE_PROJECT_NAME}_fpm_1 >& logs/testrail-fpm.log || true docker logs ${COMPOSE_PROJECT_NAME}_migration_1 >& logs/testrail-migration.log || true docker logs ${COMPOSE_PROJECT_NAME}_db_1 >& logs/testrail-mysql.log || true 

सामग्री के लिए

तैयारी कर रहा है ।itlabab-ci.yml

एकीकरण परीक्षण चलाएं

 Integration: stage: test tags: - my-shell-runner before_script: #   registry - docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY} #   TR_HTTP_PORT  TR_HTTPS_PORT - export TR_HTTP_PORT=$(shuf -i10000-60000 -n1) - export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1) script: #    - make docker-up #    jar (  ) - java -jar itest.jar --http-port ${TR_HTTP_PORT} --https-port ${TR_HTTPS_PORT} #    - docker run --network=testrail-network-${CI_JOB_ID:-local} --rm itest after_script: #   - make docker-logs #   - make docker-down artifacts: #   when: always paths: - logs expire_in: 30 days 

कलाकृतियों में इस तरह के कार्य को शुरू करने के परिणामस्वरूप, लॉग निर्देशिका में सेवाओं और परीक्षणों के लॉग होंगे। जो त्रुटियों के मामले में बहुत सुविधाजनक है। मेरे लिए, समानांतर में प्रत्येक परीक्षण अपना लॉग लिखता है, लेकिन मैं इस बारे में अलग से बात करूंगा।

सामग्री के लिए

रनर सफाई

कार्य केवल समय पर चलाया जाएगा।

 stages: - clean - build - test Clean runner: stage: clean only: - schedules tags: - my-shell-runner script: - make docker-clean 

इसके बाद, हमारे GitLab प्रोजेक्ट पर जाएं -> CI / CD -> अनुसूचियां -> नया शेड्यूल और एक नया शेड्यूल जोड़ें

सामग्री के लिए

परिणाम

GitLab CI में 4 कार्य चलाएँ

एकीकरण परीक्षणों के साथ अंतिम कार्य के लॉग में, हम विभिन्न कार्यों से कंटेनरों को देखते हैं

 CONTAINER ID NAMES c6b76f9135ed 204645172-testrail-web_1 01d303262d8e 204645172-testrail-fpm_1 2cdab1edbf6a 204645172-testrail-migration_1 826aaf7c0a29 204645172-testrail-mysql_1 6dbb3fae0322 204645084-testrail-web_1 3540f8d448ce 204645084-testrail-fpm_1 70fea72aa10d 204645084-testrail-mysql_1 d8aa24b2892d 204644881-testrail-web_1 6d4ccd910fad 204644881-testrail-fpm_1 685d8023a3ec 204644881-testrail-mysql_1 1cdfc692003a 204644793-testrail-web_1 6f26dfb2683e 204644793-testrail-fpm_1 029e16b26201 204644793-testrail-mysql_1 c10443222ac6 204567103-testrail-web_1 04339229397e 204567103-testrail-fpm_1 6ae0accab28d 204567103-testrail-mysql_1 b66b60d79e43 204553690-testrail-web_1 033b1f46afa9 204553690-testrail-fpm_1 a8879c5ef941 204553690-testrail-mysql_1 069954ba6010 204553539-testrail-web_1 ed6b17d911a5 204553539-testrail-fpm_1 1a1eed057ea0 204553539-testrail-mysql_1 

 $ docker login -u gitlab-ci-token -p ${CI_JOB_TOKEN} ${CI_REGISTRY} WARNING! Using --password via the CLI is insecure. Use --password-stdin. WARNING! Your password will be stored unencrypted in /home/gitlab-runner/.docker/config.json. Configure a credential helper to remove this warning. See https://docs.docker.com/engine/reference/commandline/login/#credentials-store Login Succeeded $ export TR_HTTP_PORT=$(shuf -i10000-60000 -n1) $ export TR_HTTPS_PORT=$(shuf -i10000-60000 -n1) $ mkdir ${CI_JOB_ID} $ cp .indirect/docker-compose.yml ${CI_JOB_ID}/docker-compose.yml $ make docker-up docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml kill docker network rm testrail-network-${CI_JOB_ID:-local} || true Error: No such network: testrail-network-204645172 docker network create testrail-network-${CI_JOB_ID:-local} 0a59552b4464b8ab484de6ae5054f3d5752902910bacb0a7b5eca698766d0331 docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml pull Pulling web ... done Pulling fpm ... done Pulling migration ... done Pulling db ... done docker-compose -f ${CI_JOB_ID:-.indirect}/docker-compose.yml up --force-recreate --renew-anon-volumes -d Creating volume "204645172-testrail_static-content" with default driver Creating 204645172-testrail-mysql_1 ... Creating 204645172-testrail-mysql_1 ... done Creating 204645172-testrail-migration_1 ... done Creating 204645172-testrail-fpm_1 ... done Creating 204645172-testrail-web_1 ... done docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES c6b76f9135ed registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 13 seconds ago Up 1 second 0.0.0.0:51148->80/tcp, 0.0.0.0:25426->443/tcp 204645172-testrail-web_1 01d303262d8e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 16 seconds ago Up 13 seconds 9000/tcp 204645172-testrail-fpm_1 2cdab1edbf6a registry.gitlab.com/touchbit/image/testrail/migration:latest "docker-entrypoint.s…" 16 seconds ago Up 13 seconds 3306/tcp, 33060/tcp 204645172-testrail-migration_1 826aaf7c0a29 mysql:5.7.22 "docker-entrypoint.s…" 18 seconds ago Up 16 seconds 3306/tcp 204645172-testrail-mysql_1 6dbb3fae0322 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 36 seconds ago Up 22 seconds 0.0.0.0:44202->80/tcp, 0.0.0.0:20151->443/tcp 204645084-testrail-web_1 3540f8d448ce registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 38 seconds ago Up 35 seconds 9000/tcp 204645084-testrail-fpm_1 70fea72aa10d mysql:5.7.22 "docker-entrypoint.s…" 40 seconds ago Up 37 seconds 3306/tcp 204645084-testrail-mysql_1 d8aa24b2892d registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up 53 seconds 0.0.0.0:31103->80/tcp, 0.0.0.0:43872->443/tcp 204644881-testrail-web_1 6d4ccd910fad registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp 204644881-testrail-fpm_1 685d8023a3ec mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp 204644881-testrail-mysql_1 1cdfc692003a registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" About a minute ago Up About a minute 0.0.0.0:44752->80/tcp, 0.0.0.0:23540->443/tcp 204644793-testrail-web_1 6f26dfb2683e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" About a minute ago Up About a minute 9000/tcp 204644793-testrail-fpm_1 029e16b26201 mysql:5.7.22 "docker-entrypoint.s…" About a minute ago Up About a minute 3306/tcp 204644793-testrail-mysql_1 c10443222ac6 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:57123->80/tcp, 0.0.0.0:31657->443/tcp 204567103-testrail-web_1 04339229397e registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp 204567103-testrail-fpm_1 6ae0accab28d mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp 204567103-testrail-mysql_1 b66b60d79e43 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:56321->80/tcp, 0.0.0.0:58749->443/tcp 204553690-testrail-web_1 033b1f46afa9 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp 204553690-testrail-fpm_1 a8879c5ef941 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp 204553690-testrail-mysql_1 069954ba6010 registry.gitlab.com/touchbit/image/testrail/web:latest "nginx -g 'daemon of…" 5 hours ago Up 5 hours 0.0.0.0:32869->80/tcp, 0.0.0.0:16066->443/tcp 204553539-testrail-web_1 ed6b17d911a5 registry.gitlab.com/touchbit/image/testrail/fpm:latest "docker-php-entrypoi…" 5 hours ago Up 5 hours 9000/tcp 204553539-testrail-fpm_1 1a1eed057ea0 mysql:5.7.22 "docker-entrypoint.s…" 5 hours ago Up 5 hours 3306/tcp 204553539-testrail-mysql_1 

ऐसा लगता है कि सब कुछ सुंदर है, लेकिन एक अति सूक्ष्म अंतर है। एकीकरण परीक्षणों के निष्पादन के दौरान पाइपलाइन को जबरन रद्द किया जा सकता है, जिस स्थिति में कंटेनर चलाना बंद नहीं किया जाएगा। समय-समय पर आपको धावक को साफ करने की आवश्यकता होती है। दुर्भाग्य से, GitLab CE में संशोधन कार्य अभी भी खुली स्थिति में है

लेकिन हमने निर्धारित कार्य लॉन्च जोड़ा है, और कोई भी हमें इसे मैन्युअल रूप से शुरू करने के लिए मना नहीं करता है।
हमारे प्रोजेक्ट पर जाएं -> CI / CD -> शेड्यूल और Clean runner टास्क चलाएं

कुल:

• हमारे पास एक शेल रनर है।
• कार्यों और पर्यावरण के बीच कोई टकराव नहीं हैं।
• हमारे पास एकीकरण परीक्षणों के साथ कार्यों का एक समानांतर लॉन्च है।
• आप स्थानीय और कंटेनर दोनों में एकीकरण परीक्षण चला सकते हैं।
• सेवाओं और परीक्षणों के लॉग एकत्र किए जाते हैं और पाइपलाइन कार्य से जुड़े होते हैं।
• पुराने डॉकटर-चित्रों से धावक को साफ करना संभव है।

सेटअप समय ~ 2 घंटे है।
वह, वास्तव में, सब है। मुझे प्रतिक्रिया के लिए खुशी होगी।

पुनश्च
फ्रीसचेयर vvasilenok ivanych के लिए विशेष धन्यवाद। प्रकाशन के संदर्भ में आपकी टिप्पणियाँ बहुत मूल्यवान थीं।

सामग्री के लिए