केंद्र की यात्रा करें ... docker image या रजिस्ट्री के बिना डॉकटर से एक छवि कैसे डाउनलोड करें

नए साल से 3 दिन पहले एक फ्लैश ड्राइव पर, प्रबंधक के माध्यम से हमारे सॉफ़्टवेयर को क्लाइंट में स्थानांतरित करने का एक कार्य था। सॉफ्टवेयर कई सेटिंग्स और एक किलोमीटर लंबे पतवार चार्ट के साथ दर्जनों docker छवियों के साथ एक microservice मंच है। हमारे पास क्या था:

• मास्को में प्रबंधक (मैं वहाँ से नहीं हूँ)
• विंडोज
• कोई सीधा संवाद नहीं है (और अगर ऐसा होता तो यह वास्तव में मदद नहीं करता)
• डॉकटर नं

Pff, मैंने सोचा! मैं गोलांग ले जाऊंगा, एक कार्यक्रम लिखूंगा, विंडोज के लिए संकलन करूंगा।
... और 5 घंटे बाद मुझे अपने निष्कर्षों की जल्दबाजी का एहसास हुआ। उस समय, नेल्सन की हँसी ने पहली बार याद किया। हा हा! जिसने मुझे हर समय इस मुद्दे पर अध्ययन करने में खर्च किया।

अधिकांश उदाहरण मैंने पाया कि डॉकर्ड की आवश्यकता है। दो स्क्रिप्ट जो डॉकडर का उपयोग नहीं करते हैं, जो एक घंटे के गोइंग्लिंग, एक और दो के बाद पाए गए थे। पहले विकल्प ने मुझे सभी छवि परतों और कॉन्फ़िगरेशन फ़ाइलों को प्राप्त करने की प्रक्रिया को समझने में मदद की, लेकिन विंडोज के साथ इसका उपयोग करना असंभव है। और दूसरे विकल्प ने संकेत दिया कि यह सिर्फ इतना नहीं था कि विभिन्न हैश स्क्रीन पर फ़्लिकर थे, विशेष रूप से यह FIXME । एक, ज़ाहिर है, वहाँ रुक सकता है, यह काम करता है! जाने के लिए स्थानांतरण मुश्किल नहीं है। लेकिन यह कैसे सत्यापित करें कि प्रबंधक की छवियां हमारी रजिस्ट्री में उसी रूप में हैं? लेकिन कोई रास्ता नहीं! इसलिए, मैंने बस साझा किए गए स्टोरेज में चित्र अपलोड किए हैं, डॉकर सेव कमांड का उपयोग करके डाउनलोड किया है, और लिंक साझा किया है। और इस पर शांत हुए।

छुट्टियों के चौथे दिन, उनमें से बहुत थके हुए, डॉक छवि को डाउनलोड करने और इकट्ठा करने के विचार ने मुझे फिर से पछाड़ दिया, और मैं कुछ घंटों के लिए भीड़ कोड में डूब गया।

मेरे पास इस समय क्या था:

• सभी परतों को कैसे समझें

पायथन को "हाथ में लेना" और इस स्क्रिप्ट के आधार पर, मैंने इसे ठीक करने का फैसला किया। दूसरे दिन, मैंने स्क्रैच से एक स्क्रिप्ट लिखने का फैसला किया। Oauth- प्राधिकरण के लिए अपने शिल्प के बारे में याद करते हुए, मैंने बस वहां से कोड का हिस्सा कॉपी किया, साथ ही स्क्रिप्ट संपादित करते समय मेरे द्वारा पहले से किए गए घटनाक्रम। इन आंकड़ों को प्राधिकरण और डाउनलोड करने में कोई समस्या नहीं थी, लेकिन सवाल उठे:

• जब करक पुल कमांड निष्पादित होता है तो कौन सी हैश प्रदर्शित होती हैं?
• क्या हैंश जो छवि टारबॉल के अंदर निर्देशिकाओं को नाम देने के लिए उपयोग किए जाते हैं?
• एक टार आर्काइव कैसे बनाया जाए ताकि चेक राशि मूल छवि से मेल खाए?

अध्ययन के लिए, मैंने एक ubuntu छवि चुनी: 18.04
Sha256sum इमेज डॉक्यू docker save माध्यम से docker save - 257cab9137419a53359d0ed76f680fe926ed3645238357bdcdb84070a8f26cd0।

 > docker pull ubuntu:18.04 18.04: Pulling from library/ubuntu 2746a4a261c9: Downloading [==============> ] 6.909MB/26.69MB 4c1d20cdee96: Download complete 0d3160e1d0de: Download complete c8e37668deea: Download complete Digest: sha256:250cc6f3f3ffc5cdaa9d8f4946ac79821aafb4d3afc93928f0de9336eba21aa4 Status: Downloaded newer image for ubuntu:18.04 docker.io/library/ubuntu:18.04 

छवि टारबॉल सामग्री

 tar tvf ubuntu.tar drwxr-xr-x 0 root root 0 Dec 19 11:21 07adecfcb06a1142a69c3e769cb38f2d4ef9d772726ce1e65bc6dbd4448cccc9/ -rw-r--r-- 0 root root 3 Dec 19 11:21 07adecfcb06a1142a69c3e769cb38f2d4ef9d772726ce1e65bc6dbd4448cccc9/VERSION -rw-r--r-- 0 root root 477 Dec 19 11:21 07adecfcb06a1142a69c3e769cb38f2d4ef9d772726ce1e65bc6dbd4448cccc9/json -rw-r--r-- 0 root root 991232 Dec 19 11:21 07adecfcb06a1142a69c3e769cb38f2d4ef9d772726ce1e65bc6dbd4448cccc9/layer.tar drwxr-xr-x 0 root root 0 Dec 19 11:21 3e1d90747aa9d2a7ec6e9693bdd490dff8528b9aec4a2fac2300824e4ba3a60e/ -rw-r--r-- 0 root root 3 Dec 19 11:21 3e1d90747aa9d2a7ec6e9693bdd490dff8528b9aec4a2fac2300824e4ba3a60e/VERSION -rw-r--r-- 0 root root 477 Dec 19 11:21 3e1d90747aa9d2a7ec6e9693bdd490dff8528b9aec4a2fac2300824e4ba3a60e/json -rw-r--r-- 0 root root 15872 Dec 19 11:21 3e1d90747aa9d2a7ec6e9693bdd490dff8528b9aec4a2fac2300824e4ba3a60e/layer.tar -rw-r--r-- 0 root root 3411 Dec 19 11:21 549b9b86cb8d75a2b668c21c50ee092716d070f129fd1493f95ab7e43767eab8.json drwxr-xr-x 0 root root 0 Dec 19 11:21 b0474230e27ddbba2f46397aac85d4d2fd748064ed9c0ff1e57fec4f063fcf6b/ -rw-r--r-- 0 root root 3 Dec 19 11:21 b0474230e27ddbba2f46397aac85d4d2fd748064ed9c0ff1e57fec4f063fcf6b/VERSION -rw-r--r-- 0 root root 1264 Dec 19 11:21 b0474230e27ddbba2f46397aac85d4d2fd748064ed9c0ff1e57fec4f063fcf6b/json -rw-r--r-- 0 root root 3072 Dec 19 11:21 b0474230e27ddbba2f46397aac85d4d2fd748064ed9c0ff1e57fec4f063fcf6b/layer.tar drwxr-xr-x 0 root root 0 Dec 19 11:21 c8ba25f7db9f70220ac92449b238a0697f9eb580ef4f905225a333fc0a5e8719/ -rw-r--r-- 0 root root 3 Dec 19 11:21 c8ba25f7db9f70220ac92449b238a0697f9eb580ef4f905225a333fc0a5e8719/VERSION -rw-r--r-- 0 root root 401 Dec 19 11:21 c8ba25f7db9f70220ac92449b238a0697f9eb580ef4f905225a333fc0a5e8719/json -rw-r--r-- 0 root root 65571328 Dec 19 11:21 c8ba25f7db9f70220ac92449b238a0697f9eb580ef4f905225a333fc0a5e8719/layer.tar -rw-r--r-- 0 root root 432 Jan 1 1970 manifest.json -rw-r--r-- 0 root root 88 Jan 1 1970 repositories 

छवि विन्यास

 { ... "rootfs": { "type": "layers", "diff_ids": [ "sha256:2dc9f76fb25b31e0ae9d36adce713364c682ba0d2fa70756486e5cedfaf40012", "sha256:9f3bfcc4a1a8a676da07287a1aa6f2dcc8e869ea6f054c337593481a5bb1345e", "sha256:27dd43ea46a831c39d224e7426794145fba953cd7309feccf4d5ea628072f6a2", "sha256:918efb8f161b4cbfa560e00e8e0efb737d7a8b00bf91bb77976257cd0014b765" ] } ... } 

पहले प्रश्न को बहुत जल्दी हल किया गया था, प्रलेखन https://github.com/opencontainers/image-spec/blob/master/config.md ने मदद की। जब आप docker पुल कमांड चलाते हैं तो हैश दिखाई देते हैं, जो इमेज-कॉन्फिगरेशन डिफॉल्ट की diff_ids लिस्ट से चेनआईडी को कैलकुलेट किया जाता है, जहां diff_ids लिस्ट में से पहला चेनआईडी हमेशा पहला होता है, और बाद वाले स्ट्रिंग (chain_id[i-1] + " " + diff_id[i]) । श्रंखला का निर्माण करने के लिए कोड:

 def chain_ids(ids: list) -> list: chain = list() chain.append(ids[0]) if len(ids) < 2: return ids nxt = list() nxt.append("sha256:" + hashlib.sha256(f'{ids[0]} {ids[1]}'.encode()).hexdigest()) nxt.extend(ids[2:]) chain.extend(chain_ids(nxt)) return chain 

एल्गोरिथ्म के नाम के साथ एक उपसर्ग जोड़ना, इस मामले में "sha256:", अनिवार्य है और opencontainers मानक की आवश्यकताओं में शामिल है, अर्थात। स्ट्रिंग "एल्गोरिथ्म: हैश" फॉर्म का होना चाहिए।

उन्होंने एक निर्देशिका के नामकरण के बारे में एक सवाल पर दो शामें बिताईं। काफी लंबे समय तक मैंने डॉकटर-डेमन और ओह के स्रोत कोड को देखा! एक चमत्कार! मैं यहाँ और यहाँ पीढ़ी कोड खोजने में कामयाब रहा। निर्देशिका नाम उत्पन्न करने के लिए, आपको json परत कॉन्फ़िगरेशन से हैश की गणना करने की आवश्यकता है। डॉकर में कई कॉन्फ़िगरेशन संस्करण हैं और docker के इंजन 1.9 से पहले, संस्करण v1 कॉन्फ़िगरेशन का उपयोग किया गया था। जल्दी से नहीं कहा! और फिर, नेल्सन का सिल्हूट उठता है। एक छोटी सी बहस के बाद मैंने महसूस किया कि समस्या जेनसन की पीढ़ी में छिपी हुई थी। पायथन में, एक शब्दकोश में डेटा का क्रम इस शब्दकोश से उत्पन्न json में डेटा के क्रम से भिन्न हो सकता है। Json में डेटा का क्रम अलग होगा, और तदनुसार इसका हैश भी अलग होगा। मुझे ऑर्डरडीडिक्ट पर जाना था, उनमें वांछित डेटा ऑर्डर दर्ज करना था। इससे कोड का आकार डेढ़ गुना बढ़ गया।

ऐसा लगता है कि सब कुछ ठीक हो गया है, मैं स्क्रिप्ट चलाता हूं और ... कहीं गहरे अंदर, कुख्यात हा-हा पॉप करता हूं! आखिरी हैश मैच नहीं करता है। एक बार फिर मैं कोड का अध्ययन करता हूं और देखता हूं , और यह एक और v1-config है जिसमें छवि के बारे में सभी जानकारी है, जिसे docker inspect उपयोग करके देखा जा सकता है। विशेष रूप से उसके लिए एक और ऑर्डर जोड़ें, कोड को पूरक करें और ... हा हा!
यह पहले से ही सुबह 5 बजे था और मेरा सिर वास्तव में नहीं लगता था, इसलिए नींद के बाद मैं कोड देखने के लिए लौट आया। बार-बार जनरेशन कोड को देखकर एक लाइन में आ गए। मुझे यह देखकर कितनी खुशी हुई। इससे पहले कि मैं उसे देखता, मेरे साथ अपने डॉक के निर्माण के विचार थे ब्लैक जैक और डेटा लॉगिंग। मैं डिबग चालू करता हूं, docker save निष्पादित करता हूं और ... यह बिल्कुल हास्यास्पद नहीं है, मैक ओएस के लिए डॉक-डेस्कटॉप में 947 वर्णों के लॉग में लाइन की लंबाई की सीमा होती है और उत्पन्न विन्यास टूट जाता है \" । लिनक्स में इन सभी चरणों का प्रदर्शन करने के बाद, मैं कॉन्फ़िगरेशन प्राप्त करने में कामयाब रहा। पहले संस्करण की परत, जिसके आधार पर मैंने कोड लिखा था, और मैं अंतिम परत का वांछित हैश प्राप्त करने में कामयाब रहा। सभी फाइलों के लिए हैश एक ही है, निर्देशिकाओं को मूल छवि के समान नाम दिया गया है। यह टार संग्रह एकत्र करने का समय है ... HAHA!

फ़ाइल का आकार मेल नहीं खाता, https://github.com/opencontainers/image-spec/blob/master/layer.md और टार आर्काइव प्रारूप पढ़ें। डिफ़ॉल्ट मान 10240 बाइट्स है, और मेरे द्वारा संग्रह किए गए संग्रह का आकार 9216 बाइट्स बड़ा है। पहले मुझे लगा कि ब्लॉक आकार को 1024 बाइट्स तक कम करना आवश्यक था, जो गलत निकला और परिणामस्वरूप 512 बाइट्स के ब्लॉक आकार ने अभिलेखागार के आकार को बराबर कर दिया।

 tarfile.RECORDSIZE = 512 

नए बनाए गए संग्रह की पहली पंक्ति में रूट फ़ोल्डर "/" है। यह विकल्प उपयुक्त नहीं है, इसलिए, मैं फ़ोल्डर की सामग्री को स्कैन करके कोड को पूरक करता हूं और इसे व्यक्तिगत रूप से संग्रह में जोड़ देता हूं, पहले से इसे सॉर्ट किया गया था।

अंत में, हम समान फ़ाइल आकार, निर्देशिकाओं का एक समान रूप प्राप्त करने में कामयाब रहे, लेकिन यह सब नहीं है। मैनिफ़ेस्ट में .json और respoitories के अपवाद के साथ फ़ाइलें और निर्देशिका, संग्रह में st_atime विशेषताएँ, st_mime बराबर st_ctime होना चाहिए। मैनिफ़ेस्ट.जॉसन और रेस्पिरेटरी फ़ाइलों के लिए, स्टैट_टाइम, st_mtime और st_ctime विशेषताओं को 1970-01-01 1970-01-01 00:00 युग की शुरुआत में दिनांकित किया जाना चाहिए। सभी तिथियों को क्रमशः समय क्षेत्र के अनुसार निर्धारित किया जाना चाहिए। चूंकि मैंने मैक ओएस में सभी काम किए हैं, इसलिए मैंने एक अंतर देखा। छवि को लिनक्स में सहेजते समय, संग्रह की फाइलों की सूची इस तरह दिखती है:

 tar tvf ubuntu.tar drwxr-xr-x 0/0 0 Dec 19 11:21 07adecfcb06a1142a69c3e769cb38f2d4ef9d772726ce1e65bc6dbd4448cccc9/ -rw-r--r-- 0/0 3 Dec 19 11:21 07adecfcb06a1142a69c3e769cb38f2d4ef9d772726ce1e65bc6dbd4448cccc9/VERSION -rw-r--r-- 0/0 477 Dec 19 11:21 07adecfcb06a1142a69c3e769cb38f2d4ef9d772726ce1e65bc6dbd4448cccc9/json -rw-r--r-- 0/0 991232 Dec 19 11:21 07adecfcb06a1142a69c3e769cb38f2d4ef9d772726ce1e65bc6dbd4448cccc9/layer.tar drwxr-xr-x 0/0 0 Dec 19 11:21 3e1d90747aa9d2a7ec6e9693bdd490dff8528b9aec4a2fac2300824e4ba3a60e/ -rw-r--r-- 0/0 3 Dec 19 11:21 3e1d90747aa9d2a7ec6e9693bdd490dff8528b9aec4a2fac2300824e4ba3a60e/VERSION -rw-r--r-- 0/0 477 Dec 19 11:21 3e1d90747aa9d2a7ec6e9693bdd490dff8528b9aec4a2fac2300824e4ba3a60e/json -rw-r--r-- 0/0 15872 Dec 19 11:21 3e1d90747aa9d2a7ec6e9693bdd490dff8528b9aec4a2fac2300824e4ba3a60e/layer.tar -rw-r--r-- 0/0 3411 Dec 19 11:21 549b9b86cb8d75a2b668c21c50ee092716d070f129fd1493f95ab7e43767eab8.json drwxr-xr-x 0/0 0 Dec 19 11:21 b0474230e27ddbba2f46397aac85d4d2fd748064ed9c0ff1e57fec4f063fcf6b/ -rw-r--r-- 0/0 3 Dec 19 11:21 b0474230e27ddbba2f46397aac85d4d2fd748064ed9c0ff1e57fec4f063fcf6b/VERSION -rw-r--r-- 0/0 1264 Dec 19 11:21 b0474230e27ddbba2f46397aac85d4d2fd748064ed9c0ff1e57fec4f063fcf6b/json -rw-r--r-- 0/0 3072 Dec 19 11:21 b0474230e27ddbba2f46397aac85d4d2fd748064ed9c0ff1e57fec4f063fcf6b/layer.tar drwxr-xr-x 0/0 0 Dec 19 11:21 c8ba25f7db9f70220ac92449b238a0697f9eb580ef4f905225a333fc0a5e8719/ -rw-r--r-- 0/0 3 Dec 19 11:21 c8ba25f7db9f70220ac92449b238a0697f9eb580ef4f905225a333fc0a5e8719/VERSION -rw-r--r-- 0/0 401 Dec 19 11:21 c8ba25f7db9f70220ac92449b238a0697f9eb580ef4f905225a333fc0a5e8719/json -rw-r--r-- 0/0 65571328 Dec 19 11:21 c8ba25f7db9f70220ac92449b238a0697f9eb580ef4f905225a333fc0a5e8719/layer.tar -rw-r--r-- 0/0 432 Jan 1 1970 manifest.json -rw-r--r-- 0/0 88 Jan 1 1970 repositories 

लेख की शुरुआत में सूची के विपरीत, लिनक्स पर, संग्रह को केवल संख्यात्मक ध्वज के साथ सहेजा जाता है। Tarinfo ऑब्जेक्ट में दो चर हैं, इसके लिए जिम्मेदार हैं, tarinfo.uname और tarinfo.gname। और मैक ओएस के साथ दूसरी समस्या एक रूट समूह की कमी है, यह एक ही टैरिनोफो ऑब्जेक्ट में tarinfo.gid चर का उपयोग करके तय किया गया है। खैर, सब कुछ एक संग्रह बना रहा है ...

सभी फ़ाइलों के लिए, हैश अभिसरण करता है, निर्देशिकाओं और फ़ाइलों के नाम समान हैं, विशेषताएँ st_atime, st_mtime और st_ctime मूल के साथ अभिसरण करते हैं, फ़ाइलों के अधिकार बिल्कुल समान हैं। हेक्स संपादक में दोनों अभिलेखों को खोलने से थोड़ा अंतर आया:

ऊपरी खिड़की मूल है, निचले संग्रह मैंने एकत्र किए हैं।

टार प्रारूप को समझना। निर्देशिका के नाम के बाद फ़ाइल (नारंगी आयत) के अधिकारों का मूल्य है। अंतर यह है कि संग्रह में जोड़ी जा रही वस्तु के बारे में जानकारी निर्देशिका अधिकारों में नहीं जोड़ी जाती है। अधिकारों में दर्शाया गया 40755 का मान इंगित करता है कि यह 755 की अनुमतियों के साथ एक निर्देशिका है, और 100644 644 के अधिकारों के साथ एक फ़ाइल है। लाल आयत मैजिक-स्ट्रिंग है और ustar\000 कोड, मैजिक-स्ट्रिंग ustar\000 , यह केवल पैक्स और यूएसटीएआर प्रारूपों में उपयोग किया जाता है। PAX प्रारूप बिल्कुल फिट नहीं है, यह एक विशेष प्रकार के हेडर का उपयोग करता है। नीली आयत एक चेक राशि है और यह एक फ़ाइल और जादू-हेडर के अधिकार लिखने के लिए विभिन्न स्वरूपों के उपयोग के कारण भिन्न होती है।

मैं संग्रह प्रारूप को USTAR में बदल देता हूं, लेकिन यह स्पष्ट नहीं है कि रिकॉर्डिंग अनुमति के साथ क्या करना है। यहाँ और यहाँ , मेरे लिए जादू हो रहा है, मैंने कभी ऑक्टेल सिस्टम के साथ काम नहीं किया है और मुझे समझ नहीं आया कि यहाँ एम्परसेंड की आवश्यकता क्यों है (क्या कोई टिप्पणी में अपना ज्ञान साझा कर सकता है)। मुझे यह देखने के लिए कई प्रिंट जोड़ने पड़े कि डेटा किस तर्क के साथ आता है और संग्रह ब्लॉक बनाने के लिए किस डेटा का उपयोग किया जाता है। डेटा ब्लॉक की दूसरी स्थिति से पूर्णांक लेते हुए, यह 16877 था, और इसे ऑक्टल कैलकुलस की ओर अग्रसर किया, यह पता चला कि यह मान 0o40755 , जो 0o40755 मुझे चाहिए। बस get_info और _create_header फ़ंक्शंस को & 0o7777 , उन्हें हटाना & 0o7777 (मेरे दिमाग में और कुछ भी नहीं आया), मैं एक मूल संग्रह के साथ संकलित एक sha256 हैश के साथ एक टार संग्रह एकत्र करने में कामयाब रहा।

PS एक लेख लिखते समय, ubuntu की छवि अपडेट की गई: 18.04 hub.docker.com पर। इसलिए मुझे डाइजेस्ट पर इमेज डाउनलोड करनी पड़ी। हैश राशि अब इस तथ्य के कारण मूल से मेल नहीं खाती है कि डाइजेस्ट को टैग के बजाय लिखा गया था, अन्यथा वे समान छवियां थीं।

मेरे लिए दूसरी खोज संग्रह में एक रिपॉजिटरी फ़ाइल की अनुपस्थिति थी जब एक लापता टैग के साथ एक छवि को बचाते हुए docker save का उपयोग करते हुए।

पूर्ण कार्य कोड यहां: https://github.com/myback/docker_pull

नेल्सन मंज़ की छवि, साथ ही साथ उनकी हंसी "हा-हा" फॉक्स की संपत्ति है :)