इंटरप्लेनेटरी फाइल सिस्टम - ट्रिवियल हैश (पहचान), डीएजी ब्लॉक और प्रोटोकॉल बफर

हाल ही में, IPFS ने एक तुच्छ (पहचान) हैश के लिए समर्थन जोड़ा। अपने लेख में मैं इसके बारे में बात करूंगा और दिखाऊंगा कि इसका उपयोग कैसे किया जा सकता है।

मुझे आपको याद दिलाना है: InterPlanetary फ़ाइल सिस्टम एक नया विकेंद्रीकृत फ़ाइल साझाकरण नेटवर्क (HTTP सर्वर, सामग्री वितरण नेटवर्क ) है। मैंने "इंटरप्लेनेटरी फाइल सिस्टम आईपीएफएस" लेख में इसके बारे में कहानी शुरू की।

आमतौर पर, जब हैशिंग, एक हैश फ़ंक्शन से गुजरता है , तो डेटा अपरिवर्तनीय रूप से "संपीड़ित" होता है और परिणामस्वरूप एक छोटा पहचानकर्ता प्राप्त होता है। यह पहचानकर्ता आपको नेटवर्क पर डेटा खोजने और इसकी अखंडता की जांच करने की अनुमति देता है।

एक तुच्छ हैश डेटा ही है। डेटा किसी भी तरह से नहीं बदलता है और, तदनुसार, "हैश" का आकार डेटा के आकार के बराबर है।

एक तुच्छ हैश डेटा: URL के समान कार्य करता है। इस मामले में कंटेंट आइडेंटिफायर में हैश के बजाय डेटा ही होता है। यह आपको माता-पिता को प्राप्त करने के तुरंत बाद माता-पिता को बाल ब्लॉक उपलब्ध कराने की अनुमति देता है। आप DNS रिकॉर्ड में सीधे साइट डेटा भी शामिल कर सकते हैं।

उदाहरण के लिए, एक तुच्छ हैश के साथ सामग्री (सीआईडी) के पहचानकर्ता में पाठ स्ट्रिंग "हैलो वर्ल्ड" को एनकोड करें।

आईडी संरचना:

[ ][varint  CID][varint  ][varint ID ][varint  ][] 

चलिए अंत से शुरू करते हैं।

[हैश]

हमारे मामले में तुच्छ हैश ही स्ट्रिंग है। इसे HEX में अनुवाद करते हैं।

 " " = 0x"D09F D180 D0B8 D0B2 D0B5 D182 20 D0BC D0B8 D180" 

यह इस utf-8 एन्कोडेड स्ट्रिंग का HEX है। लेकिन इतना है कि ब्राउज़र यह सुनिश्चित करने के लिए जानता है कि यह एक utf-8 लाइन है, इसे शुरुआत में जोड़ें: 0xEFBBBF । यह एक बाइट अनुक्रम मार्कर (BOM) है।

 0x"EFBBBF D09F D180 D0B8 D0B2 D0B5 D182 20 D0BC D0B8 D180" 

[varint हैश लंबाई]

अब हम "हैश" की लंबाई की गणना कर सकते हैं। हर दो हेक्स वर्ण एक बाइट हैं। तदनुसार, परिणामस्वरूप स्ट्रिंग 22 बाइट्स लंबा है। हेक्स में, यह 0x16 होगा।

लाइन की शुरुआत में 0x16 जोड़ें।

 0x"16 EFBBBF D09F D180 D0B8 D0B2 D0B5 D182 20 D0BC D0B8 D180" 

[varint हैश आईडी]

अब हमें हैश आईडी की जरूरत है। हैश तालिका में तुच्छ हैश या पहचान 0x00 पहचानकर्ता है।

लाइन की शुरुआत में 0x00 जोड़ें।

 0x"00 16 EFBBBF D09F D180 D0B8 D0B2 D0B5 D182 20 D0BC D0B8 D180" 

यह पहले से ही पहचानकर्ता का एक मल्टी-हैश हिस्सा है, आप HEX को Base58 में ट्रांसकोड कर सकते हैं और मल्टी-हैश तैयार है। लेकिन ipfs इसे कंटेंट आइडेंटिफायर (CID) के बाहर नहीं पहचानता है।

चलो आगे बढ़ते हैं।

[प्रकार सामग्री]

अब सामग्री प्रकार प्राप्त करने के लिए मल्टीकोड तालिका देखें। हमारे मामले में, यह कच्चा डेटा है और पहचानकर्ता क्रमशः 0x55 है।

लाइन की शुरुआत में 0x55 जोड़ें।

 0x"55 00 16 EFBBBF D09F D180 D0B8 D0B2 D0B5 D182 20 D0BC D0B8 D180" 

[CID का संस्करण संस्करण]

हम सामग्री पहचानकर्ता के पहले संस्करण के प्रारूप को एनकोड करते हैं। इसलिए, 0x01 जोड़ें।

लाइन की शुरुआत में 0x01 जोड़ें।

 0x"01 55 00 16 EFBBBF D09F D180 D0B8 D0B2 D0B5 D182 20 D0BC D0B8 D180" 

और इसलिए हम पहले से ही फिनिश लाइन पर हैं।

[आधार उपसर्ग]

यह इंगित करता है कि बाइनरी डेटा को पाठ में एन्कोडिंग का कौन सा विकल्प उपयोग किया जाता है।

हेक्स (एफ)

हम HEX आधार उपसर्ग की शुरुआत में सीधे "F" प्रतीक जोड़कर HEX शब्द का उपयोग कर सकते हैं

 F01550016EFBBBFD09FD180D0B8D0B2D0B5D18220D0BCD0B8D180 

हमें उस सामग्री के लिए एक HEX पहचानकर्ता मिला जिसमें utf-8 लाइन है: "हैलो वर्ल्ड"

परीक्षण: / ipfs / F01550016EFBBFD09FD180D0B8D0B2D0B5D18220D0BCD0B8D180

बेस 58btc (z)

Base58btc इसलिए कम होगा

हम अपने HEX स्ट्रिंग को बेस 58btc में अनुवाद करते हैं। आप ऑनलाइन कनवर्टर का उपयोग कर सकते हैं।

 0x"01 55 00 16 EFBBBF D09F D180 D0B8 D0B2 D0B5 D182 20 D0BC D0B8 D180" = "3NDGAEgXCxbPucFFCQc9s5ScqZjqVFNr56P" (base58btc) 

लाइन की शुरुआत में बेस प्रीफिक्स कैरेक्टर base58btc "z" जोड़ें

 z3NDGAEgXCxbPucFFCQc9s5ScqZjqVFNr56P 

हमें बेस 58btc एक कंटेंट आइडेंटिफायर मिला है जिसमें एक utf-8 लाइन है: "हैलो वर्ल्ड"

परीक्षण: / ipfs / z3NDGAEgXCxbPucFFCQc9s5ScqZjqVFNr56P

DAG ब्लॉक

पाठ अच्छा है, लेकिन HTML पृष्ठ को एनकोड करने के लिए हमें DAG निर्देशिका ब्लॉक में इसके डेटा को एम्बेड करना होगा।

यहाँ हमारा HTML है:

 <b><i><u> </u></i></b> 

इसी प्रकार, उपरोक्त निर्देशों के अनुसार, हमें इस पाठ के लिए बेस 58btc में सामग्री पहचानकर्ता प्राप्त होता है:

 zeExnPvBXdTRwCBhfkJ1fHFDaXpdW4ghvQjfaCRHYxtQnd3H4w1MPbLczSqyCqVo 

अब JSON फ़ाइल लिखें:

 { "links": [{ "Cid": { "/": "zeExnPvBXdTRwCBhfkJ1fHFDaXpdW4ghvQjfaCRHYxtQnd3H4w1MPbLczSqyCqVo" }, "Name": "index.html" }], "data": "CAE=" } 

1. "डेटा" डीएजी ब्लॉक के प्रकार को इंगित करता है - निर्देशिका।
2. "लिंक" फ़ाइल लिंक की एक सरणी है।
3. "नाम" क्रमशः फ़ाइल का नाम है।
4. "Cid" में सामग्री पहचानकर्ता है

ipfs dag put -f"protobuf" JSON को IPFS के माध्यम से DAG ब्लॉक में बदलें।

मुझे एक मल्टीश मिला: QmXXixn4rCzGguhxQPjXQ8Mr5rdqwZfJTKkeB6DfZLt8EZ

इस स्तर पर, हमें एक ब्लॉक प्राप्त हुआ जिसमें एक निर्देशिका जिसमें एक फाइल ब्लॉक में अंकित थी।

अगला, इस मल्टीकैश का उपयोग करके, समाप्त ब्लॉक को अनलोड करें

 ipfs block get QmXXixn4rCzGguhxQPjXQ8Mr5rdqwZfJTKkeB6DfZLt8EZ > block.dag 

हम ब्लॉक की सामग्री को HEX में अनुवाद करते हैं:

 0x"123F0A2F0155002BEFBBBF3C623E3C693E3C753ED09FD180D0B8D0B2D0B5D18220D0BCD0B8D1803C2F753E3C2F693E3C2F623E120A696E6465782E68746D6C18000A020801" 

जोड़ना:

1. CID संस्करण (0x01)
2. DAG सामग्री प्रकार (0x70)
3. तुच्छ हैश (0x00)
4. डेटा आकार 69 बाइट्स (0x45)

 0x"01 70 00 45 123F0A2F0155002BEFBBBF3C623E3C693E3C753ED09FD180D0B8D0B2D0B5D18220D0BCD0B8D1803C2F753E3C2F693E3C2F623E120A696E6465782E68746D6C18000A020801" 

Base58btc में कनवर्ट करें और उपसर्ग "z" जोड़ें

 z6S3Z3W1zuRxio8AJC41jRTdyU9pZWnU6sNbvyGyypEdD8JVNdW42ZmGYWKWGbVDELLvJNWcMspaZMUPZKt7JQmhdyXCqq7j37GL 

इस प्रकार, हमें एक निर्देशिका के साथ एक कंटेंट आइडेंटिफायर मिला जिसमें HTML पेज index.html "Hello World" टेक्स्ट के साथ है।

परीक्षण: / ipfs / z6S3Z3W1zuRxio8AJC41jRTdyU9pZWnU6sNbvyGyypEdD8JVNdW42ZmGWWWWWWWVVVELLVJNWWMVWMMZaZMupZKt7JQXMhxXx

इसके अलावा, इस हैश को किसी अन्य ब्लॉक में भी एम्बेड किया जा सकता है या DNS dnslink रिकॉर्ड में दर्ज किया जा सकता है। तो एक ब्लॉक में आप एक छोटी सी साधारण साइट फिट कर सकते हैं।

डीएजी ब्लॉक और प्रोटोकॉल बफ़र्स

DAG ब्लॉक को मैन्युअल रूप से भी इकट्ठा किया जा सकता है। DAG ब्लॉक प्रोटोकॉल बफ़र्स डेटा है। शीर्ष परत merkledag.proto है जिसमें डेटा में unixfs.proto है।

प्रोटोकॉल बफ़र्स

कोई भी प्रोटोबफ़र वेरिंट फ़ील्ड पहचानकर्ता से शुरू होता है। अक्सर एक पहचानकर्ता एक बाइट लेता है क्योंकि उसका कुल मूल्य 0x80 से कम है। हमारे मामले में, पहली बाइट 0x12 है। इस फ़ील्ड के निचले 3 बिट्स प्रकार हैं। शेष प्रोटो फाइल में निर्दिष्ट आईडी है।

लंबाई-सीमांकित

हम पहचानकर्ता को डिक्रिप्ट करते हैं:

 0x12 & 0x07 = 2 (: Length-delimited) 0x12 >> 3 = 2 (ID: 2) 

लंबाई-सीमांकित का मतलब है कि बाइट में फ़ील्ड के आकार और इसके अवयवों के साथ सीधे वार्निश का पालन किया जाता है। इस प्रकार का उपयोग विभिन्न नेस्टेड संरचनाओं और कच्चे डेटा (स्ट्रिंग, बाइट्स, एम्बेडेड संदेश, पैक्ड दोहराया फ़ील्ड) दोनों के लिए किया जाता है। इसमें पहले से ही प्रोटो फाइल क्या परिभाषित करती है।

Varint

दूसरे प्रकार के पहचानकर्ता की व्याख्या करें:

 0x18 & 0x07 = 0 (: Varint) 0x12 >> 3 = 3 (ID: 3) 

वरिंट का मतलब है कि वेरिएंट में मूल्य का तुरंत अनुसरण करता है। इस कंटेनर का उपयोग कई प्रकार के मान (int32, int64, uint32, uint64, sint32, sint64, bool, enum) लिखने के लिए किया जाता है। इसमें जो प्रोटो फाइल को भी परिभाषित करता है।

हम block.dag का विश्लेषण करेंगे, जिसका हमने ऊपर HEX में अनुवाद किया था

एक ब्लॉक को पार्स करने के लिए, आप एक ऐसी साइट का उपयोग कर सकते हैं जो प्रोटॉ फाइल्स का उपयोग किए बिना किसी भी प्रोटोकॉल बफर को स्वचालित रूप से पार्स कर देगा ।

 0x"123F0A2F0155002BEFBBBF3C623E3C693E3C753ED09FD180D0B8D0B2D0B5D18220D0BCD0B8D1803C2F753E3C2F693E3C2F623E120A696E6465782E68746D6C18000A020801" 

हम ब्लॉक को इकट्ठा करते हैं और प्रोटो फाइलों से पहचानकर्ताओं को मैप करते हैं।

 // An IPFS MerkleDAG Link message PBLink { // multihash of the target object optional bytes Hash = 1; // utf string name. should be unique per object optional string Name = 2; // cumulative size of target object optional uint64 Tsize = 3; } // An IPFS MerkleDAG Node message PBNode { // refs to other objects repeated PBLink Links = 2; // opaque user data optional bytes Data = 1; } 

 message Data { enum DataType { Raw = 0; Directory = 1; File = 2; Metadata = 3; Symlink = 4; HAMTShard = 5; } required DataType Type = 1; optional bytes Data = 2; optional uint64 filesize = 3; repeated uint64 blocksizes = 4; optional uint64 hashType = 5; optional uint64 fanout = 6; } 

 12 (: 2 (Length-delimited). ID: 2 (PBLink PBNode.Links (merkledag.proto))) 3F (: 63 ) 0A (: 2 (Length-delimited). ID: 1 (PBLink.Hash)) 2F (: 47 ) 01 55 00 2B (CIDv1 Raw Identity 43 ) EFBBBF3C623E3C693E3C753ED09FD180D0B8D0B2D0B5D18220D0BCD0B8D1803C2F753E3C2F693E3C2F623E = "<b><i><u> </u></i></b>" 12 (: 2 (Length-delimited). ID: 2 (PBLink.Name)) 0A (: 10 ) 696E6465782E68746D6C = "index.html" 18 (: 0 (Varint). ID: 3 (PBLink.Size)) 00 (: 0) 0A (: 2 (Length-delimited). ID: 1 (PBNode.Data = Data (unixfs.proto))) 02 (: 2 ) 08 (: 0 (Varint). ID: 1 (Data.Type)) 01 (1 == Data.DataType.Directory) 

तदनुसार, दो फ़ाइलों वाला एक ब्लॉक इस तरह दिखेगा:

 12 (: 2 (Length-delimited). ID: 2 (PBLink PBNode.Links (merkledag.proto))) 3B (: 59 ) 0A (: 2 (Length-delimited). ID: 1 (PBLink.Hash)) 2F (: 47 ) 01 55 00 2B (CIDv1 Raw Identity 43 ) EFBBBF3C623E3C693E3C753ED09FD180D0B8D0B2D0B5D18220D0BCD0B8D1803C2F753E3C2F693E3C2F623E = "<b><i><u> </u></i></b>" 12 (: 2 (Length-delimited). ID: 2 (PBLink.Name)) 06 (: 6 ) 312E68746D6C = "1.html" 18 (: 0 (Varint). ID: 3 (PBLink.Size)) 00 (: 0) 12 (: 2 (Length-delimited). ID: 2 (PBLink PBNode.Links)) 3B (: 59 ) 0A (: 2 (Length-delimited). ID: 1 (PBLink.Hash)) 2F (: 47 ) 01 55 00 2B (CIDv1 Raw Identity 43 ) EFBBBF3C623E3C693E3C753ED09FD180D0B8D0B2D0B5D18220D0BCD0B8D1803C2F753E3C2F693E3C2F623E = "<b><i><u> </u></i></b>" 12 (: 2 (Length-delimited). ID: 2 (PBLink.Name)) 06 (: 6 ) 322E68746D6C = "2.html" 18 (: 0 (Varint). ID: 3 (PBLink.Size)) 00 (: 0) 0A (: 2 (Length-delimited). ID: 1 (PBNode.Data = Data(unixfs.proto))) 02 (: 2 ) 08 (: 0 (Varint). ID: 1 (Data.Type)) 01 (1 == Data.DataType.Directory) 

यही है, PBNode.Links (0x12) फ़ील्ड को ब्लॉक में रखी जाने वाली फ़ाइलों की संख्या के रूप में कई बार दोहराया जाता है।

जाँच करने के लिए, "F 01 70 00" (HEX CIDv1 DAG पहचान) और DAG ब्लॉक का आकार "7E" (126 बाइट्स) जोड़ें

 F 01 70 00 7E 12 3B 0A 2F 01 55 00 2B EFBBBF3C623E3C693E3C753ED09FD180D0B8D0B2D0B5D18220D0BCD0B8D1803C2F753E3C2F693E3C2F623E 12 06 312E68746D6C 18 00 12 3B 0A 2F 01 55 00 2B EFBBBF3C623E3C693E3C753ED09FD180D0B8D0B2D0B5D18220D0BCD0B8D1803C2F753E3C2F693E3C2F623E 12 06 322E68746D6C 18 00 0A 02 08 01 

जाँच करें: / ipfs / F0170007E123B0A2F0155002BEFBBBF3C623E3C693E3C753ED09FD180D0B8D0B2D0B5D18220D0BCD0B8D1803C2F753E3C2F693E3C2F623E1206312E68746D6C1800123B0A2F0155002BEFBBBF3C623E3C693E3C753ED09FD180D0B8D0B2D0B5D18220D0BCD0B8D1803C2F753E3C2F693E3C2F623E1206322E68746D6C18000A020801

निष्कर्ष

मुझे उम्मीद है कि मैंने पर्याप्त जानकारी दी है ताकि ब्लॉक और पहचानकर्ताओं के निर्माण को लागू करना संभव हो।