🛥️ 👼🏻 🤙🏼 ज़िप आर्काइव कैसा दिखता है और हम इसके साथ क्या कर सकते हैं। भाग 3

लेख की निरंतरता ज़िप संग्रह कैसे दिखता है और हम इसके साथ क्या कर सकते हैं। भाग 2 - डेटा डिस्क्रिप्टर और संपीड़न ।

प्रिय पाठकों, मैं फिर से PHP में अपरंपरागत प्रोग्रामिंग के हस्तांतरण के लिए आपका स्वागत करता हूं। यह समझने के लिए कि क्या हो रहा है, मैं सुझाव देता हूं कि आप ज़िप अभिलेखागार के बारे में पिछले दो लेख पढ़ें: ज़िप संग्रह कैसा दिखता है और हम इसके साथ क्या कर सकते हैं ? एक ज़िप संग्रह कैसा दिखता है और हम इसके साथ क्या कर सकते हैं। भाग 2 - डेटा डिस्क्रिप्टर और संपीड़न

इससे पहले, मैंने केवल PHP कोड का उपयोग करके और किसी भी लाइब्रेरी और एक्सटेंशन (मानक ज़िप सहित) का उपयोग नहीं करने के लिए अभिलेखागार बनाने के बारे में बात की, और कुछ उपयोग परिदृश्यों का भी उल्लेख किया। आज मैं इनमें से एक परिदृश्य का उदाहरण देने की कोशिश करूंगा।

हम एक दूरस्थ सर्वर पर संग्रह में चित्रों को संग्रहीत करेंगे, और यदि आवश्यक हो, तो संग्रह को डाउनलोड या अनपैक किए बिना उपयोगकर्ता को एक विशिष्ट तस्वीर दिखाएं, लेकिन केवल सर्वर से डेटा प्राप्त करना, विशेष रूप से चित्र लिया और कुछ भी नहीं (अच्छी तरह से, किसी ने हेडर के साथ ओवरहेड को रद्द नहीं किया है) लेकिन फिर भी)।

खाना पकाने

मेरी एक पालतू परियोजना में एक सरल स्क्रिप्ट है जिसका उपयोग मैं चित्रों का एक गुच्छा डाउनलोड करने और उन्हें संग्रह में सहेजने के लिए करता हूं। स्क्रिप्ट STDIN में प्रवेश करने के लिए json में लिंक की एक सूची को स्वीकार करता है, संग्रह को STDOUT में देता है, और STDERR में एक सरणी संरचना के साथ json (बेशक, यह थोड़ा अधिक है और यह मूल PHP का उपयोग करके एक संग्रह बनाने के लिए आवश्यक नहीं है, आप इसके लिए अधिक उपयुक्त टूल का उपयोग कर सकते हैं, और फिर बस संरचना पढ़ें - मैं भविष्य में इस बिंदु को उजागर करने की कोशिश करूंगा, लेकिन इस स्तर पर, यह मुझे लगता है, यह अधिक स्पष्ट होगा)।

यह स्क्रिप्ट, कुछ संशोधनों के साथ, मैं नीचे उद्धृत करता हूं:

zip.php

<?php $buffer = ''; while (!feof(STDIN)) { $buffer .= fread(STDIN, 4096); } $photos = json_decode($buffer, true, 512, JSON_THROW_ON_ERROR); $skeleton = ['files' => []]; $written = 0; [$written, $skeleton] = writeZip($written, $skeleton, $photos); $CDFH_Offset = $written; foreach ($skeleton['files'] as $index => $info) { $written += fwrite(STDOUT, $info['CDFH']); $skeleton['files'][$index]['CDFH'] = base64_encode($info['CDFH']); } $skeleton['EOCD'] = pack('LSSSSLLS', 0x06054b50, 0, 0, $records = count($skeleton['files']), $records, $written - $CDFH_Offset, $CDFH_Offset, 0); $written += fwrite(STDOUT, $skeleton['EOCD']); $skeleton['EOCD'] = base64_encode($skeleton['EOCD']); fwrite(STDERR, json_encode($skeleton)); function writeZip($written, $skeleton, $files) { $c = curl_init(); curl_setopt_array($c, [ CURLOPT_RETURNTRANSFER => 1, CURLOPT_TIMEOUT => 50, CURLOPT_FOLLOWLOCATION => true, ]); foreach ($files as $index => $url) { $fileName = $index . '.jpg'; for ($i = 0; $i < 1; $i++ ) { try { curl_setopt($c, CURLOPT_URL, $url); [$content, $code, $contentLength] = [ curl_exec($c), (int) curl_getinfo($c, CURLINFO_HTTP_CODE), (int) curl_getinfo($c, CURLINFO_CONTENT_LENGTH_DOWNLOAD) ]; if ($code !== 200) { throw new \Exception("[{$index}] " . 'Photo download error (' . $code . '): ' . curl_error($c)); } if (strlen($content) !== $contentLength) { var_dump(strlen($content), $contentLength); throw new \Exception("[{$index}] " . 'Different content-length'); } if ((false === $imageSize = @getimagesizefromstring($content)) || $imageSize[0] < 1 || $imageSize[1] < 1) { throw new \Exception("[{$index}] " . 'Broken image'); } [$width, $height] = $imageSize; $t = null; break; } catch (\Throwable $t) {} } if ($t !== null) { throw new \Exception('Error: ' . $index . ' > ' . $url, 0, $t); } $fileInfo = [ 'versionToExtract' => 10, 'generalPurposeBitFlag' => 0, 'compressionMethod' => 0, 'modificationTime' => 28021, 'modificationDate' => 20072, 'crc32' => hexdec(hash('crc32b', $content)), 'compressedSize' => $size = strlen($content), 'uncompressedSize' => $size, 'filenameLength' => strlen($fileName), 'extraFieldLength' => 0, ]; $LFH_Offset = $written; $skeleton['files'][$index] = [ 'LFH' => pack('LSSSSSLLLSSa*', 0x04034b50, ...array_values($fileInfo + ['filename' => $fileName])), 'CDFH' => pack('LSSSSSSLLLSSSSSLLa*', 0x02014b50, 798, ...array_values($fileInfo + [ 'fileCommentLength' => 0, 'diskNumber' => 0, 'internalFileAttributes' => 0, 'externalFileAttributes' => 2176057344, 'localFileHeaderOffset' => $LFH_Offset, 'filename' => $fileName, ])), 'width' => $width, 'height' => $height, ]; $written += fwrite(STDOUT, $skeleton['files'][$index]['LFH']); $written += fwrite(STDOUT, $content); $skeleton['files'][$index]['LFH'] = base64_encode($skeleton['files'][$index]['LFH']); } curl_close($c); return [$written, $skeleton]; }

चलो इसे कहीं बचाएं, zip.php पर कॉल करें और इसे चलाने का प्रयास करें।

मेरे पास पहले से ही लिंक की तैयार सूची है, मैं इसका उपयोग करने की सलाह देता हूं, क्योंकि ~ 18mb के बारे में चित्र हैं, और हमें कुल संग्रह का आकार 20mb से अधिक नहीं होने की आवश्यकता है (थोड़ा बाद में मैं बताऊंगा क्यों) - https://gist.githubusercentent.com /userqq/d0ca3aba6b6762c9ce5bc3ace92a9f9e/raw/70f446eb98f1ba6838ad3c19c3346cba371fd263/photos.json

हम इस तरह से चलेंगे:

 $ curl -s \ https://gist.githubusercontent.com/userqq/d0ca3aba6b6762c9ce5bc3ace92a9f9e/raw/70f446eb98f1ba6838ad3c19c3346cba371fd263/photos.json \ | php zip.php \ 2> structure.json \ 1> photos.zip

जब स्क्रिप्ट अपना काम पूरा कर लेती है , तो आउटपुट पर हमें दो फाइलें मिलनी चाहिए- फोटो.जिप , मैं इसे कमांड से जांचने की सलाह देता हूं:

 $ unzip -tq photos.zip

और स्ट्रक्चर.जसन , जिसमें हम अपने संग्रह में मौजूद हर चीज के बेस 64 के साथ जोंस को स्टोर करते हैं, केवल डेटा को छोड़कर - सभी एलएफएच और सीडीएफएच संरचनाओं, साथ ही ईओसीडी। मुझे अभी तक संग्रह से अलग ईओसीडी का कोई व्यावहारिक अनुप्रयोग दिखाई नहीं दे रहा है, लेकिन फ़ाइल की शुरुआत के सापेक्ष एलएफएच ऑफसेट की स्थिति और डेटा लंबाई सीडीएफएच में इंगित की गई है। इसलिए, LFH की लंबाई जानने के बाद, हम निश्चित रूप से यह जान सकते हैं कि डेटा किस स्थिति से शुरू होगा और कहाँ समाप्त होगा।

अब हमें अपनी फाइल को कुछ रिमोट सर्वर पर अपलोड करने की आवश्यकता है।

उदाहरण के लिए, मैं टेलीग्राम बॉट का उपयोग करूंगा - यह सबसे आसान है, यही वजह है कि 20mb सीमा में फिट होना इतना महत्वपूर्ण था।

@BotFather के साथ बॉट रजिस्टर करें, यदि आपके पास पहले से एक नहीं है, तो अपने बॉट में आपका स्वागत है, अपने संदेश के लिए कुछ लिखें, https://api.telegram.org/bot परिकल्पनाTOKEN►►/getUpdates में अपना संदेश देखें , जहां से मैसेज अलग करें। संपत्ति से .id = यह आपके चैट बॉट की आईडी है।

पिछले चरण में प्राप्त किए गए हमारे संग्रह को अपने साथ भरें:

 $ curl -F document=@"photos.zip" "https://api.telegram.org/bot{{TOKEN}}/sendDocument?chat_id={{CHAT ID}}" > stored.json

अब हमारे पास पहले से ही दो json files - structure.json और store.json हैं ।

और अगर सबकुछ ठीक हो गया, तो संग्रहीत.जेसन फ़ाइल में ठीक के बराबर ठीक फ़ील्ड्स के साथ json होगा, और result.document.file_id, जो हमें चाहिए।

प्रोटोटाइप

अब जब सब कुछ आखिरकार तैयार हो गया है, चलो व्यापार के लिए नीचे उतरें:

 <?php define('TOKEN', ''); //    $structure = json_decode(file_get_contents('structure.json'), true, 512, JSON_THROW_ON_ERROR); $stored = json_decode(file_get_contents('stored.json'), true, 512, JSON_THROW_ON_ERROR); $selectedFile = $structure['files'][array_rand($structure['files'])]; $LFH = base64_decode($selectedFile['LFH']); $CDFH = base64_decode($selectedFile['CDFH']); $fileLength = unpack('Llen', substr($CDFH, 24, 4))['len']; $fileStart = unpack('Lpos', substr($CDFH, 42, 4))['pos'] + strlen($LFH); $fileEnd = $fileStart + $fileLength; $response = json_decode(file_get_contents('https://api.telegram.org/bot' . TOKEN . '/getFile?' . http_build_query([ 'file_id' => $stored['result']['document']['file_id'] ])), true, 512, JSON_THROW_ON_ERROR); header('Content-Type: image/jpeg'); readfile('https://api.telegram.org/file/bot' . TOKEN . '/' . $response['result']['file_path'], false, stream_context_create([ 'http' => ['header' => "Range: bytes={$fileStart}-{$fileEnd}"] ]));

इस स्क्रिप्ट में, हम उस सूची से एक यादृच्छिक फ़ाइल का चयन करते हैं जो हमारे पास संग्रह में है, LFH की शुरुआत की स्थिति का पता लगाएं, इसमें LFH की लंबाई जोड़ें और इस प्रकार संग्रह में किसी विशेष फ़ाइल के डेटा की शुरुआत की स्थिति प्राप्त करें।

इसमें फ़ाइल की लंबाई जोड़कर, हमें डेटा के अंत की स्थिति मिलती है।

यह फ़ाइल का पता स्वयं प्राप्त करने के लिए रहता है (यह एक टेलीग्राम के साथ एक विशेष मामले में है) और फिर यह हेडिंग Range: bytes=<->-<-> साथ अनुरोध करने के लिए पर्याप्त है Range: bytes=<->-<->

(मानकर सर्वर रेंज अनुरोधों का समर्थन करता है)

परिणामस्वरूप, निर्दिष्ट स्क्रिप्ट तक पहुँचने पर, हम अपने संग्रह से एक यादृच्छिक छवि की सामग्री देखेंगे।

नहीं, ठीक है, यह गंभीर नहीं है ...

यह बिना कहे चला जाता है कि GetFile के अनुरोध को कैश किया जाना चाहिए, क्योंकि टेलीग्राम यह गारंटी देते हैं कि लिंक कम से कम एक घंटे तक जीवित रहेगा। सामान्य तौर पर, यह उदाहरण और कुछ नहीं बल्कि यह दिखाने के लिए अच्छा है कि यह काम करता है।

चलो थोड़ा कठिन प्रयास करें - यह सब amphp पर चलाएं। आखिरकार, लोग नोड.जेएस पर उत्पादन में स्टैटिक्स वितरित कर रहे हैं, लेकिन हमें क्या रोकता है (अच्छी तरह से, सामान्य ज्ञान के अलावा, निश्चित रूप से)? हमारे यहां भी अतुल्यकालिक है, आप जानते हैं।

हमें 3 पैकेजों की आवश्यकता होगी:

amphp / http-server - जाहिर है, जिस सर्वर पर हम फाइलें वितरित करेंगे
amphp / artax - http-client जिसके साथ हम डेटा को बाहर निकालेंगे , साथ ही कैश में फाइल का सीधा लिंक अपडेट करेंगे।
amphp / समानांतर मल्टीथ्रेडिंग और सभी के लिए एक पुस्तकालय है। लेकिन डरो मत, हमें इसमें से केवल SharedMemoryParcel की आवश्यकता है, जो हमें एक im-memory कैश के रूप में काम करेगा।

हम आवश्यक निर्भरताएँ रखते हैं:

 $ composer require amphp/http-server amphp/artax amphp/parallel

और यह लिखें

लिपि

 <?php define('TOKEN', ''); //    use Amp\Artax\DefaultClient; use Amp\Artax\Request as ArtaxRequest; use Amp\Http\Server\RequestHandler\CallableRequestHandler; use Amp\Http\Server\Server as HttpServer; use Amp\Http\Server\Request; use Amp\Http\Server\Response; use Amp\Http\Status; use Amp\Parallel\Sync\SharedMemoryParcel; use Amp\Socket; use Psr\Log\NullLogger; require 'vendor/autoload.php'; Amp\Loop::run(function () { $structure = json_decode(file_get_contents('structure.json'), true, 512, JSON_THROW_ON_ERROR); $stored = json_decode(file_get_contents('stored.json'), true, 512, JSON_THROW_ON_ERROR); $parcel = SharedMemoryParcel::create($id = bin2hex(random_bytes(10)), []); $client = new DefaultClient(); $handler = function (Request $request) use ($parcel, $client, $structure, $stored) { $cached = yield $parcel->synchronized(function (array $value) use ($client, $stored) { if (!isset($value['file_path']) || $value['expires'] <= time()) { $response = yield $client->request('https://api.telegram.org/bot' . TOKEN . '/getFile?' . http_build_query([ 'file_id' => $stored['result']['document']['file_id'] ])); $json = json_decode(yield $response->getBody(), true, 512, JSON_THROW_ON_ERROR); $value = ['file_path' => $json['result']['file_path'], 'expires' => time() + 55 * 60]; } return $value; }); $selectedFile = $structure['files'][array_rand($structure['files'])]; $LFH = base64_decode($selectedFile['LFH']); $CDFH = base64_decode($selectedFile['CDFH']); $fileLength = unpack('Llen', substr($CDFH, 24, 4))['len']; $fileStart = unpack('Lpos', substr($CDFH, 42, 4))['pos'] + strlen($LFH); $fileEnd = $fileStart + $fileLength; $request = (new ArtaxRequest('https://api.telegram.org/file/bot' . TOKEN . '/' . $cached['file_path'])) ->withHeader('Range', "bytes={$fileStart}-{$fileEnd}"); $response = yield $client->request($request); if (!in_array($response->getStatus(), [200, 206])) { return new Response(Status::SERVICE_UNAVAILABLE, ['content-type' => 'text/plain'], "Service Unavailable."); } return new Response(Status::OK, ['content-type' => 'image/jpeg'], $response->getBody()); }; $server = new HttpServer([Socket\listen("0.0.0.0:10051")], new CallableRequestHandler($handler), new NullLogger); yield $server->start(); Amp\Loop::onSignal(SIGINT, function (string $watcherId) use ($server) { Amp\Loop::cancel($watcherId); yield $server->stop(); }); });

हमें परिणाम के रूप में क्या मिलता है: हमारे पास अब एक कैश है जहां हम 55 मिनट के लिए एक दस्तावेज़ के लिए लिंक सहेजते हैं, जो यह भी सुनिश्चित करता है कि अगर हम कैश समाप्त हो जाता है, तो हम कई बार एक पंक्ति में एक लिंक का अनुरोध नहीं करेंगे। खैर, यह सब PHP-FPM (या, भगवान ना करे, PHP-CGI) के साथ रीडफ़ाइल की तुलना में स्पष्ट रूप से आसान है।

इसके अलावा, आप amphp उदाहरण पूल - SharedMemoryParcel को बढ़ा सकते हैं, इसके नाम से संकेत मिलता है कि हमारा कैश प्रक्रियाओं / थ्रेड्स के बीच फूट जाएगा। खैर, या, यदि आपके पास अभी भी इस डिजाइन की विश्वसनीयता के बारे में स्वस्थ चिंताएं हैं, तो प्रॉक्सी_पास और नेग्नेक्स ।

सामान्य तौर पर, विचार नए से दूर है और यहां तक कि दाढ़ी वाले वर्षों में भी DownloadMaster ने आपको पूरे संग्रह को डाउनलोड किए बिना ज़िप संग्रह से एक विशिष्ट फ़ाइल डाउनलोड करने की अनुमति दी है, इसलिए संरचना को अलग से संग्रहीत करना आवश्यक नहीं है, लेकिन यह कुछ अनुरोधों को सहेजता है। क्या हो सकता है, उदाहरण के लिए, हम फ़ाइल को उड़ने वाले पर उपयोगकर्ता को प्रॉक्सी करना चाहते हैं, यह अनुरोध की गति को बहुत प्रभावित करता है।

यह क्यों काम आ सकता है? इनकोड को बचाने के लिए, उदाहरण के लिए, जब आपके पास लाखों छोटी फाइलें हैं और उन्हें सीधे डेटाबेस में संग्रहीत नहीं करना चाहते हैं, तो आप एकल फ़ाइल प्राप्त करने के लिए ऑफसेट को जानते हुए, उन्हें अभिलेखागार में संग्रहीत कर सकते हैं।

या यदि आप फ़ाइलों को दूरस्थ रूप से संग्रहीत कर रहे हैं। 20 ग्राम के टेलीग्राम में, आप निश्चित रूप से घूम नहीं सकते हैं, लेकिन कौन जानता है, अन्य विकल्प हैं।

ज़िप आर्काइव कैसा दिखता है और हम इसके साथ क्या कर सकते हैं। भाग 3 - व्यावहारिक अनुप्रयोग

खाना पकाने

प्रोटोटाइप

नहीं, ठीक है, यह गंभीर नहीं है ...

More articles: