हम nginx का उपयोग करके Google ड्राइव से फ़ाइलें वितरित करते हैं

प्रागितिहास

यह सिर्फ इतना हुआ कि मुझे 1.5tb से अधिक डेटा स्टोर करने के लिए कहीं न कहीं जरूरत थी, और यहां तक ​​कि आम उपयोगकर्ताओं द्वारा उन्हें डायरेक्ट लिंक के माध्यम से डाउनलोड करने की क्षमता भी प्रदान की गई। चूँकि पारंपरिक रूप से मेमोरी की इतनी मात्रा पहले ही VDS में चली जाती है, जिसके किराये की लागत भी प्रोजेक्ट बजट में "कुछ नहीं करना" श्रेणी से निवेशित नहीं है, और स्रोत डेटा से मेरे पास VPS 400GB SSD था, जहाँ मैं बिना नुकसान रहित संपीड़न के 1.5TB चित्र नहीं लगा सकता था। सफल होंगे।

और फिर मुझे याद आया कि यदि आप Google ड्राइव से जंक हटाते हैं, जैसे कि केवल विंडोज़ एक्सपी पर चलने वाले प्रोग्राम, और अन्य चीजें जो मेरे मीडिया से मीडिया तक भटकती हैं, क्योंकि इंटरनेट इतनी तेजी से और पूरी तरह से नहीं था असीमित नहीं (उदाहरण के लिए, वर्चुअल बॉक्स के उन 10-20 संस्करणों में उदासीन के अलावा कोई भी मूल्य होने की संभावना नहीं थी), तो सब कुछ बहुत अच्छी तरह से फिट होना चाहिए। जल्दी से नहीं कहा। और इसलिए, एपि को अनुरोधों की संख्या की सीमा के माध्यम से अपना रास्ता बनाते हुए (वैसे, समस्याओं के बिना तकनीकी समर्थन ने प्रति उपयोगकर्ता अनुरोधों का कोटा 100 सेकंड में 10,000 तक बढ़ा दिया), डेटा जल्दी से उनकी आगे की तैनाती के स्थान पर प्रवाहित हुआ।

सब कुछ ठीक लग रहा है, लेकिन अब इसे अंतिम उपयोगकर्ता तक पहुंचाने की जरूरत है। इसके अलावा, वहाँ अन्य संसाधनों के लिए किसी भी पुनर्निर्देशन के बिना, और इतना है कि एक व्यक्ति बस "डाउनलोड" बटन पर क्लिक करता है और क़ीमती फ़ाइल का भाग्यशाली मालिक बन जाता है।

तब मैं, गंभीर होकर, सभी गंभीर तरीकों से सेट हो गया। सबसे पहले यह एमईपीपीपी पर एक स्क्रिप्ट थी, लेकिन मैं इसे बनाए गए लोड (स्टार्टअप पर 100% कर्नेल की खपत में तेज उछाल) से संतुष्ट नहीं था। तब ReactPHP के लिए कर्ल आवरण कार्रवाई में चला गया, जो पूरी तरह से सीपीयू घड़ी चक्रों की खपत संख्या के लिए मेरी इच्छाओं में फिट होता है, लेकिन यह गति बिल्कुल भी नहीं देता था जो मैं चाहता था (यह निकला कि आप कॉल इंटरल कर्ल_मूल्टि_सेल को कम कर सकते हैं, लेकिन फिर हमारे पास पहले विकल्प के लिए समान लोलुपता है। )। मैंने रुस्त में एक छोटी सी सेवा लिखने की भी कोशिश की, और यह काफी तेज (यहां तक ​​कि आश्चर्यजनक रूप से, यह मेरे ज्ञान के साथ काम किया), लेकिन मैं और अधिक चाहता था, और इसे अनुकूलित करना आसान नहीं था। इसके अलावा, इन सभी समाधानों ने किसी न किसी तरह से अजीब जवाब दिया, और मैं उस क्षण को ट्रैक करना चाहता था जब सबसे बड़ी सटीकता के साथ फ़ाइल डाउनलोड समाप्त हो गई।

सामान्य तौर पर, थोड़ी देर के लिए यह आस्क्यू था, लेकिन यह काम करता था। एक दिन पहले तक मुझे एक अद्भुत भ्रम का विचार था: सिद्धांत में नग्नेक्स जो मैं चाहता हूं वह कर सकता है, यह तेज काम करता है, और यहां तक ​​कि कॉन्फ़िगरेशन के साथ सभी प्रकार की विकृतियों की अनुमति देता है। हमें कोशिश करनी होगी - क्या होगा अगर यह काम करता है? और लगातार खोजों के आधे दिन के बाद, एक समाधान कई महीनों तक काम कर रहा था जो मेरी सभी आवश्यकताओं को पूरा करता था।

NGINX कस्टमाइज़ करें

#         . location ~* ^/google_drive/(.+)$ { #       (,     ). internal; #       (  ). limit_rate 1m; #   nginx    google drive    . resolver 8.8.8.8; # C     (    ). set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media; #    Content-Disposition ,        . set $content_disposition 'attachment; filename="$upstream_http_filename"'; #     . proxy_max_temp_file_size 0; # ,  ,     (  ,     $http_upstream    .   ,     -  ,      ). proxy_set_header Authorization 'Bearer $1'; #  ,         . proxy_pass $download_url; #              . add_header Content-Disposition $content_disposition; #        . proxy_hide_header Content-Disposition; proxy_hide_header Alt-Svc; proxy_hide_header Expires; proxy_hide_header Cache-Control; proxy_hide_header Vary; proxy_hide_header X-Goog-Hash; proxy_hide_header X-GUploader-UploadID; } 

 location ~* ^/google_drive/(.+)$ { internal; limit_rate 1m; resolver 8.8.8.8; set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media; set $content_disposition 'attachment; filename="$upstream_http_filename"'; proxy_max_temp_file_size 0; proxy_set_header Authorization 'Bearer $1'; proxy_pass $download_url; add_header Content-Disposition $content_disposition; proxy_hide_header Content-Disposition; proxy_hide_header Alt-Svc; proxy_hide_header Expires; proxy_hide_header Cache-Control; proxy_hide_header Vary; proxy_hide_header X-Goog-Hash; proxy_hide_header X-GUploader-UploadID; } 

इस सारी खुशी को प्रबंधित करने के लिए एक स्क्रिप्ट लिखना

उदाहरण PHP में होगा और जानबूझकर न्यूनतम बॉडी किट के साथ लिखा जाएगा। मुझे लगता है कि जिस किसी को भी किसी अन्य भाषा के साथ अनुभव है, वह मेरे उदाहरण का उपयोग करके इस लेख को एकीकृत करने में सक्षम होगा।

 <?php #   Google Drive Api. define('TOKEN', '*****'); # ID     $fileId = 'abcdefghijklmnopqrstuvwxyz1234567890'; # ,         -    ? http_response_code(204); #   c ID  (  nginx      $upstream_http_file_id). header('File-Id: ' . $fileId); #      ( $upstream_http_filename). header('Filename: ' . 'test.zip'); #  .       ,  ,     $1  nginx. header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN)); 

परिणाम

सामान्य तौर पर, यह विधि किसी भी क्लाउड स्टोरेज से उपयोगकर्ताओं को फ़ाइलों के वितरण को व्यवस्थित करने के लिए काफी आसान बनाती है। हां, यहां तक ​​कि टेलीग्राम या वीके से, (बशर्ते कि फ़ाइल का आकार इस भंडार के लिए स्वीकार्य आकार से अधिक न हो)। मुझे यह एक के समान एक विचार था, लेकिन दुर्भाग्य से मैं 2 जीबी तक की फाइलों के पार आता हूं, और मुझे अभी तक अपस्ट्रीम से जवाबों को देखने के लिए कोई रास्ता या मॉड्यूल नहीं मिला है, इस परियोजना के लिए कुछ रैपर लिखना अनुचित रूप से श्रमसाध्य है।

आपका ध्यान के लिए धन्यवाद। मुझे उम्मीद है कि मेरी कहानी कम से कम आपके लिए थोड़ी दिलचस्प या उपयोगी थी।