टेलीग्राम। असीमित नेटवर्क ड्राइव। मुक्त

हाय, हैब्र।

निश्चित रूप से बहुत से लोगों ने इसके बारे में सोचा, शायद किसी को यह विचार TODO में है। वह मेरे साथ लगभग एक साल तक रही, लेकिन फिर भी इसे एक कार्यशील प्रोटोटाइप के रूप में लागू करने में सफल रही।

TgCloud:

• ओपन सोर्स वर्चुअल फाइल सिस्टम g **** कोड।
• स्थानीय डिस्क पर - केवल मेटाडेटा: नाम, आकार, फ़ोल्डर संरचना, आदि।
• डेटा टेलीग्राम में संग्रहित किया जाता है और फ़ाइल के साथ काम करने पर ही डाउनलोड किया जाता है
• फ़ाइलों का आकार और प्रकार सीमित नहीं है, किसी भी ओएस के साथ उपयोग किया जा सकता है

कार्यान्वयन विवरण और बिल्ली के नीचे भंडार का एक लिंक।

विचार

टेलीग्राम पर आधारित VFS बनाने का विचार AudioTubeBot और VideoTubeBot पर काम करने के दौरान आया - जब मुझे बॉट्स के लिए फ़ाइलों को डाउनलोड करने के लिए 50mb की सीमा प्राप्त करने का एक तरीका मिला - मैंने टेलीग्राम स्रोत कोड का अध्ययन किया - मुझे बहुत सी दिलचस्प चीजों का पता चला। उदाहरण के लिए, डाउनलोड की गति ज्यादातर क्लाइंट पर ही सीमित होती है, न कि सर्वर पर।

नतीजतन, मैंने टेलीग्राम क्लाउड पर डाउनलोड गति को बढ़ाकर ~ 240mbit / s प्रति सत्र कर दिया (यह एक साल से अधिक समय से लगातार काम कर रहा है), जो आधिकारिक क्लाइंट की गति से 15 गुना तेज है।

तार्किक कदम नेटवर्क ड्राइव के रूप में उच्च डाउनलोड गति के साथ असीमित फ़ाइल भंडारण का उपयोग करना था - सबसे अधिक संभावना कई ऐसा करते हैं, लेकिन समस्या यह है कि टेलीग्राम क्लाइंट फ़ाइलों को खोजने और व्यवस्थित करने के लिए उपयोग करने में असुविधाजनक हैं। इसके अलावा, प्रति फ़ाइल आकार 1.5 जीबी की सीमा है।

फ्यूज

इन समस्याओं को हल करने के लिए, मैंने पहली बार लिनक्स कर्नेल पैच बनाने और अपनी खुद की वर्चुअल फाइल सिस्टम बनाने का फैसला किया, जो केवल मेटाडेटा का उपयोग करके टेलीग्राम पर अपलोड की गई फ़ाइलों को आसानी से समूहित करेगा।

समस्या का अध्ययन करने की प्रक्रिया में, यह पता चला कि कर्नेल को पैच करना बिल्कुल भी आवश्यक नहीं है। लिनक्स में एक विशेष FUSE कर्नेल मॉड्यूल है जो डेवलपर्स को नई प्रकार की फ़ाइल सिस्टम बनाने की अनुमति देता है जो उपयोगकर्ताओं को विशेषाधिकारों के बिना माउंट करने के लिए सुलभ हैं। मॉड्यूल के लिए लगभग सभी लोकप्रिय भाषाओं के रैपर हैं।

Telethon

टेलीग्राम तक पहुंचने के लिए, मैं संशोधित बहु-थ्रेडेड फ़ाइल अपलोड (TelegramClientX) के साथ टेलीथॉन लाइब्रेरी संस्करण 0.19.1 का उपयोग करता हूं।

वीएफएस

स्क्रैच से फाइल सिस्टम न लिखने के लिए - पायथन डडुपफ्स का उपयोग किया जाता है, मेटाडेटा के भंडारण के लिए फ्यूज और साइक्लाईट का उपयोग करते हुए, जो फाइलों को ब्लॉक में तोड़ता है, शा 1 हैश को मानता है और उसी ब्लॉकों को फिर से उपयोग करता है - आपको अपने साथ भंडारण में डेटा लोड करने के तरीकों को बदलने की आवश्यकता है।

TgCloud

यह सब मिलाकर, यह अब तक अंतरिक्ष गति के बिना tgcloud का एक कार्यशील प्रोटोटाइप बन गया है, लेकिन अभी भी काम कर रहा है, मुझे समुदाय को विकास के लिए आकर्षित करने की उम्मीद है। डाउनलोड की गई फ़ाइलों को 10 एमबी के ब्लॉक में विभाजित किया जाता है, sha1 की गणना की जाती है और उसे SavedMessages में लोड किया जाता है, हैश को स्थानीय डेटाबेस में संग्रहीत किया जाता है और ब्लॉक को पढ़ते समय, फ़ाइल उस पर स्थित होती है। ब्लॉक को आवश्यक क्रम में एक साथ चिपकाया जाता है और बाइट्स की एक धारा जारी की जाती है - जैसे कि आप उन्हें डिस्क से पढ़ रहे हैं।

कोड चलाने के लिए

• आपको my.telegram.org पर api_hash और api_id प्राप्त करने और tg_access.py में अपने खाते के फ़ोन नंबर के साथ यह डेटा सम्मिलित करने की आवश्यकता है
• प्रोजेक्ट फ़ोल्डर से चलाकर एक सत्र बनाएँ
  
  

  python3.6 download_service.py

  
  
• 
  
  

  sudo yum install python-fuse

• 
  
  

  mkdir storage

• VFS:
  
  
  

  python dedupfs/dedupfs.py -df --block-size 10240000 storage/

  
  
  
  

  python dedupfs/dedupfs.py --block-size 10240000 storage/

• , filebrowser

.

P.S. ( )

— , .. — « », — — , , — — . — , , 90% , VFS — .
— , — , Telegram — « — .. ..»

Telegram

GitHub

---

DEDIC.SH Intel Scalable 2019 :

• 2x Xeon Silver 4214 — 24
• 2x Xeon Gold 5218 — 32
• 2x Xeon Gold 6240 — 36 .

Xeon Silver 4214 — 15210 /
— !

— VDS 150 / — , !