लाखों छोटी फाइलों का कुशल भंडारण। स्व-होस्टेड समाधान

प्रिय समुदाय, यह लेख सैकड़ों लाखों छोटी फाइलों के कुशल भंडारण और वितरण पर ध्यान केंद्रित करेगा। इस स्तर पर, POSIX संगत फ़ाइल सिस्टम के लिए अंतिम समाधान ताले के लिए पूर्ण समर्थन के साथ, क्लस्टर वाले और यहां तक ​​कि बैसाखी के बिना भी प्रस्तावित है।

इसलिए, इस उद्देश्य के लिए मैंने अपना स्वयं का विशेष सर्वर लिखा।
इस कार्य के दौरान, डिस्क स्पेस और रैम को बचाने के तरीके के साथ, मुख्य समस्या को हल करना संभव था, जिसे हमारे क्लस्टर फाइल सिस्टम ने निर्दयता से खाया। दरअसल, ऐसी कई फाइलें किसी भी क्लस्टर्ड फाइल सिस्टम के लिए हानिकारक होती हैं।

विचार यह है:

सरल शब्दों में, छोटी फ़ाइलों को सर्वर के माध्यम से अपलोड किया जाता है, उन्हें सीधे संग्रह में सहेजा जाता है, और इसे भी पढ़ा जाता है, और बड़ी फ़ाइलों को पास में रखा जाता है। स्कीम: 1 फोल्डर = 1 आर्काइव, कुल मिलाकर हमारे पास कई मिलियन अभिलेख हैं जिनमें छोटी फाइलें हैं, न कि कई सौ मिलियन फाइलें। और यह सब पूरी तरह से लागू किया गया है, बिना किसी स्क्रिप्ट और टार / ज़िप अभिलेखागार में फ़ाइलों को तह किए बिना।

मैं इसे कमतर करने की कोशिश करूंगा, मैं पहले से माफी मांगता हूं कि क्या पद क्षमता होगी।

यह सब इस तथ्य के साथ शुरू हुआ कि मुझे दुनिया में एक उपयुक्त सर्वर नहीं मिला जो HTTP प्रोटोकॉल के माध्यम से प्राप्त डेटा को सीधे अभिलेखागार में सहेज सकता था, ताकि साधारण अभिलेखागार और ऑब्जेक्ट रिपॉजिटरी में निहित कमियां न हों। और खोज का कारण 10 सर्वरों का एक समूह था जो बड़े पैमाने पर उत्पन्न हुआ, जिसमें 250,000,000 छोटी फाइलें पहले ही जमा हो गई थीं, और विकास की प्रवृत्ति को रोकना नहीं था।

जिन लोगों को लेख पढ़ना पसंद नहीं है और थोड़ा प्रलेखन आसान है:

यहाँ और यहाँ ।

अद्यतन। डॉकटर छवि से नगनेक्स को हटाया गया।

और एक ही समय में docker:

docker run -d --restart=always -e bindaddr=127.0.0.1:9699 \ -e host=localhost -e root=/var/storage -v /var/storage:/var/storage --name wzd \ -p 80:9699 eltaline/wzd 

अगला:

अद्यतन। संस्करण 1.1.0 में, HTTPS / POST / IP प्रमाणीकरण विधि और इसी तरह पहले से ही दिखाई दिया है।

यदि बहुत सारी फाइलें हैं, तो महत्वपूर्ण संसाधनों की आवश्यकता होती है, और, अधिकांश आक्रामक, उनमें से कुछ बर्बाद हो जाते हैं। उदाहरण के लिए, जब एक क्लस्टर्ड फाइल सिस्टम (इस मामले में, MooseFS) का उपयोग किया जाता है, तो एक फाइल, वास्तविक आकार की परवाह किए बिना, हमेशा कम से कम 64 KB लेता है। अर्थात्, 3, 10 या 30 KB आकार की फ़ाइलों के लिए, डिस्क पर 64 KB की आवश्यकता होती है। यदि एक चौथाई बिलियन फ़ाइलें, हम 2 से 10 टेराबाइट खो देते हैं। MooseFS में एक सीमा होने के बाद से नई फाइल विज्ञापन इनफिनिटम बनाना संभव नहीं होगा: प्रत्येक फाइल की एक प्रतिकृति के साथ 1 बिलियन से अधिक नहीं।

जैसे-जैसे फ़ाइलों की संख्या बढ़ती है, आपको मेटाडेटा के लिए बहुत अधिक रैम की आवश्यकता होती है। बार-बार बड़े मेटाडेटा डंप भी एसएसडी के पहनने और आंसू में योगदान करते हैं।

WZD सर्वर। हमने डिस्क को क्रम में रखा।

सर्वर गो में लिखा है। सबसे पहले, मुझे फाइलों की संख्या कम करने की आवश्यकता थी। यह कैसे करना है? संग्रह के कारण, लेकिन बिना संपीड़न के इस मामले में, चूंकि मेरी फाइलें ठोस, क्लिप्ड चित्र हैं। बोल्टीडीडीबी बचाव में आया, जिसे अभी भी खामियों से वंचित होना पड़ा था, यह दस्तावेज में परिलक्षित होता है।

कुल मिलाकर, एक अरब फाइलों की एक चौथाई के बजाय, मेरे मामले में केवल 10 मिलियन बोल्ट अभिलेखागार ही रह गए। यदि मुझे निर्देशिका फ़ाइलों को भरने की वर्तमान संरचना को बदलने का अवसर मिला, तो लगभग 1 मिलियन फ़ाइलों को कम करना संभव होगा।

सभी छोटी फ़ाइलों को बोल्ट अभिलेखागार में पैक किया जाता है, स्वचालित रूप से निर्देशिकाओं के नाम प्राप्त करते हैं जिसमें वे स्थित हैं, और सभी बड़ी फाइलें अभिलेखागार के साथ-साथ रहती हैं, यह उन्हें पैक करने के लिए कोई मतलब नहीं है, यह अनुकूलन योग्य है। छोटे - संग्रह, बड़े - अपरिवर्तित छोड़ दें। सर्वर दोनों के साथ पारदर्शी तरीके से काम करता है।

आर्किटेक्चर और wZD सर्वर की विशेषताएं।



सर्वर लिनक्स, बीएसडी, सोलारिस और ओएसएक्स चला रहा है। मैंने लिनक्स के तहत केवल AMD64 आर्किटेक्चर के लिए परीक्षण किया, लेकिन यह ARM64, PPC64, MIPS64 के लिए भी उपयुक्त होना चाहिए।

मुख्य विशेषताएं:

• multithreading;
• मल्टी-सर्वर, गलती सहिष्णुता और लोड संतुलन प्रदान करना;
• उपयोगकर्ता या डेवलपर के लिए अधिकतम पारदर्शिता;
• समर्थित HTTP तरीके: GET, HEAD, PUT और DELETE;
• क्लाइंट हेडर के माध्यम से पढ़ने और लिखने के व्यवहार का प्रबंधन;
• अनुकूलन योग्य वर्चुअल होस्ट के लिए समर्थन;
• लिखने / पढ़ने के दौरान सीआरसी डेटा अखंडता का समर्थन करें;
• न्यूनतम मेमोरी खपत और नेटवर्क प्रदर्शन के इष्टतम ट्यूनिंग के लिए अर्ध-गतिशील बफ़र्स;
• विलंबित डेटा संघनन
• इसके अलावा, बहु-थ्रेडेड wZA अभिलेखागार सेवा को रोकने के बिना फ़ाइल माइग्रेशन के लिए पेश किया जाता है।

वास्तविक अनुभव:

मैंने सर्वर और अभिलेखागार को लाइव डेटा पर काफी लंबे समय तक विकसित और परीक्षण किया, अब यह सफलतापूर्वक एक क्लस्टर पर चल रहा है जिसमें अलग-अलग एसएटीए डिस्क पर 15,000,000 निर्देशिकाओं में स्थित 250,000,000 छोटी फाइलें (चित्र) शामिल हैं। 10 सर्वर का क्लस्टर CDN नेटवर्क के पीछे एक मूल सर्वर स्थापित है। इसके रखरखाव के लिए, 2 नगनेक्स सर्वर + 2 डब्ल्यूजेडडी सर्वर का उपयोग किया जाता है।

उन लोगों के लिए जो इस सर्वर का उपयोग करने का निर्णय लेते हैं, यह उपयोग करने से पहले निर्देशिका संरचना की योजना बनाने के लिए समझ में आता है, यदि लागू हो। तुरंत एक आरक्षण करें कि सर्वर को 1 बोल्ट संग्रह में सब कुछ पुश करने के लिए डिज़ाइन नहीं किया गया है।

प्रदर्शन परीक्षण:

संग्रहीत फ़ाइल का आकार जितना छोटा होता है, उस पर GET और PUT संचालन उतना ही तेज़ होता है। HTTP क्लाइंट नियमित फ़ाइलों और बोल्ट अभिलेखागार को लिखने के कुल समय की तुलना करें, और यह भी पढ़ता है। यह काम की तुलना 32 KB, 256 KB, 1024 KB, 4096 KB और 32768 KB आकार के साथ करता है।

बोल्ट अभिलेखागार के साथ काम करते समय, प्रत्येक फ़ाइल के डेटा की अखंडता की जांच की जाती है (सीआरसी का उपयोग किया जाता है), लिखने से पहले और लिखने के बाद भी, पढ़ने को मक्खी पर बैठकर और पुनरावृत्ति के साथ किया जाता है, यह स्वाभाविक रूप से देरी का परिचय देता है, लेकिन मुख्य बात डेटा सुरक्षा है।

मैंने एसएसडी पर प्रदर्शन परीक्षण किए, क्योंकि एसएटीए डिस्क पर परीक्षण स्पष्ट अंतर नहीं दिखाते हैं।

अपडेट (v1.1.0), 5-25% द्वारा बेहतर प्रदर्शन।

परीक्षण के परिणामों के आधार पर चार्ट:




जैसा कि आप देख सकते हैं, छोटी फ़ाइलों के लिए, संग्रहीत और न संग्रहीत फ़ाइलों के बीच पढ़ने और लिखने के समय में अंतर छोटा है।

हमें 32 एमबी फ़ाइलों को पढ़ने और लिखने के परीक्षण के साथ एक पूरी तरह से अलग तस्वीर मिलेगी:



फ़ाइलों को पढ़ने के बीच का समय 5-25 ms है। रिकॉर्डिंग के साथ, चीजें बदतर हैं, अंतर लगभग 150 एमएस है। लेकिन इस मामले में, बड़ी फ़ाइलों को अपलोड करने की आवश्यकता नहीं है, यह बस समझ में नहीं आता है, वे अभिलेखागार से अलग रह सकते हैं।

* तकनीकी रूप से, इस सर्वर का उपयोग NoSQL की आवश्यकता वाले कार्यों के लिए भी किया जा सकता है।

WZD सर्वर के साथ काम करने के बुनियादी तरीके:

नियमित फ़ाइल डाउनलोड करें:

 curl -X PUT --data-binary @test.jpg http://localhost/test/test.jpg 

बोल्ट संग्रह में एक फ़ाइल अपलोड करना (यदि सर्वर पैरामीटर fmaxsize को पार नहीं किया गया है, जो संग्रह में शामिल किए जाने वाले अधिकतम फ़ाइल आकार को निर्धारित करता है, यदि इसे पार कर लिया गया है, तो फ़ाइल को संग्रह के बगल में हमेशा की तरह लोड किया जाएगा:

 curl -X PUT -H "Archive: 1" --data-binary @test.jpg http://localhost/test/test.jpg 

एक फ़ाइल डाउनलोड करना (यदि डिस्क और संग्रह में समान नाम वाली फाइलें हैं, तो डाउनलोड करते समय, डिफ़ॉल्ट प्राथमिकता अनज़ैप्ड फ़ाइल को दी जाती है):

 curl -o test.jpg http://localhost/test/test.jpg 

बोल्ट संग्रह से फ़ाइल डाउनलोड करना (मजबूर):

 curl -o test.jpg -H "FromArchive: 1" http://localhost/test/test.jpg 

अन्य तरीकों का विवरण प्रलेखन में है।

WZD प्रलेखन
WZA प्रलेखन

सर्वर अब तक केवल HTTP का समर्थन करता है, यह HTTPS के साथ अभी तक काम नहीं करता है। POST विधि भी समर्थित नहीं है (यह अभी तक तय नहीं किया गया है कि इसकी आवश्यकता है या नहीं)।

जो कोई भी सोर्स कोड में देरी करता है, उसे वहां एक टॉफी मिल जाएगी, हर कोई इसे प्यार नहीं करता, लेकिन मैंने मुख्य कोड को वेब फ्रेमवर्क के फंक्शन्स को छोड़कर, बाधित हैंडलर को नहीं बांधा, ताकि भविष्य में मैं किसी भी इंजन को जल्दी से फिर से लिख सकूं।

टूडू:

• क्लस्टर एफएस के बिना बड़ी प्रणालियों में उपयोग की संभावना के लिए हमारे अपने प्रतिकृति और वितरक + भू का विकास (सभी एक वयस्क के लिए)
• पूरी तरह से खो जाने पर मेटाडेटा को पूरी तरह से रिवर्स करने की क्षमता (यदि एक वितरक का उपयोग करके)
• विभिन्न प्रोग्रामिंग भाषाओं के लिए स्थायी नेटवर्क कनेक्शन और ड्राइवरों का उपयोग करने की संभावना के लिए मूल प्रोटोकॉल
• NoSQL घटक का उपयोग करने की उन्नत सुविधाएँ
• बोल्ट अभिलेखागार के अंदर फ़ाइलों और मूल्यों के लिए विभिन्न प्रकारों (gzip, zstd, snappy) की संपीड़न और साधारण फ़ाइलों के लिए
• बोल्ट अभिलेखागार के अंदर फ़ाइलों और मूल्यों के लिए और साधारण फ़ाइलों के लिए विभिन्न प्रकार के एन्क्रिप्शन
• GPU सहित विलंबित सर्वर वीडियो रूपांतरण

यह सब, मुझे उम्मीद है कि यह सर्वर किसी के लिए काम आता है, बीएसडी -3 लाइसेंस, दोहरी कॉपीराइट, क्योंकि कोई कंपनी नहीं होगी जहां मैं काम करता हूं, मैं एक सर्वर भी नहीं लिखूंगा। मैं एकवचन में एक डेवलपर हूँ। मैं पाया कीड़े और सुविधा अनुरोध के लिए आभारी होंगे।