यदि डेटा मेमोरी में फिट नहीं होता है। सबसे सरल तरीके

शावक के साथ Aardvark महिला। फोटो: स्कॉटो भालू , सीसी बाय-एसए 2.0

आप डेटा प्रोसेसिंग के लिए एक प्रोग्राम लिखते हैं, यह पूरी तरह से एक छोटी फ़ाइल पर परीक्षण पास करता है, लेकिन यह एक वास्तविक लोड पर क्रैश होता है।

समस्या स्मृति से बाहर है। यदि आपके पास 16 गीगाबाइट रैम है, तो आप वहां सौ गीगाबाइट फ़ाइल डाउनलोड नहीं कर पाएंगे। कुछ बिंदु पर, ओएस मेमोरी से बाहर चलेगा, यह एक नया आवंटित करने में सक्षम नहीं होगा, और प्रोग्राम क्रैश हो जाएगा।

क्या करें?

ठीक है, आप एक बड़ा डेटा क्लस्टर तैनात कर सकते हैं, बस:

• कंप्यूटर का एक क्लस्टर खोजें।
  
• इसे एक हफ्ते में सेट करें।
  
• नया एपीआई जानें और अपने कोड को फिर से लिखें।

यह महंगा और अप्रिय है। सौभाग्य से, यह अक्सर आवश्यक नहीं होता है।

हमें एक सरल और आसान समाधान की आवश्यकता है: पहले से जुड़े पुस्तकालयों के न्यूनतम सेटअप और अधिकतम उपयोग के साथ, एक कंप्यूटर पर डेटा को संसाधित करने के लिए। यह सरल तरीकों की मदद से लगभग हमेशा संभव होता है, जिसे कभी-कभी "आउट-ऑफ-कोर कम्प्यूटेशन" कहा जाता है।

इस लेख में हम चर्चा करते हैं:

• हमें RAM की आवश्यकता क्यों है।
  
• स्मृति में फिट नहीं होने वाले डेटा को संसाधित करने का सबसे आसान तरीका थोड़ा पैसा खर्च करना है।
  
• डेटा की अत्यधिक मात्रा को संसाधित करने के लिए तीन मुख्य सॉफ़्टवेयर विधियाँ: संपीड़न, अवरोधन और अनुक्रमण।

भविष्य के लेख व्यवहार में दिखाएंगे कि इन तरीकों को विशिष्ट पुस्तकालयों जैसे कि नुम्पी और पंडों के साथ कैसे लागू किया जाए। लेकिन पहले, सिद्धांत।

रैम क्यों आवश्यक है?

इससे पहले कि हम समाधान की चर्चा में आएं, आइए स्पष्ट करें कि यह समस्या आखिर क्यों है। आप रैंडम एक्सेस मेमोरी (RAM) को डेटा लिख ​​सकते हैं, लेकिन अपनी हार्ड ड्राइव को भी, तो आपको RAM की आवश्यकता क्यों है? एक डिस्क सस्ता है, इसमें आमतौर पर जगह की कमी के साथ कोई समस्या नहीं है, बस एक डिस्क से पढ़ने और लिखने के लिए खुद को सीमित क्यों नहीं करना है?

सैद्धांतिक रूप से, यह काम कर सकता है। लेकिन यहां तक ​​कि आधुनिक तेज एसएसडी बहुत काम करते हैं, रैम की तुलना में बहुत धीमा :

• SSD से पढ़ें: ~ 16,000 नैनोसेकंड
  
• रैम से पढ़ें: ~ 100 नैनोसेकंड

तेज़ गणना के लिए, हमारे पास कोई विकल्प नहीं है: डेटा को रैम में लिखा जाना चाहिए, अन्यथा कोड 150 गुना धीमा हो जाएगा।

सबसे आसान समाधान: अधिक रैम

रैम से बाहर चलने की समस्या का सबसे आसान समाधान कुछ पैसा खर्च करना है। आप एक शक्तिशाली कंप्यूटर, सर्वर खरीद सकते हैं या बहुत सारी मेमोरी के साथ वर्चुअल मशीन किराए पर ले सकते हैं। नवंबर 2019 में, एक त्वरित खोज और एक बहुत ही संक्षिप्त मूल्य तुलना निम्नलिखित विकल्प देती है:

• $ 1074 के लिए 6 कोर और 64 जीबी रैम के साथ थिंकपैड M720 टॉवर खरीदें
  
• $ 3.62 / घंटे के लिए 64 कोर और 432 जीबी रैम के साथ क्लाउड में एक वर्चुअल मशीन किराए पर लें

त्वरित खोज के बाद ये संख्याएँ हैं। एक अच्छा शोध करने के बाद, आपको निश्चित रूप से बेहतर सौदे मिलेंगे।

रैम में डेटा फिट करने के लिए हार्डवेयर पर थोड़ा पैसा खर्च करना अक्सर सबसे सस्ता उपाय होता है। आखिरकार, हमारा समय महंगा है। लेकिन कभी-कभी यह पर्याप्त नहीं होता है।

उदाहरण के लिए, यदि आप समय की अवधि में कई डेटा प्रोसेसिंग कार्य करते हैं, तो क्लाउड कंप्यूटिंग एक प्राकृतिक समाधान हो सकता है, लेकिन यह महंगा भी हो सकता है। हमारी परियोजनाओं में से, इस तरह की कंप्यूटिंग लागतों ने उत्पाद से अनुमानित आय की सभी खपत की होगी, जिसमें उनके वेतन का भुगतान करने के लिए आवश्यक सबसे महत्वपूर्ण आय भी शामिल है।

यदि बड़ी मात्रा में रैम खरीदने / किराए पर देने से समस्या का समाधान नहीं होता है या संभव नहीं है, तो अगला कदम एप्लिकेशन को स्वयं ऑप्टिमाइज़ करना है ताकि यह कम मेमोरी का उपभोग करे।

तकनीक संख्या 1. संपीड़न

संपीड़न आपको कम स्मृति में समान डेटा डालने की अनुमति देता है। संपीड़न के दो रूप हैं:

• दोषरहित : संपीड़न के बाद, मूल डेटा में ठीक उसी जानकारी को सहेजा जाता है।
  
• हानिपूर्ण : संग्रहीत डेटा कुछ विवरण खो देता है, लेकिन आदर्श रूप से यह गणना परिणामों को बहुत प्रभावित नहीं करता है।

स्पष्टता के लिए, यह डिस्क पर डेटा संपीड़ित होने पर ज़िप या गज़िप फ़ाइलों के बारे में नहीं है। एक जिप फाइल से डेटा प्रोसेस करने के लिए, आपको आमतौर पर इसे अनजिप करने की जरूरत होती है, और फिर फाइलों को मेमोरी में लोड करना होता है। तो यह मदद नहीं करेगा।

हमें जो चाहिए वह है मेमोरी में डेटा के प्रतिनिधित्व का संपीड़न।

मान लीजिए कि आपके डेटा में केवल दो संभावित मान हैं, और कुछ नहीं: "AVAILABLE" और "UNAVAILABLE" । 10 बाइट्स या प्रति रिकॉर्ड के साथ स्ट्रिंग्स को स्टोर करने के बजाय, आप उन्हें बूलियन मान True या False रूप में सहेज सकते हैं, जो सिर्फ एक बाइट के साथ एन्कोडेड हैं। आप सूचना को एक बिट तक संपीड़ित कर सकते हैं, स्मृति खपत को एक और आठ गुना कम कर सकते हैं।

तकनीक नंबर 2. एक समय में एक ब्लॉक में डेटा लोड करने वाले ब्लॉक में विभाजित होना

फ्रैग्मेंटेशन उन स्थितियों में उपयोगी है जहां डेटा को एक ही समय में मेमोरी में लोड नहीं करना पड़ता है। इसके बजाय, हम उन्हें भागों में लोड कर सकते हैं, एक समय में एक टुकड़ा प्रसंस्करण (या, जैसा कि हम अगले लेख में चर्चा करते हैं, समानांतर में कई भागों)।

मान लीजिए आप किसी किताब में सबसे बड़ा शब्द ढूंढना चाहते हैं। आप एक ही बार में सभी डेटा को मेमोरी में लोड कर सकते हैं:

 largest_word = "" for word in book.get_text().split(): if len(word) > len(largest_word): largest_word = word 

लेकिन अगर पुस्तक स्मृति में फिट नहीं होती है, तो आप इसे पृष्ठ द्वारा लोड कर सकते हैं:

 largest_word = "" for page in book.iterpages(): for word in page.get_text().split(): if len(word) > len(largest_word): largest_word = word 

यह मेमोरी की खपत को बहुत कम कर देता है क्योंकि एक समय में केवल एक पुस्तक का एक पृष्ठ लोड होता है। इस मामले में, परिणाम एक ही जवाब होगा।

तकनीक संख्या 3. जब केवल डेटा के सबसेट की आवश्यकता हो तो अनुक्रमण करना

यदि आप डेटा का केवल सबसेट उपयोग करना चाहते हैं, तो अनुक्रमण उपयोगी है और आप अलग-अलग समय पर अलग-अलग उप-भार लोड करने जा रहे हैं।

सिद्धांत रूप में, ऐसी स्थिति में, आप आवश्यक भाग को फ़िल्टर कर सकते हैं और अनावश्यक को छोड़ सकते हैं। लेकिन फ़िल्टरिंग धीमा है और इष्टतम नहीं है, क्योंकि आपको इसे छोड़ने से पहले मेमोरी में बहुत सारे अतिरिक्त डेटा को लोड करना होगा।

यदि आपको विखंडन के बजाय केवल डेटा के एक हिस्से की आवश्यकता है, तो सूचकांक का उपयोग करना बेहतर है - एक डेटा निचोड़ जो उनके वास्तविक स्थान को इंगित करता है।

कल्पना कीजिए कि आप एक पुस्तक के केवल अंशों को पढ़ना चाहते हैं जिसका उल्लेख aardvark (लेख की शुरुआत में तस्वीर में एक प्यारा स्तनपायी) है। यदि आप बारी-बारी से सभी पृष्ठों की जाँच करते हैं, तो पूरी पुस्तक को भागों में, पृष्ठ दर पेज लोड किया जाएगा, aardvarks की तलाश में - और इसमें काफी समय लगेगा।

या आप तुरंत पुस्तक के अंत में वर्णमाला सूचकांक खोल सकते हैं - और शब्द "अन्डार्कार्क" खोजें। यह बताता है कि इस शब्द का उल्लेख पृष्ठ 7, 19 और 120-123 पर है। अब आप इन पृष्ठों को पढ़ सकते हैं, और केवल उन्हें, जो बहुत तेज है।

यह एक प्रभावी तरीका है क्योंकि सूचकांक पूरी पुस्तक की तुलना में बहुत छोटा है, इसलिए प्रासंगिक डेटा खोजने के लिए केवल सूचकांक को स्मृति में लोड करना बहुत आसान है।

सबसे आसान अनुक्रमण विधि

इंडेक्स में सबसे आसान और सबसे सामान्य तरीका फाइलों का नामकरण है:

 mydata/ 2019-Jan.csv 2019-Feb.csv 2019-Mar.csv 2019-Apr.csv ... 

यदि आपको मार्च 2019 के लिए डेटा की आवश्यकता है, तो आप बस 2019-Mar.csv फ़ाइल अपलोड करें - फरवरी, जुलाई या किसी अन्य महीने के लिए डेटा डाउनलोड करने की कोई आवश्यकता नहीं है।

अगला: इन विधियों को लागू करना

रैम की कमी की समस्या पैसे की मदद से हल करना सबसे आसान है, रैम खरीदा है। लेकिन अगर यह संभव नहीं है या पर्याप्त नहीं है, तो आप वैसे भी संपीड़न, विखंडन या अनुक्रमण का उपयोग करेंगे।

विभिन्न सॉफ्टवेयर पैकेज और टूल में समान विधियों का उपयोग किया जाता है । यहां तक ​​कि उच्च-प्रदर्शन बिग डेटा सिस्टम उन पर बनाए गए हैं: उदाहरण के लिए, व्यक्तिगत डेटा टुकड़े के समानांतर प्रसंस्करण।

निम्नलिखित लेखों में, हम इन तरीकों को विशिष्ट पुस्तकालयों और औजारों में लागू करने का तरीका देखेंगे, जिसमें NumPy और Pandas शामिल हैं।