हम पायथन अनुप्रयोगों में मेमोरी लीक की तलाश कर रहे हैं

¡होला! हम "पायथन में वेब-डेवलपर" पाठ्यक्रम के लॉन्च के लिए समर्पित प्रकाशनों की एक श्रृंखला जारी रख रहे हैं और अभी हम आपके साथ एक और दिलचस्प लेख का अनुवाद साझा कर रहे हैं।

Zendesk पर, हम मशीन सीखने के उत्पादों को बनाने के लिए पायथन का उपयोग करते हैं। मशीन सीखने के अनुप्रयोगों में, सबसे आम समस्याओं में से एक है जो हमने मेमोरी लीक और स्पाइक्स से सामना किया है। पाइथन कोड आमतौर पर कंटेनर में वितरित प्रसंस्करण फ्रेमवर्क जैसे कि हडोप , स्पार्क और एडब्ल्यूएस बैच का उपयोग करके निष्पादित किया जाता है। प्रत्येक कंटेनर को निश्चित मात्रा में मेमोरी आवंटित की जाती है। जैसे ही कोड निष्पादन निर्दिष्ट मेमोरी सीमा से अधिक हो जाता है, कंटेनर मेमोरी की कमी के कारण होने वाली त्रुटियों के कारण काम करना बंद कर देगा।



आप अधिक मेमोरी को आवंटित करके समस्या को जल्दी से ठीक कर सकते हैं। हालाँकि, इससे संसाधनों की बर्बादी हो सकती है और स्मृति के अप्रत्याशित फटने के कारण अनुप्रयोगों की स्थिरता प्रभावित हो सकती है। स्मृति रिसाव के कारण निम्नानुसार हो सकते हैं:

• बड़ी वस्तुओं का लंबा भंडारण जो हटाए नहीं जाते हैं;
• कोड में लूपबैक लिंक ;
• बेस सी लाइब्रेरीज़ / एक्सटेंशन जो मेमोरी लीक की ओर ले जाती हैं;

कोड स्पेस और उपयोग किए गए पैकेज की दक्षता की बेहतर समझ हासिल करने के लिए अनुप्रयोगों के साथ मेमोरी उपयोग को प्रोफाइल करना अच्छा है।

यह लेख निम्नलिखित पहलुओं पर चर्चा करता है:

• समय के साथ प्रोफाइल मेमोरी का उपयोग;
• कार्यक्रम के एक विशिष्ट भाग में मेमोरी उपयोग की जांच कैसे करें;
• स्मृति समस्याओं के कारण त्रुटि डीबगिंग के लिए युक्तियाँ।

समय के साथ मेमोरी प्रोफाइलिंग

आप मेमोरी-प्रोफाइलर पैकेज का उपयोग करके पायथन प्रोग्राम के निष्पादन के दौरान चर स्मृति उपयोग पर एक नज़र डाल सकते हैं।

# install the required packages pip install memory_profiler pip install matplotlib # run the profiler to record the memory usage # sample 0.1s by defaut mprof run --include-children python fantastic_model_building_code.py # plot the recorded memory usage mprof plot --output memory-profile.png 

चित्रा ए समय की एक समारोह के रूप में मेमोरी प्रोफाइलिंग

शामिल-बच्चों के विकल्प माता-पिता प्रक्रियाओं द्वारा पैदा की गई किसी भी बच्चे प्रक्रियाओं द्वारा स्मृति उपयोग को सक्षम करेंगे। चित्रा ए पुनरावृत्त सीखने की प्रक्रिया को दर्शाता है, जिसके कारण उन क्षणों में चक्रों में मेमोरी बढ़ जाती है जब प्रशिक्षण पैकेटों को संसाधित किया जाता है। कचरा संग्रहण के दौरान वस्तुओं को हटा दिया जाता है।

यदि मेमोरी का उपयोग लगातार बढ़ रहा है, तो इसे मेमोरी लीक का संभावित खतरा माना जाता है। यहाँ एक नमूना कोड है जो इसे दर्शाता है:


चित्रा बी। समय के साथ मेमोरी का उपयोग बढ़ रहा है

जैसे ही मेमोरी उपयोग एक निश्चित सीमा से अधिक हो, आपको डीबगर में ब्रेकपॉइंट सेट करना चाहिए। ऐसा करने के लिए, आप pdb-mmem पैरामीटर का उपयोग कर सकते हैं, जो समस्या निवारण के दौरान सुविधाजनक है।

समय पर एक विशिष्ट बिंदु पर मेमोरी डंप

यह कार्यक्रम में बड़ी वस्तुओं की पूर्व-अपेक्षित संख्या का अनुमान लगाने के लिए उपयोगी है और चाहे उन्हें नकली और / या विभिन्न स्वरूपों में परिवर्तित किया जाना चाहिए।

स्मृति में वस्तुओं के आगे के विश्लेषण के लिए, आप muppy का उपयोग करके कार्यक्रम की कुछ पंक्तियों में एक डंप ढेर बना सकते हैं।

 # install muppy pip install pympler # Add to leaky code within python_script_being_profiled.py from pympler import muppy, summary all_objects = muppy.get_objects() sum1 = summary.summarize(all_objects) # Prints out a summary of the large objects summary.print_(sum1) # Get references to certain types of objects such as dataframe dataframes = [ao for ao in all_objects if isinstance(ao, pd.DataFrame)] for d in dataframes: print d.columns.values print len(d) 

चित्रा सी। नमूना डंप ढेर डंप

एक अन्य उपयोगी मेमोरी प्रोफाइलिंग लाइब्रेरी objgraph है , जो आपको वस्तुओं की उत्पत्ति की जांच करने के लिए रेखांकन उत्पन्न करने की अनुमति देती है।

उपयोगी संकेत

एक उपयोगी दृष्टिकोण एक छोटा "टेस्ट केस" बनाना है जो एक उपयुक्त कोड चलाता है जो मेमोरी लीक का कारण बनता है। यादृच्छिक रूप से चयनित डेटा के सबसेट का उपयोग करने पर विचार करें यदि पूरी तरह से इनपुट प्रक्रिया में लंबा समय लेगा।

एक अलग प्रक्रिया में उच्च मेमोरी लोड के साथ कार्य करें

पायथन आवश्यक रूप से ऑपरेटिंग सिस्टम के लिए तुरंत मुफ्त मेमोरी नहीं करता है। यह सुनिश्चित करने के लिए कि मेमोरी को मुक्त कर दिया गया है, आपको कोड का एक टुकड़ा निष्पादित करने के बाद एक अलग प्रक्रिया शुरू करनी होगी। आप यहां अजगर में कचरा इकट्ठा करने वाले के बारे में अधिक जान सकते हैं।

डीबगर ऑब्जेक्ट में संदर्भ जोड़ सकता है।

यदि एक ब्रेकपॉइंट डीबगर जैसे pdb का उपयोग किया जाता है , तो बनाई गई सभी ऑब्जेक्ट्स जो डिबगर द्वारा मैन्युअल रूप से संदर्भित होते हैं, स्मृति में बने रहेंगे। यह मेमोरी लीक की गलत भावना पैदा कर सकता है, क्योंकि ऑब्जेक्ट समय पर हटाए नहीं जाते हैं।

उन पैकेजों से सावधान रहें जो मेमोरी लीक का कारण बन सकते हैं।

पायथन में कुछ पुस्तकालय संभावित रूप से रिसाव का कारण बन सकते हैं, उदाहरण के लिए pandas में कई ज्ञात मेमोरी लीक समस्याएं हैं।
लीक के लिए एक अच्छा शिकार है!

उपयोगी लिंक:

docs.python.org/3/c-api/memory.html
docs.python.org/3/library/debug.html

टिप्पणियों में लिखें यदि यह लेख आपके लिए उपयोगी था। और जो लोग हमारे पाठ्यक्रम के बारे में अधिक जानना चाहते हैं, हम आपको खुले दिन के लिए आमंत्रित करते हैं , जो 22 अप्रैल को आयोजित किया जाएगा।