स्क्रिप्ट निष्पादित करते समय पायथन कितनी वस्तुओं का उत्सर्जन करता है?

कुछ पायथन प्रोग्रामर बहुत आश्चर्यचकित होते हैं, जब उन्हें पता चलता है कि एक साधारण स्क्रिप्ट के चलने के दौरान अजगर इंटरप्रेटर कितनी अस्थायी वस्तुओं को आवंटित करता है।

सीपीथॉन आपको आवंटित वस्तुओं पर आंकड़े प्राप्त करने की अनुमति देता है, इसके लिए आपको इसे अतिरिक्त झंडे के साथ संकलित करने की आवश्यकता है।

./configure CFLAGS='-DCOUNT_ALLOCS' --with-pydebug make -s -j2 

संकलन के बाद, हम इंटरैक्टिव REPL खोल सकते हैं और आँकड़ों की जाँच कर सकते हैं:

 >>> import sys >>> sys.getcounts() [('iterator', 7, 7, 4), ('functools._lru_cache_wrapper', 1, 0, 1), ('re.Match', 2, 2, 1), ('re.Pattern', 3, 2, 1), ('SubPattern', 10, 10, 8), ('Pattern', 3, 3, 1), ('IndexError', 4, 4, 1), ('Tokenizer', 3, 3, 1), ('odict_keys', 1, 1, 1), ('odict_iterator', 18, 18, 1), ('odict_items', 17, 17, 1), ('RegexFlag', 18, 8, 10), ('operator.itemgetter', 4, 0, 4), ('PyCapsule', 1, 1, 1), ('Repr', 1, 0, 1), ('_NamedIntConstant', 74, 0, 74), ('collections.OrderedDict', 5, 0, 5), ('EnumMeta', 5, 0, 5), ('DynamicClassAttribute', 2, 0, 2), ('_EnumDict', 5, 5, 1), ('TypeError', 1, 1, 1), ('method-wrapper', 365, 365, 2), ('_C', 1, 1, 1), ('symtable entry', 5, 5, 2), ('OSError', 1, 1, 1), ('Completer', 1, 0, 1), ('ExtensionFileLoader', 2, 0, 2), ('ModuleNotFoundError', 2, 2, 1), ('_Helper', 1, 0, 1), ('_Printer', 3, 0, 3), ('Quitter', 2, 0, 2), ('enumerate', 5, 5, 1), ('_io.IncrementalNewlineDecoder', 1, 1, 1), ('map', 25, 25, 1), ('_Environ', 2, 0, 2), ('async_generator', 2, 1, 1), ('coroutine', 2, 2, 1), ('zip', 1, 1, 1), ('longrange_iterator', 1, 1, 1), ('range_iterator', 7, 7, 1), ('range', 14, 14, 2), ('list_reverseiterator', 2, 2, 1), ('dict_valueiterator', 1, 1, 1), ('dict_values', 2, 2, 1), ('dict_keyiterator', 25, 25, 1), ('dict_keys', 5, 5, 1), ('bytearray_iterator', 1, 1, 1), ('bytearray', 4, 4, 1), ('bytes_iterator', 2, 2, 1), ('IncrementalEncoder', 2, 0, 2), ('_io.BufferedWriter', 2, 0, 2), ('IncrementalDecoder', 2, 1, 2), ('_io.TextIOWrapper', 4, 1, 4), ('_io.BufferedReader', 2, 1, 2), ('_abc_data', 39, 0, 39), ('mappingproxy', 199, 199, 1), ('ABCMeta', 39, 0, 39), ('CodecInfo', 1, 0, 1), ('str_iterator', 7, 7, 1), ('memoryview', 60, 60, 2), ('managedbuffer', 31, 31, 1), ('slice', 589, 589, 1), ('_io.FileIO', 33, 30, 5), ('SourceFileLoader', 29, 0, 29), ('set', 166, 101, 80), ('StopIteration', 33, 33, 1), ('FileFinder', 11, 0, 11), ('os.stat_result', 145, 145, 1), ('ImportError', 2, 2, 1), ('FileNotFoundError', 10, 10, 1), ('ZipImportError', 12, 12, 1), ('zipimport.zipimporter', 12, 12, 1), ('NameError', 4, 4, 1), ('set_iterator', 46, 46, 1), ('frozenset', 50, 0, 50), ('_ImportLockContext', 113, 113, 1), ('list_iterator', 305, 305, 5), ('_thread.lock', 92, 92, 10), ('_ModuleLock', 46, 46, 5), ('KeyError', 67, 67, 2), ('_ModuleLockManager', 46, 46, 5), ('generator', 125, 125, 1), ('_installed_safely', 52, 52, 5), ('method', 1095, 1093, 14), ('ModuleSpec', 58, 4, 54), ('AttributeError', 22, 22, 1), ('traceback', 154, 154, 3), ('dict_itemiterator', 45, 45, 1), ('dict_items', 46, 46, 1), ('object', 8, 1, 7), ('tuple_iterator', 631, 631, 3), ('cell', 71, 31, 42), ('classmethod', 58, 0, 58), ('property', 18, 2, 16), ('super', 360, 360, 1), ('type', 78, 3, 75), ('function', 1705, 785, 922), ('frame', 5442, 5440, 36), ('code', 1280, 276, 1063), ('bytes', 2999, 965, 2154), ('Token.MISSING', 1, 0, 1), ('stderrprinter', 1, 1, 1), ('MemoryError', 16, 16, 16), ('sys.thread_info', 1, 0, 1), ('sys.flags', 2, 0, 2), ('types.SimpleNamespace', 1, 0, 1), ('sys.version_info', 1, 0, 1), ('sys.hash_info', 1, 0, 1), ('sys.int_info', 1, 0, 1), ('float', 584, 569, 20), ('sys.float_info', 1, 0, 1), ('module', 56, 0, 56), ('staticmethod', 16, 0, 16), ('weakref', 505, 82, 426), ('int', 3540, 2775, 766), ('member_descriptor', 246, 10, 239), ('list', 992, 919, 85), ('getset_descriptor', 240, 4, 240), ('classmethod_descriptor', 12, 0, 12), ('method_descriptor', 678, 0, 678), ('builtin_function_or_method', 1796, 1151, 651), ('wrapper_descriptor', 1031, 5, 1026), ('str', 16156, 9272, 6950), ('dict', 1696, 900, 810), ('tuple', 10367, 6110, 4337)] 

चलिए निष्कर्ष को और अधिक पठनीय बनाते हैं:

 def print_allocations(top_k=None): allocs = sys.getcounts() if top_k: allocs = sorted(allocs, key=lambda tup: tup[1], reverse=True)[0:top_k] for obj in allocs: alive = obj[1]-obj[2] print("Type {}, allocs: {}, deallocs: {}, max: {}, alive: {}".format(*obj,alive)) 

 >>> print_allocations(10) Type str, allocs: 17328, deallocs: 10312, max: 7016, alive: 7016 Type tuple, allocs: 10550, deallocs: 6161, max: 4389, alive: 4389 Type frame, allocs: 5445, deallocs: 5442, max: 36, alive: 3 Type int, allocs: 3988, deallocs: 3175, max: 813, alive: 813 Type bytes, allocs: 3031, deallocs: 1044, max: 2154, alive: 1987 Type builtin_function_or_method, allocs: 1809, deallocs: 1164, max: 651, alive: 645 Type dict, allocs: 1726, deallocs: 930, max: 815, alive: 796 Type function, allocs: 1706, deallocs: 811, max: 922, alive: 895 Type code, allocs: 1284, deallocs: 304, max: 1063, alive: 980 Type method, allocs: 1095, deallocs: 1093, max: 14, alive: 2 

जहां:

• ऑल्टरस - इंटरप्रेटर की शुरुआत के बाद से कितने ऑब्जेक्ट्स आवंटित किए गए हैं
• सौदा - कितनी वस्तुएं हटा दी गईं (मैन्युअल या स्वचालित रूप से)
• सजीव - सजीवों की संख्या (वर्तमान) वस्तुएं (एलोकस - डीललॉक्स)
• अधिकतम - दुभाषिया की शुरुआत के बाद से जीवित वस्तुओं की अधिकतम संख्या

जैसा कि आप देख सकते हैं, खाली पायथन आरईपीएल 17,328 पंक्तियों और 10,550 टुपल्स आवंटित करने में कामयाब रहा। यह वस्तुओं की कुछ पागल राशि है! यहां आपको यह ध्यान रखना होगा कि REPL को काम करने के लिए, पायथन स्वचालित रूप से अतिरिक्त मॉड्यूल आयात करता है जो खाली स्क्रिप्ट के मामले में आयात नहीं किए जाते हैं।

अब फ्लास्क पर "हैलो, वर्ल्ड" टेस्ट करें:

 import sys from flask import Flask app = Flask(__name__) @app.route('/') def hello_world(): print_allocations(15) return 'Hello, World!' 

 ./python -m flask run ab -n 100 http://127.0.0.1:5000/ 

हमारे सर्वर पर 100 HTTP अनुरोध भेजने के बाद, आंकड़े इस तरह दिखते हैं:

 Type str, allocs: 192649, deallocs: 138892, max: 54320, alive: 53757 Type frame, allocs: 191752, deallocs: 191714, max: 158, alive: 38 Type tuple, allocs: 183474, deallocs: 150069, max: 33581, alive: 33405 Type int, allocs: 85154, deallocs: 81100, max: 4115, alive: 4054 Type bytes, allocs: 31671, deallocs: 14331, max: 17381, alive: 17340 Type list, allocs: 29846, deallocs: 27541, max: 2415, alive: 2305 Type builtin_function_or_method, allocs: 28525, deallocs: 27572, max: 957, alive: 953 Type dict, allocs: 19900, deallocs: 14800, max: 5280, alive: 5100 Type method, allocs: 15170, deallocs: 15105, max: 74, alive: 65 Type function, allocs: 14761, deallocs: 7086, max: 7711, alive: 7675 Type slice, allocs: 12521, deallocs: 12521, max: 1, alive: 0 Type list_iterator, allocs: 10795, deallocs: 10795, max: 35, alive: 0 Type code, allocs: 9849, deallocs: 1749, max: 8107, alive: 8100 Type tuple_iterator, allocs: 8938, deallocs: 8938, max: 4, alive: 0 Type float, allocs: 6033, deallocs: 5889, max: 152, alive: 144 

जैसा कि आप देख सकते हैं, दुभाषिया ने इंटरप्रेटर की शुरुआत के बाद से 847,261 ऑब्जेक्ट आवंटित किए हैं। उनमें से अधिकांश अस्थायी थे ( 714,336 ) और जैसे ही उन्हें जरूरत नहीं थी, हटा दिया गया। शेष वस्तुएं ( 132 925 ) अभी भी स्मृति में हैं।

फ्रेम्स और कोड ऑब्जेक्ट

ऊपर दिए गए उदाहरण में, आप कई फ्रेम और कोड ऑब्जेक्ट पा सकते हैं। उनकी आवश्यकता क्यों है?

संक्षेप में, प्रत्येक कोड ऑब्जेक्ट अपने आप में संकलित कोड के एक ब्लॉक को स्टोर करता है, बदले में, उन्हें निष्पादित करने के लिए फ़्रेम ऑब्जेक्ट का उपयोग किया जाता है, कॉल स्टैक के सिद्धांत पर काम कर रहा है। पायथन में, सबसे लोकप्रिय ब्लॉक एक फ़ंक्शन है। प्रत्येक नए फ़ंक्शन को अपनी स्वयं की कोड ऑब्जेक्ट की आवश्यकता होती है, और इस फ़ंक्शन के प्रत्येक कॉल के लिए एक अलग फ़्रेम ऑब्जेक्ट की आवश्यकता होती है, जहां पायथन स्थानीय चर को संग्रहीत करेगा। स्थानीय चर के अलावा, प्रत्येक फ़्रेम ऑब्जेक्ट फ़ंक्शन को निष्पादित करने के लिए आवश्यक सहायक डेटा संग्रहीत करता है।

ये सभी वस्तुएँ कहाँ से आती हैं?

पायथन एक बहुत ही गतिशील भाषा है और आपको इसके लिए भुगतान करना होगा। गतिशील क्षमताओं का समर्थन करने के लिए, वह बड़ी संख्या में अस्थायी वस्तुओं का निर्माण करता है जो सहायक भूमिका निभाते हैं।

उदाहरण के लिए, एक साधारण फ़ंक्शन घोषित करने से कम से कम 5 शब्दकोश, 5 ट्यूपल और 4 सूचियां बनती हैं। ये ऑब्जेक्ट स्क्रिप्ट के अंत तक रहेंगे। बदले में, ये सभी वस्तुएं अपने आप में अन्य वस्तुओं (उनके तत्वों) को संग्रहीत करती हैं, ये दर्जनों हैं, कभी-कभी संकलित फ़ंक्शन के आंतरिक विवरण के लिए उपयोग किए जाने वाले सैकड़ों अतिरिक्त ऑब्जेक्ट हैं। औसत वर्ग का वर्णन सैकड़ों कंटेनर (शब्दकोशों, टुपल्स, सूचियों) वस्तुओं को उजागर कर सकता है। दुर्भाग्यवश, यहां आवंटित वस्तुओं की सटीक संख्या की स्वचालित रूप से गणना करना संभव नहीं होगा, और ये आंकड़े अनुमानित हैं।

पायथन के लिए बड़ी संख्या में वस्तुओं को जल्दी से आवंटित करने के लिए, यह एक बड़ी और बहु-परत प्रणाली का उपयोग करता है जो स्मृति में वस्तुओं के आवंटन का अनुकूलन करता है।

कभी-कभी कोई आश्चर्य करता है कि व्याख्या की गई भाषाएं हमसे कितनी छिपी हैं। पायथन आपको बहुत सारी समस्याओं और विवरणों के बारे में सोचने के बिना अच्छा कोड लिखने की अनुमति देता है।

पुनश्च: मैं इस लेख का लेखक हूं, आप कोई भी प्रश्न पूछ सकते हैं।