प्रदर्शन केवल सीपीयू के बारे में नहीं है: पायथन के लिए अपना स्वयं का प्रोफाइल बनाना

मान लीजिए कि आपका पायथन प्रोग्राम धीमा है, और आपको पता चलता है कि यह केवल प्रोसेसर संसाधनों की कमी के कारण आंशिक रूप से है । मुझे यह कैसे पता चलेगा कि कोड के कौन से भाग सीपीयू पर लागू नहीं होने वाले किसी चीज़ की उम्मीद करने के लिए मजबूर हैं?



सामग्री को पढ़ने के बाद, जिसका अनुवाद आज हम प्रकाशित करते हैं, आप सीखेंगे कि पायथन कोड के लिए अपने स्वयं के प्रोफाइल कैसे लिखें। हम उन उपकरणों के बारे में बात कर रहे हैं जो कोड में उन स्थानों का पता लगाएंगे जो कुछ संसाधनों के जारी होने की प्रतीक्षा में निष्क्रिय हैं। विशेष रूप से, हम यहाँ निम्नलिखित पर चर्चा करेंगे:

• कार्यक्रम क्या उम्मीद कर सकता है?
• उन संसाधनों के उपयोग को प्रोफाइल करना जो सीपीयू संसाधन नहीं हैं।
• अनपेक्षित संदर्भ स्विच करना

कार्यक्रम क्या उम्मीद करता है?

उन क्षणों में जब प्रोग्राम प्रोसेसर का उपयोग करके गहन गणनाओं में व्यस्त नहीं होता है, यह कुछ के लिए इंतजार कर रहा है। यह वही है जो कार्यक्रम की निष्क्रियता का कारण बन सकता है:

• नेटवर्क संसाधन। इसमें DNS लुकअप को पूरा करने के लिए प्रतीक्षा करना, कुछ नेटवर्क संसाधन से प्रतिक्रिया की प्रतीक्षा करना, कुछ डेटा को लोड करने की प्रतीक्षा करना, और इसी तरह शामिल हो सकते हैं।
• हार्ड ड्राइव हार्ड ड्राइव से डेटा पढ़ने में कुछ समय लग सकता है। डिस्क पर लिखने के बारे में भी यही कहा जा सकता है। कभी-कभी पढ़ने या लिखने के संचालन को केवल रैम में स्थित कैश का उपयोग करके किया जाता है। इस दृष्टिकोण के साथ, सब कुछ बहुत जल्दी होता है। लेकिन कभी-कभी, जब कोई प्रोग्राम डिस्क से सीधे इंटरैक्ट करता है, तो ऐसे ऑपरेशन धीमी गति से चलते हैं।
• ताला। कोई प्रोग्राम किसी थ्रेड या प्रक्रिया को अनलॉक करने के लिए प्रतीक्षा कर सकता है।
• कार्य का निलंबन। कभी-कभी कोई कार्यक्रम जानबूझकर काम रोक सकता है, उदाहरण के लिए, कुछ कार्रवाई करने के प्रयासों के बीच रुकना।

उन कार्यक्रमों के स्थानों को कैसे ढूंढें जिसमें कुछ ऐसा होता है जो प्रदर्शन को बुरी तरह से प्रभावित करता है?

विधि संख्या 1: उस समय का विश्लेषण जिसके दौरान प्रोग्राम प्रोसेसर का उपयोग नहीं करता है

पायथन के अंतर्निहित प्रोफाइलर, cProfile , कार्यक्रमों के संचालन से संबंधित कई अलग-अलग संकेतकों पर डेटा एकत्र करने में सक्षम है। इसके कारण, इसका उपयोग एक उपकरण बनाने के लिए किया जा सकता है जिसके साथ आप उस समय का विश्लेषण कर सकते हैं जिसके दौरान प्रोग्राम प्रोसेसर संसाधनों का उपयोग नहीं करता है।

ऑपरेटिंग सिस्टम हमें यह बता सकता है कि प्रोग्राम ने कितने प्रोसेसर समय का उपयोग किया।

कल्पना कीजिए कि हम एक एकल-थ्रेडेड प्रोग्राम की रूपरेखा बना रहे हैं। बहुस्तरीय कार्यक्रमों को प्रोफाइल करना अधिक कठिन है, और इस प्रक्रिया का वर्णन करना भी मुश्किल है। यदि कार्यक्रम 9 सेकंड के लिए चला और उसी समय प्रोसेसर का उपयोग 7.5 सेकंड के लिए किया गया, तो इसका मतलब है कि उसने 1.5 सेकंड प्रतीक्षा में बिताए।

सबसे पहले, एक टाइमर बनाएं जो टाइमआउट को मापेगा:

 import os def not_cpu_time():    times = os.times()    return times.elapsed - (times.system + times.user) 

फिर एक प्रोफाइलर बनाएं जो इस समय का विश्लेषण करता है:

 import cProfile, pstats def profile_not_cpu_time(f, *args, **kwargs):    prof = cProfile.Profile(not_cpu_time)    prof.runcall(f, *args, **kwargs)    result = pstats.Stats(prof)    result.sort_stats("time")    result.print_stats() 

उसके बाद, आप विभिन्न कार्यों की रूपरेखा तैयार कर सकते हैं:

 >>> profile_not_cpu_time( ...   lambda: urlopen("https://pythonspeed.com").read()) ncalls tottime percall filename:lineno(function)    3  0.050  0.017 _ssl._SSLSocket.read    1  0.040  0.040 _socket.getaddrinfo    1  0.020  0.020 _socket.socket.connect    1  0.010  0.010 _ssl._SSLSocket.do_handshake  342  0.010  0.000 find.str  192  0.010  0.000 append.list 

परिणाम हमें यह निष्कर्ष निकालने की अनुमति देते हैं कि अधिकांश समय सॉकेट से डेटा पढ़ने में बिताया गया था, लेकिन DNS लुकअप ( getaddrinfo ) करने के लिए, साथ ही साथ टीसीपी हैंडशेक ( connect ) और टीएलएस / एसएसएल हैंडशेक प्रदर्शन करने में कुछ समय लगा।

चूंकि हमने प्रोग्राम के संचालन के उन समय की जांच करने के लिए ध्यान रखा है जिसमें यह प्रोसेसर संसाधनों का उपयोग नहीं करता है, हम जानते हैं कि यह सब शुद्ध प्रतीक्षा समय है, अर्थात, वह समय जब कार्यक्रम किसी गणना के साथ व्यस्त नहीं है।

str.find और str.find लिए समय क्यों दर्ज किया गया है? इस तरह के संचालन करते समय, कार्यक्रम के लिए इंतजार करने के लिए कुछ भी नहीं है, इसलिए स्पष्टीकरण प्रशंसनीय लगता है, जिसके अनुसार हम ऐसी स्थिति से निपट रहे हैं जहां पूरी प्रक्रिया का प्रदर्शन नहीं किया गया था। शायद - किसी अन्य प्रक्रिया के पूरा होने की प्रतीक्षा कर रहा है, या स्वैप फ़ाइल से मेमोरी में डेटा लोड करने के पूरा होने की प्रतीक्षा कर रहा है। यह इंगित करता है कि इन कार्यों को करने में कुछ समय बिताया गया था, जो प्रोसेसर समय का हिस्सा नहीं है।

इसके अलावा, मैं यह नोट करना चाहता हूं कि मैंने ऐसी रिपोर्टें देखी हैं जिनमें समय के छोटे नकारात्मक टुकड़े होते हैं। यह बीता हुआ समय और प्रोसेसर समय के बीच एक निश्चित विसंगति का सुझाव देता है, लेकिन मुझे यह अधिक जटिल कार्यक्रमों के विश्लेषण पर महत्वपूर्ण प्रभाव पड़ने की उम्मीद नहीं है।

विधि संख्या 2: जानबूझकर संदर्भ स्विच की संख्या का विश्लेषण

किसी चीज़ के इंतज़ार में प्रोग्राम द्वारा बिताए गए समय को मापने के साथ समस्या यह है कि एक ही प्रोग्राम के लिए अलग-अलग माप सत्र करते समय, यह उस चीज़ के कारण भिन्न हो सकता है जो प्रोग्राम के दायरे से बाहर है। कभी-कभी DNS क्वेरी सामान्य से धीमी हो सकती हैं। कभी-कभी, सामान्य से अधिक धीरे-धीरे, कुछ डेटा लोड हो सकता है। इसलिए, कुछ और पूर्वानुमानित संकेतकों का उपयोग करना उपयोगी होगा जो कार्यक्रम को घेरने की गति से बंधे नहीं हैं।

ऐसा करने का एक तरीका यह है कि गणना करने के लिए कितने ऑपरेशनों की प्रक्रिया को पूरा करना है। यही है, हम प्रतीक्षा अवधि की संख्या की गणना करने के बारे में बात कर रहे हैं, न कि किसी चीज के इंतजार में बिताए गए समय के बारे में।

एक प्रक्रिया दो कारणों से प्रोसेसर संसाधनों का उपयोग करना बंद कर सकती है:

1. हर बार एक प्रक्रिया एक ऑपरेशन करती है जो तुरंत समाप्त नहीं होती है, उदाहरण के लिए, यह सॉकेट, ठहराव, और इसी तरह से डेटा पढ़ता है, यह ऑपरेटिंग सिस्टम के लिए यह कहता है कि इसके बराबर है: "जब मैं काम करना जारी रख सकता हूं तो मुझे जगाओ।" यह तथाकथित "जानबूझकर संदर्भ स्विच" है: जब तक सॉकेट पर डेटा दिखाई नहीं देता, या जब तक हमारी प्रक्रिया स्टैंडबाय मोड से बाहर नहीं निकलती, तब तक अन्य समान मामलों में भी प्रोसेसर दूसरी प्रक्रिया पर स्विच कर सकता है।
2. "अनजाने में संदर्भ स्विच करना" एक ऐसी स्थिति है जिसमें ऑपरेटिंग सिस्टम अस्थायी रूप से एक प्रक्रिया को रोक देता है, जिससे प्रोसेसर संसाधनों का लाभ उठाने के लिए एक और प्रक्रिया की अनुमति मिलती है।

हम जानबूझकर संदर्भ स्विच प्रोफ़ाइल करेंगे।

मान लीजिए कि एक ऐसा प्रोफाइलर लिखा है जो psutil लाइब्रेरी के उपयोग से जानबूझकर संदर्भ स्विच को psutil है:

 import psutil _current_process = psutil.Process() def profile_voluntary_switches(f, *args, **kwargs):    prof = cProfile.Profile(        lambda: _current_process.num_ctx_switches().voluntary)    prof.runcall(f, *args, **kwargs)    result = pstats.Stats(prof)    result.sort_stats("time")    result.print_stats() 

अब, उस कोड को प्रोफाइल करें जो नेटवर्क के साथ फिर से काम करता है:

 >>> profile_voluntary_switches( ...   lambda: urlopen("https://pythonspeed.com").read()) ncalls tottime percall filename:lineno(function)     3  7.000  2.333 _ssl._SSLSocket.read     1  2.000  2.000 _ssl._SSLSocket.do_handshake     1  2.000  2.000 _socket.getaddrinfo     1  1.000  1.000 _ssl._SSLContext.set_default_verify_path     1  1.000  1.000 _socket.socket.connect 

अब, समय डेटा की प्रतीक्षा करने के बजाय, हम जानबूझकर हुए संदर्भ स्विच की संख्या के बारे में जानकारी देख सकते हैं।

ध्यान दें कि आप कभी-कभी अप्रत्याशित स्थानों में जानबूझकर संदर्भ स्विच देख सकते हैं। मेरा मानना ​​है कि ऐसा तब होता है जब मेमोरी पेज की त्रुटियों के कारण पेज फाइल से डेटा लोड किया जा रहा है।

परिणाम

यहां वर्णित कोड प्रोफाइलिंग तकनीक का उपयोग करने से सिस्टम पर एक निश्चित अतिरिक्त भार पैदा होता है, जो प्रोग्राम को बहुत धीमा कर देता है। ज्यादातर मामलों में, हालांकि, इस तथ्य के कारण परिणामों का एक महत्वपूर्ण विरूपण नहीं होना चाहिए कि हम प्रोसेसर संसाधनों के उपयोग का विश्लेषण नहीं करते हैं।

सामान्य तौर पर, यह ध्यान दिया जा सकता है कि कार्यक्रम के काम से संबंधित कोई भी औसत दर्जे का संकेतक खुद को प्रोफाइलिंग के लिए उधार देता है। उदाहरण के लिए, निम्नलिखित:

• psutil.Process().read_count की संख्या ( psutil.Process().read_count ) और लिखता है ( psutil.Process().write_count )।
• लिनक्स पर, बाइट्स की कुल संख्या पढ़ी और लिखी जाती है (psutil। Process().read_chars )।
• मेमोरी एलोकेशन इंडिकेटर्स (इस तरह के विश्लेषण को करने के लिए कुछ प्रयास करने की आवश्यकता होती है; यह जेमालॉक का उपयोग करके किया जा सकता है)।

इस सूची के पहले दो आइटमों पर विवरण psutil प्रलेखन में पाया जा सकता है।

प्रिय पाठकों! आप अपने पायथन एप्लिकेशन को कैसे प्रोफाइल करते हैं?