बहुवाद के बारे में निराशावाद

बड़े पैमाने पर और हार्डवेयर संगामिति 21 वीं सदी के गर्म विषय हैं। इसके कई अच्छे कारण हैं, और एक के बजाय दुखी हैं।

दो अच्छे कारण: खेलों में उत्कृष्ट जीपीयू प्रदर्शन का एक संयोजन और एक ही समय में एआई के गहन अध्ययन में उनके अप्रत्याशित पक्ष का उपयोग, क्योंकि बड़े पैमाने पर समानता को हार्डवेयर स्तर पर लागू किया गया है। दुखद कारण यह है कि यूनिप्रोसेसर सिस्टम की गति ने 2006 से भौतिकी के नियमों के खिलाफ आराम किया है। रिसाव और थर्मल ब्रेकडाउन के साथ वर्तमान समस्याएं तेजी से घड़ी की आवृत्ति में वृद्धि को सीमित करती हैं, और क्लासिक वोल्टेज ड्रॉप अब क्वांटम शोर के साथ गंभीर समस्याओं में चलता है।

जनता के ध्यान के लिए प्रतिस्पर्धा करते हुए, प्रोसेसर निर्माता सैद्धांतिक समग्र प्रदर्शन को देखते हुए, प्रत्येक चिप में अधिक से अधिक प्रोसेसर कोर को धकेलने की कोशिश कर रहे हैं। कन्वेयर प्रयासों और सट्टा निष्पादन के तरीके, जो हुड के नीचे मल्टीथ्रेडिंग का उपयोग करते हैं, वे भी तेजी से बढ़ रहे हैं, ताकि प्रोग्रामर को दिखाई देने वाला एकल प्रोसेसर तेजी से निर्देशों को संसाधित कर सके।

असुविधाजनक सत्य यह है कि हमारे कई कम ग्लैमरस कंप्यूटिंग कार्य बस दृश्यमान मल्टीथ्रेडिंग का उपयोग नहीं कर सकते हैं। इसके विभिन्न कारण हैं, जिनके प्रोग्रामर के लिए अलग-अलग परिणाम हैं, और बहुत भ्रम है। इस लेख में मैं स्थिति को कुछ हद तक स्पष्ट करना चाहता हूं।

सबसे पहले, आपको स्पष्ट रूप से समझने की आवश्यकता है कि हार्डवेयर समानताएं सबसे अच्छा काम क्यों करती हैं और क्यों। आइए ग्राफिक्स, तंत्रिका नेटवर्क, सिग्नल प्रोसेसिंग और बिटकॉइन खनन के लिए गणना देखें। एक पैटर्न है: समानांतर एल्गोरिदम उन उपकरणों पर सबसे अच्छा काम करता है जो (ए) विशेष रूप से उन्हें चलाने के लिए डिज़ाइन किए गए हैं; (बी) कुछ और नहीं कर सकता!

हम यह भी देखते हैं कि सबसे सफल समानांतर एल्गोरिदम के लिए इनपुट (छंटाई, स्ट्रिंग मिलान, तेजी से फूरियर रूपांतरण, मैट्रिक्स संचालन, छवियों का उलटा मात्रा का ठहराव, आदि) बहुत समान दिखते हैं। एक नियम के रूप में, उनके पास एक मीट्रिक संरचना है और "निकट" और "दूर" डेटा के बीच अंतर निहित है, जो हमें भागों में कटौती करने की अनुमति देता है, क्योंकि दूर के तत्वों के बीच संबंध नगण्य है।

सिमेंटिक इलाके पर अंतिम लेख के संदर्भ में, हम कह सकते हैं कि समानांतर तरीके मुख्य रूप से लागू होते हैं जहां डेटा की अच्छी स्थानीयता होती है। और वे उन उपकरणों पर सबसे अच्छा काम करते हैं जो केवल "शॉर्ट-रेंज" कनेक्शन का समर्थन करते हैं, जैसे कि GPU के दिल में सिस्टोलिक मैट्रिक्स।

दूसरी ओर, सॉफ़्टवेयर को लिखना बहुत मुश्किल है जो सामान्य प्रयोजन के कंप्यूटरों (वॉन न्यूमैन आर्किटेक्चर) पर खराब इलाके के साथ इनपुट डेटा के लिए प्रभावी रूप से इस तरह के अनुभाग का निर्माण करता है।

नतीजतन, हम एक सरल हेयुरिस्टिक तैयार कर सकते हैं: समानांतर कंप्यूटिंग का उपयोग करने की संभावना इनपुट डेटा में इर्रेड्यूबल सिमेंटिक नॉनोकैलिटी की डिग्री के विपरीत आनुपातिक है।

समानांतर कंप्यूटिंग की एक और सीमा यह है कि कुछ महत्वपूर्ण एल्गोरिदम को समानांतर नहीं किया जा सकता है - यहां तक ​​कि सैद्धांतिक रूप से भी। जब मैंने पहली बार अपने ब्लॉग पर इस विषय पर चर्चा की, तो मैं "बीमार एल्गोरिथ्म" शब्द के साथ आया, जहां बीमार "सीरियल, आंतरिक रूप से - कोप, किदो!" महत्वपूर्ण उदाहरणों में शामिल हैं: सबसे छोटा रास्ता खोजने के लिए दिज्क्स्ट्रा का एल्गोरिथ्म; निर्देशित ग्राफ़ में चक्रों का पता लगाना (3-सैट का उपयोग करके सॉल्वर); गहरी खोज; क्रिप्टोग्राफिक हैश श्रृंखला में एनटी सदस्य की गणना; नेटवर्क स्ट्रीम अनुकूलन ... और यह पूरी सूची नहीं है।

इनपुट डेटा के खराब इलाके भी यहाँ एक भूमिका निभाते हैं, खासकर ग्राफ और पेड़ की संरचना के संदर्भ में। क्रिप्टोग्राफिक हैश चेन को समानांतर नहीं किया जा सकता है, क्योंकि रिकॉर्ड की गणना सख्त क्रम में की जाती है - यह श्रृंखला को जालसाजी से बचाने के लिए वास्तव में एक महत्वपूर्ण नियम है।

और यहाँ लॉक आता है: आप कुछ भी समानांतर नहीं कर सकते, जबकि सिक एल्गोरिथ्म काम कर रहा है।

हम नहीं किए जाते। बाधाओं के कम से कम दो वर्ग हैं, और बहुत आम हैं।

सबसे पहले, आवश्यक उपकरण नहीं हैं। अधिकांश भाषाएं म्यूटेक्स और सेमाफोरस के अलावा और कुछ का समर्थन नहीं करती हैं। यह सुविधाजनक है, आदिम लागू करना आसान है, लेकिन यह स्थिति सिर में जटिलता के भयानक विस्फोट का कारण बनती है: चार से अधिक अंतःक्रियात्मक ताले के पैमाने को समझना लगभग असंभव है।

यदि आप भाग्यशाली हैं, तो आपको प्राइमिटिव्स का अधिक मिलनसार सेट मिलेगा, जैसे कि गो चैनल (उर्फ कम्यूनिकेटिंग सेक्शनल प्रॉसेस) या रस्ट ओनरशिप / सेंड / सिंक्रोनाइजेशन सिस्टम। लेकिन वास्तव में, हम नहीं जानते हैं कि वॉन न्यूमैन वास्तुकला पर समानता के कार्यान्वयन के लिए आदिम की "सही" भाषा क्या है। शायद आदिम लोगों का एक भी सही सेट नहीं है। शायद दो या तीन अलग-अलग सेट विभिन्न समस्या क्षेत्रों के लिए उपयुक्त हैं, लेकिन वे एक इकाई और दो के वर्गमूल के रूप में असंगत हैं। आज तक, 2018 में कोई भी वास्तव में नहीं जानता है।

और आखिरी, लेकिन कोई कम महत्वपूर्ण सीमा मानव मस्तिष्क नहीं है। अच्छे डेटा स्थानीयता और कुशल उपकरणों के साथ एक स्पष्ट एल्गोरिथ्म पर भी, समानांतर प्रोग्रामिंग केवल लोगों के लिए मुश्किल है, भले ही एल्गोरिथ्म काफी सरल रूप से लागू किया गया हो। हमारा मस्तिष्क विशुद्ध रूप से अनुक्रमिक कार्यक्रमों और विशेष रूप से समानांतर वाले लोगों के सबसे सरल राज्य स्थानों को बहुत अच्छी तरह से मॉडल नहीं करता है।

हम यह जानते हैं क्योंकि बहुत सारे वास्तविक सबूत हैं कि समानांतर कोड डीबग करना कठिन से अधिक है। यह निर्देश की थोड़ी असुरक्षित व्यवस्था के कारण दौड़ की स्थिति, गतिरोध, आत्म-विनाशकारी ताले, कपटी डेटा भ्रष्टाचार से बाधित है।

मुझे लगता है कि इन सीमाओं को समझना डेनार्ड के कानून के पतन के बाद और अधिक महत्वपूर्ण हो जाता है। प्रोग्रामिंग में इन सभी बाधाओं के कारण, मल्टी-कोर सिस्टम का हिस्सा हमेशा सॉफ़्टवेयर चलाएगा जो 100% कंप्यूटिंग शक्ति पर उपकरण लोड करने में सक्षम नहीं है। यदि आप दूसरी तरफ से देखते हैं, तो हमारे पास वर्तमान कार्यों के लिए अतिरिक्त लोहा है। हम कितना पैसा और प्रयास बर्बाद कर रहे हैं?

प्रोसेसर निर्माता चाहते हैं कि आप और भी अधिक कोर के साथ स्मार्ट नए चिप्स के कार्यात्मक लाभों को पछाड़ें। लाभदायक होने पर वे अन्य उत्पादन लागत को कवर करने के लिए धन कैसे जुटा सकते हैं? मार्केटिंग अपनी पूरी कोशिश कर रही है ताकि आपको कभी आश्चर्य न हो कि ऐसे मल्टीथ्रेडिंग कौन से कार्य वास्तव में फायदेमंद हैं।

ईमानदारी से, ऐसे कार्य हैं। डेटा केंद्रों में सर्वर जो प्रति सेकंड सैकड़ों हजारों समवर्ती लेनदेन की प्रक्रिया करते हैं, भार को कोर के पार अच्छी तरह से वितरित करने की संभावना है। स्मार्टफोन या एम्बेडेड सिस्टम, भी - दोनों मामलों में, लागत और ऊर्जा की खपत को कम करने के लिए महत्वपूर्ण प्रयास किए जाते हैं, जिससे अतिरिक्त बिजली का कमीशन करना मुश्किल हो जाता है।

लेकिन साधारण डेस्कटॉप और लैपटॉप उपयोगकर्ताओं के लिए? अस्पष्ट संदेह मुझे पीड़ा देता है। यहां स्थिति को समझना मुश्किल है, क्योंकि उत्पादकता में वास्तविक वृद्धि अन्य कारकों से आती है, जैसे कि एचडीडी से एसएसडी तक संक्रमण। सीपीयू को तेज करने के प्रभाव के लिए ऐसी उपलब्धियों को आसानी से गलत किया जाता है, अगर आप पूरी तरह से प्रोफाइलिंग नहीं करते हैं।

इस तरह के संदेह के लिए आधार हैं:

1. डेस्कटॉप / लैपटॉप कंप्यूटर पर गंभीर समानांतर कंप्यूटिंग केवल GPU पर होती है।
2. एक प्रोसेसर में दो से अधिक कोर आमतौर पर बेकार हैं। ऑपरेटिंग सिस्टम एप्लिकेशन फ़्लो को वितरित कर सकता है, लेकिन विशिष्ट सॉफ़्टवेयर संगामिति का उपयोग करने में सक्षम नहीं है, और अधिकांश उपयोगकर्ता शायद ही कभी एक साथ बड़ी संख्या में विभिन्न अनुप्रयोगों को लॉन्च करने का प्रबंधन करते हैं जो अपने उपकरणों को पूरी तरह से लोड करने के लिए बहुत सारे सीपीयू संसाधनों का उपभोग करते हैं।
3. नतीजतन, अधिकांश क्वाड-कोर सिस्टम गर्मी पैदा करने के अलावा कुछ नहीं करते हैं।

मेरे पाठकों में कई लोग हैं जो इस परिकल्पना पर यथोचित टिप्पणी करने में सक्षम होने की संभावना रखते हैं। यह देखना दिलचस्प है कि वे क्या कहते हैं।

अद्यतन। G + पर टिप्पणीकार ने मल्टी-कोर प्रोसेसर से एक दिलचस्प लाभ बताया: वे बहुत जल्दी कोड संकलित करते हैं। C जैसी भाषाओं के स्रोत कोड में अच्छी स्थानीयता है: यहाँ, अच्छी तरह से अलग की गई इकाइयाँ (स्रोत फ़ाइलें) ऑब्जेक्ट फ़ाइलों में संकलित की जाती हैं, जिन्हें लिंकर फिर जोड़ती है।