असंभव GPU कंप्यूटिंग का रहस्य

गणितीय समस्याओं को हल करने के लिए 480 AMD RX 480 GPU के कंप्यूटिंग क्लस्टर का उपयोग करने में हमारा अनुभव। एक समस्या के रूप में, हमने प्रोफेसर ए। चूडनोव के एक लेख से प्रमेय का प्रमाण लिया " गारंटीशुदा अदायगी के साथ डिग्रियों और खेलों के चक्रीय वर्गों को अलग करने वाले सेटों का चक्रीय विघटन ।" कार्य निम-प्रकार गठबंधन खेलों में एक गठबंधन में प्रतिभागियों की न्यूनतम संख्या का पता लगाना है, जो पार्टियों में से एक की जीत की गारंटी देता है।

सीपीयू विकास

पहला प्रोसेसर जिसे वास्तव में बड़े पैमाने पर वितरण मिला, वह इंटेल से 8086 है, जिसे 1978 में विकसित किया गया था। 8086 की घड़ी की गति केवल 8 मेगाहर्ट्ज थी। कुछ साल बाद, पहला प्रोसेसर दिखाई दिया जिसके अंदर 2, 4 और यहां तक ​​कि 8 कोर थे। प्रत्येक कोर ने अपने कोड को दूसरों के स्वतंत्र रूप से निष्पादित करने की अनुमति दी। तुलना के लिए, आधुनिक इंटेल कोर i9-7980XE प्रोसेसर 2.6 गीगाहर्ट्ज की आवृत्ति पर संचालित होता है और इसमें 18 कोर होते हैं। जैसा कि आप देख सकते हैं, प्रगति अभी भी खड़ा नहीं है!

GPU विकास

इसके साथ ही केंद्रीय प्रोसेसर के विकास के साथ, वीडियो कार्ड भी विकसित हुए। मूल रूप से, उनकी विशेषताएं कंप्यूटर गेम के लिए महत्वपूर्ण हैं, जहां नई प्रौद्योगिकियां विशेष रूप से रंगीन हैं और 3 डी छवियों का प्रतिपादन धीरे-धीरे फोटोग्राफिक गुणवत्ता के करीब पहुंच रहा है। कंप्यूटर गेम के विकास की शुरुआत में, सीपीयू पर चित्र की गणना की गई थी, लेकिन 3 डी-ग्राफिक्स डेवलपर्स की आविष्कारशीलता जल्द ही पहुंच गई थी, जो यहां तक ​​कि स्पष्ट चीजों को अनुकूलित करने में कामयाब रहे ( InvSqrt () एक अच्छा उदाहरण है)। तो, 3 डी गणना करने के निर्देशों के एक विशेष सेट के साथ कॉप्रोसेस वीडियो कार्ड में दिखाई देने लगे। समय के साथ, ऐसी टीमों की संख्या बढ़ती गई, जो एक ओर, छवि के साथ अधिक लचीले और कुशलता से काम करने की अनुमति देती थीं, और दूसरी ओर, विकास की प्रक्रिया को जटिल बनाती थी।

1996 से, ग्राफिक्स त्वरक S3 ViRGE, 3dfx वूडू, डायमंड मॉन्स्टर और अन्य का उत्पादन किया जाने लगा। 1999 में, nVidia ने GeForce 256 प्रोसेसर जारी किया, यह एक ग्राफिक्स प्रोसेसर है - GPU शब्द की शुरुआत। यह पहले से ही सार्वभौमिक है, यह ज्यामितीय गणना, समन्वय परिवर्तन, प्रकाश बिंदुओं की नियुक्ति और बहुभुज के साथ काम कर सकता है। GPU और अन्य ग्राफिक्स चिप्स के बीच का अंतर यह था कि अंदर, विशेष कमांड के अलावा, मानक कमांड का एक सेट था जिसके साथ आप अपने स्वयं के रेंडरिंग एल्गोरिदम को लागू कर सकते थे। इसने एक महत्वपूर्ण लाभ दिया, क्योंकि इसने किसी विशेष प्रभाव को जोड़ने की अनुमति दी, और न केवल उन लोगों को जो पहले से ही वीडियो कार्ड में प्रोग्राम किए गए थे। GeForce 8000/9000 के साथ शुरू, GPU में स्ट्रीम प्रोसेसर दिखाई दिया - पहले से ही पूर्ण कंप्यूटर। मॉडल के आधार पर उनकी संख्या 16 से लेकर 128 तक थी। आधुनिक शब्दावली में, उन्हें एकीकृत शेडर इकाइयाँ, या बस शैडर इकाइयाँ कहा जाता है। आज बनाए गए AMD वेगा 64 GPU में 4096 shader यूनिट हैं, और घड़ी की आवृत्ति 1536 MHz तक पहुँच सकती है!

GPU में क्या होता है?

GPU आर्किटेक्चर बड़ी संख्या में कोर से सीपीयू से भिन्न होता है और मुख्य रूप से वेक्टर कंप्यूटिंग में लक्षित निर्देशों का एक न्यूनतम सेट होता है। वास्तुकला स्तर पर, बड़ी संख्या में कोर के समानांतर संचालन और एक साथ स्मृति तक पहुंच के मुद्दों को हल किया गया है। आधुनिक जीपीयू में 2 से 4 हजार शडर इकाइयां होती हैं, जिन्हें कंप्यूटिंग इकाइयों (कम्प्यूट यूनिट) में संयोजित किया जाता है। समानांतर कंप्यूटिंग में, स्मृति तक एक साथ पहुंच की समस्या विशेष रूप से तीव्र है। यदि प्रत्येक स्ट्रीम प्रोसेसर मेमोरी सेल में लिखने की कोशिश करता है, तो ये कमांड लॉक में समाप्त हो जाएंगे और उन्हें कतारबद्ध होने की आवश्यकता होगी, जो प्रदर्शन को बहुत कम कर देगा। इसलिए, स्ट्रीम प्रोसेसर छोटे समूहों में निर्देशों को निष्पादित करते हैं: जबकि एक समूह गणना करता है, अन्य रजिस्टर को लोड करता है, आदि। आप साझा मेमोरी और आंतरिक तुल्यकालन तंत्र के साथ कोर को कार्यसमूहों में भी जोड़ सकते हैं।

GPU की एक अन्य महत्वपूर्ण विशेषता वेक्टर रजिस्टरों और वेक्टर ALU की उपस्थिति है, जो वेक्टर के कई घटकों के लिए एक साथ संचालन कर सकते हैं। यह 3 डी ग्राफिक्स के लिए मुख्य रूप से आवश्यक है, लेकिन चूंकि हमारी दुनिया त्रि-आयामी है, इसलिए कुछ भी हमें कई भौतिक गणनाओं के लिए इसका उपयोग करने से रोकता है। मुक्त वेक्टर ALU की उपस्थिति में, उन्हें स्केलर मात्रा की गणना करने के लिए भी इस्तेमाल किया जा सकता है।

वे बहुत अलग हैं, सीपीयू और जीपीयू

कंप्यूटिंग प्रणाली के पूर्ण संचालन के लिए, दोनों प्रकार के उपकरण महत्वपूर्ण हैं। उदाहरण के लिए, हम एक कदम-दर-चरण कार्यक्रम निष्पादित कर रहे हैं, एक निश्चित अनुक्रमिक एल्गोरिथ्म। एल्गोरिथ्म के पांचवें चरण का प्रदर्शन करने का कोई तरीका नहीं है, इसलिए इसके लिए डेटा की गणना चरण चार में की जाती है। इस मामले में, बड़ी कैश और उच्च घड़ी की गति के साथ सीपीयू का उपयोग करना अधिक कुशल है। लेकिन कार्यों के पूरे वर्ग हैं जो खुद को समानांतर रूप से अच्छी तरह से उधार देते हैं। इस मामले में, GPU की प्रभावशीलता स्पष्ट है। सबसे आम उदाहरण एक प्रदान की गई छवि के पिक्सल की गणना है। प्रत्येक पिक्सेल की प्रक्रिया लगभग समान है, 3 डी ऑब्जेक्ट्स और बनावट पर डेटा वीडियो कार्ड की रैम में स्थित है, और प्रत्येक स्ट्रीम प्रोसेसर स्वतंत्र रूप से छवि के अपने हिस्से की गणना कर सकता है।

यहां एक आधुनिक कार्य का एक उदाहरण है - एक तंत्रिका नेटवर्क का प्रशिक्षण। समान न्यूरॉन्स की एक बड़ी संख्या को प्रशिक्षित करने की आवश्यकता है, अर्थात प्रत्येक न्यूरॉन के वजन गुणांक को बदलने के लिए। इस तरह के बदलावों के बाद, प्रशिक्षण के लिए तंत्रिका नेटवर्क के माध्यम से परीक्षण अनुक्रम पास करना और त्रुटि वैक्टर प्राप्त करना आवश्यक है। इस तरह की गणना GPU के लिए अच्छी तरह से अनुकूल है। प्रत्येक स्ट्रीम प्रोसेसर एक न्यूरॉन की तरह व्यवहार कर सकता है और गणना के दौरान क्रमबद्ध तरीके से समाधान का निर्माण करना आवश्यक नहीं होगा, हमारी सभी गणना एक साथ होगी। एक अन्य उदाहरण वायुगतिकीय प्रवाह की गणना है। हवा के प्रभाव के तहत डिजाइन किए गए पुल के संभावित व्यवहार का पता लगाना, इसकी वायुगतिकीय स्थिरता का अनुकरण करना, हवा के प्रवाह को समायोजित करने के लिए परियों के लिए इष्टतम स्थापना साइटों को खोजना या पवन प्रतिध्वनि के प्रतिरोध की गणना करना आवश्यक है। वोल्गोग्राद में प्रसिद्ध "डांसिंग ब्रिज" याद है? मुझे लगता है कि कोई भी उस पल पुल पर नहीं रहना चाहेगा ...

प्रत्येक बिंदु पर वायु प्रवाह के व्यवहार को समान गणितीय समीकरणों द्वारा वर्णित किया जा सकता है और बड़ी संख्या में कोर पर समानांतर में इन समीकरणों को हल किया जा सकता है।

प्रोग्रामर्स के हाथों में जी.पी.यू.

GPU पर गणना करने के लिए, एक विशेष भाषा और संकलक का उपयोग किया जाता है। सामान्य GPU कंप्यूटिंग करने के लिए कई रूपरेखाएँ हैं: OpenCL, CUDA, C ++ AMP, OpenACC। पहले दो व्यापक रूप से उपयोग किए गए थे, लेकिन CUDA का उपयोग केवल एनवीडिया के GPU द्वारा सीमित है।

OpenCL Apple द्वारा 2009 में जारी किया गया था। बाद में, इंटेल, आईबीएम, एएमडी, Google और एनवीडिया ने क्रोनोस ग्रुप में शामिल हो गए और सामान्य मानक के लिए अपने समर्थन की घोषणा की। तब से, मानक का एक नया संस्करण हर डेढ़ से दो साल में प्रकट होता है और प्रत्येक अधिक से अधिक गंभीर सुधार लाता है।

आज तक, OpenCL C ++ संस्करण 2.2 भाषा C ++ 14 मानक के अनुरूप है, डिवाइस के भीतर कई कार्यक्रमों के एक साथ निष्पादन का समर्थन करता है, आंतरिक कतारों और पाइपलाइनों के माध्यम से उनके बीच की बातचीत, और बफ़र्स और वर्चुअल मेमोरी के लचीले प्रबंधन की अनुमति देता है।

वास्तविक कार्य

खेलों के सिद्धांत से एक दिलचस्प समस्या, जिसके समाधान में हमने भाग लिया, प्रोफेसर ए। चूडनोव के एक लेख से प्रमेय का प्रमाण है। " गारंटीशुदा अदायगी के साथ डिग्रियों और खेलों के चक्रीय वर्गों को अलग करने वाले सेटों का चक्रीय विघटन ।" कार्य निम-प्रकार गठबंधन खेलों में एक गठबंधन में प्रतिभागियों की न्यूनतम संख्या का पता लगाना है, जो पार्टियों में से एक की जीत की गारंटी देता है।

गणितीय दृष्टिकोण से, यह एक सहायक चक्रीय अनुक्रम की खोज है। यदि आप शून्य और लोगों की सूची के रूप में अनुक्रम का प्रतिनिधित्व करते हैं, तो समर्थन के लिए जांच को तार्किक बिटवाइज़ ऑपरेशनों द्वारा कार्यान्वित किया जा सकता है। प्रोग्रामिंग के दृष्टिकोण से, ऐसा अनुक्रम एक लंबा रजिस्टर है, उदाहरण के लिए, 256 बिट्स। इस समस्या को हल करने का सबसे विश्वसनीय तरीका स्पष्ट कारणों के लिए असंभव को छोड़कर सभी विकल्पों के माध्यम से हल करना है।

समस्या को हल करने के लक्ष्य प्रभावी सिग्नल प्रोसेसिंग (पहचान, सिंक्रनाइज़ेशन, समन्वय माप, कोडिंग, आदि) के मुद्दे हैं।

इस समस्या को हल करने की जटिलता विकल्पों की एक बड़ी संख्या के माध्यम से हल करना है। उदाहरण के लिए, यदि हम n = 25 के लिए कोई समाधान खोज रहे हैं, तो यह 25 बिट है, और यदि n = 100 है, तो यह पहले से ही 100 बिट्स है। यदि हम सभी संभावित संयोजनों की संख्या लेते हैं, तो n = 25 के लिए यह 2 ^ 25 = 33 554 432 है, और n = 100 के लिए यह पहले से ही 2 ^ 100 = 1 267 650 600 228 229 401 496 703 205 376 संयोजन है। जटिलता में वृद्धि बस आम है!

यह कार्य अच्छी तरह से समानांतर है, जिसका अर्थ है कि यह हमारे GPU क्लस्टर के लिए आदर्श है।

प्रोग्रामर बनाम मैथ्स

प्रारंभ में, गणितज्ञों ने एक्सेल में विजुअल बेसिक में इस समस्या को हल किया, इसलिए वे प्राथमिक समाधान प्राप्त करने में कामयाब रहे, लेकिन स्क्रिप्टिंग भाषाओं की कम उत्पादकता ने हमें बहुत आगे बढ़ने की अनुमति नहीं दी। N = 80 के निर्णय में डेढ़ महीना लगा ... हमने इन रोगी लोगों के सामने अपना सिर झुकाया।

पहला चरण, हमने सी में कार्य एल्गोरिदम को लागू किया और इसे सीपीयू पर लॉन्च किया। इस प्रक्रिया में, यह पता चला कि बिट अनुक्रमों के साथ काम करते समय बहुत कुछ अनुकूलित किया जा सकता है।
अगला, हमने खोज क्षेत्र को अनुकूलित किया और दोहराव को समाप्त किया। साथ ही, कंपाइलर फीचर्स के लिए कोडाइलर के कंपाइलर और ऑप्टिमाइजेशन से उत्पन्न कोडाइल कोड के विश्लेषण ने अच्छा रिजल्ट दिया। यह सब गणनाओं की गति में उल्लेखनीय वृद्धि हासिल करना संभव बनाता है।

अनुकूलन का अगला चरण प्रोफाइलिंग था। कोड के विभिन्न वर्गों के निष्पादन के समय के मापन से पता चला कि एल्गोरिथ्म की कुछ शाखाओं में मेमोरी पर भार काफी बढ़ गया, साथ ही साथ कार्यक्रम की अत्यधिक शाखाएं भी सामने आईं। इस "छोटे" दोष के कारण, CPU शक्ति का लगभग एक तिहाई उपयोग नहीं किया गया था।

ऐसी समस्याओं को हल करने का एक बहुत महत्वपूर्ण पहलू कोड लिखने की सटीकता है। कोई भी इस समस्या के सही उत्तर नहीं जानता है और, तदनुसार, कोई परीक्षण वैक्टर नहीं हैं। गणितज्ञों ने जो समाधान पाया है, उसका केवल पहला भाग है। नए समाधानों की विश्वसनीयता केवल लेखन कोड की सटीकता की गारंटी हो सकती है।

इसलिए GPU पर समाधान के लिए कार्यक्रम तैयार करने का चरण आ गया है और कई थ्रेड्स में काम करने के लिए कोड को संशोधित किया गया है। नियंत्रण कार्यक्रम अब थ्रेड्स के बीच प्रेषण कार्यों में लगा हुआ है। बहु-थ्रेडेड वातावरण में, गणना की गति 5 गुना बढ़ गई है! यह 4 धागे के एक साथ संचालन और कार्यों के संयोजन के कारण हासिल किया गया था।

इस स्तर पर, निर्णय ने 10 मिनट में n = 80 तक सही गणना की, जबकि एक्सेल में, इन गणनाओं में डेढ़ महीने का समय लगता था! छोटी जीत!

GPU और OpenCL

विभिन्न प्लेटफार्मों के बीच अधिकतम संगतता सुनिश्चित करने के लिए ओपनसीएल संस्करण 1.2 का उपयोग करने का निर्णय लिया गया था। प्रारंभिक डिबगिंग इंटेल के सीपीयू पर की गई, फिर इंटेल के जीपीयू पर। तब उन्होंने GPU को AMD से स्विच किया।

OpenCL 1.2 मानक 64 बिट्स के पूर्णांक चर का समर्थन करता है। 128-बिट आयाम सीमित रूप से एएमडी द्वारा समर्थित है, लेकिन दो 64-बिट संख्याओं में संकलित करता है। संगतता कारणों और प्रदर्शन को अनुकूलित करने के लिए, 32-बिट संख्याओं के समूह के रूप में 256-बिट संख्या प्रस्तुत करने का निर्णय लिया गया, जिस पर तार्किक बिटवाइज़ ऑपरेशन आंतरिक ALU GPU पर जल्दी से जल्दी किए जाते हैं।
एक OpenCL कार्यक्रम में एक कर्नेल होता है - एक फ़ंक्शन जो एक प्रोग्राम का प्रवेश बिंदु है। प्रसंस्करण के लिए डेटा सीपीयू से वीडियो कार्ड की रैम में डाउनलोड किया जाता है और बफ़र्स के रूप में कर्नेल में स्थानांतरित किया जाता है - इनपुट और आउटपुट डेटा की एक सरणी को इंगित करता है। एक सरणी क्यों? हम उच्च-प्रदर्शन कंप्यूटिंग करते हैं, हमें कई कार्यों की आवश्यकता होती है जो एक साथ किए जाते हैं। कर्नेल कई उदाहरणों में डिवाइस पर चलता है। प्रत्येक कोर अपने पहचानकर्ता को जानता है और एक साझा बफर से इनपुट का अपना टुकड़ा लेता है। मामला जब सबसे सरल समाधान सबसे प्रभावी है। ओपनसीएल न केवल एक भाषा है, बल्कि एक व्यापक रूपरेखा भी है जिसमें वैज्ञानिक और गेम कंप्यूटिंग के सभी विवरणों को अच्छी तरह से सोचा गया है। इससे डेवलपर के लिए जीवन आसान हो जाता है। उदाहरण के लिए, आप कई थ्रेड शुरू कर सकते हैं, कार्य प्रबंधक उन्हें डिवाइस पर ही रखेगा। उन कार्यों को जो तत्काल निष्पादन शुरू नहीं करते थे, उन्हें कतारबद्ध किया जाएगा और कंप्यूटिंग इकाइयों के रूप में लॉन्च किया जाएगा। आउटपुट बफ़र में प्रत्येक कर्नेल इंस्टेंस का अपना स्थान होता है, जहाँ यह काम पूरा होने पर प्रतिक्रिया देता है।

OpenCL प्रबंधक का मुख्य कार्य कई कर्नेल उदाहरणों के समानांतर निष्पादन को सुनिश्चित करना है। दशकों से संचित वैज्ञानिक और व्यावहारिक अनुभव को यहां लागू किया जाता है। जबकि कुछ कोर डेटा को रजिस्टरों में लोड करते हैं, इस समय एक अन्य हिस्सा मेमोरी के साथ काम करता है या गणना करता है - परिणामस्वरूप, GPU कोर हमेशा पूरी तरह से लोड होता है।
OpenCL संकलक अनुकूलन का एक अच्छा काम करता है, लेकिन किसी डेवलपर के लिए प्रदर्शन को प्रभावित करना आसान होता है। GPU अनुकूलन दो दिशाओं में जाता है - कोड निष्पादन में तेजी और इसे समानांतर करने की संभावना। कंपाइलर द्वारा कोड को कितनी अच्छी तरह से समानांतर किया जाता है, यह कई चीजों पर निर्भर करता है: कब्जे वाले रजिस्टरों की संख्या (जो कि सबसे धीमी जीपीयू मेमोरी - वैश्विक में स्थित हैं), संकलित कोड का आकार (यह 32 केबी कैश में फिट होना चाहिए), वेक्टर और स्केलर रजिस्टरों की संख्या का उपयोग किया जाता है।

ComBox A-480 GPU या एक मिलियन कोर

यह परियोजना का सबसे दिलचस्प हिस्सा है, जब हमने एक्सेल से एक कंप्यूटिंग क्लस्टर में 480 एएमडी आरएक्स 480 ग्राफिक्स कार्ड से स्विच किया था। बड़ा, तेज, कुशल। पूरी तरह से कार्य को पूरा करने के लिए तैयार हैं और उन परिणामों को प्राप्त करते हैं जो दुनिया ने पहले कभी नहीं देखा है।

मैं यह नोट करना चाहूंगा कि कोड में सुधार और अनुकूलन के सभी चरणों में, हमने शुरुआत से ही समाधान की तलाश शुरू की और पिछले वाले के साथ नए संस्करण के उत्तरों की तुलना की। इसने हमें यह सुनिश्चित करने की अनुमति दी कि कोड अनुकूलन और सुधार समाधानों में त्रुटियों का परिचय नहीं देते हैं। यहां आपको यह समझने की आवश्यकता है कि पाठ्यपुस्तक के अंत में कोई सही उत्तर नहीं हैं, और दुनिया में कोई भी उन्हें नहीं जानता है।
क्लस्टर पर लॉन्च ने समाधानों की गति पर हमारी धारणाओं की पुष्टि की: n> 100 के लिए दृश्यों की खोज में लगभग एक घंटे का समय लगा। यह देखना आश्चर्यजनक था कि कॉमबॉक्स ए-480 क्लस्टर में मिनटों में कितने नए समाधान थे, जबकि सीपीयू पर कई घंटे लगते थे।

कंप्यूटिंग क्लस्टर के केवल दो घंटों में, हमें n = 127 तक के सभी समाधान मिल गए। समाधानों की एक जांच से पता चला कि प्राप्त उत्तर विश्वसनीय हैं और प्रोफेसर ए। चुडनोव के सिद्धांत के अनुरूप हैं

गति का विकास

यदि आप समस्या को हल करने के दौरान प्रदर्शन लाभ को देखते हैं, तो परिणाम निम्नानुसार थे:

• एक्सेल में डेढ़ महीने से n = 80 तक;
• एक अनुकूलित C ++ प्रोग्राम के साथ Core i5 पर एक घंटे से n = 80;
• मल्टीथ्रेडिंग का उपयोग करके कोर i5 पर 10 मिनट से n = 80 तक;
• 10 मिनट n = 100 एक एएमडी आरएक्स 480 जीपीयू पर;
• ComBox A-480 पर 120 मिनट से n = 127।

संभावनाएं और भविष्य

विज्ञान और अभ्यास के चौराहे पर कई कार्य हमारे जीवन को बेहतर बनाने के लिए लंबित हैं। कंप्यूटिंग पावर रेंटल मार्केट अभी उभर रहा है, और समानांतर कंप्यूटिंग की जरूरत लगातार बढ़ रही है।

समानांतर कंप्यूटिंग के संभावित अनुप्रयोग:

• वाहनों और ड्रोनों के स्वत: नियंत्रण के कार्य;
• वायुगतिकीय और हाइड्रोडायनामिक विशेषताओं की गणना;
• भाषण मान्यता और दृश्य चित्र;
• तंत्रिका नेटवर्क प्रशिक्षण;
• खगोल विज्ञान और अंतरिक्ष यात्रियों के कार्य;
• आंकड़ों का सांख्यिकीय और सहसंबंध विश्लेषण;
• तह प्रोटीन-प्रोटीन यौगिक;
• एआई का उपयोग कर रोगों का शीघ्र निदान।

एक अलग दिशा GPU पर क्लाउड कंप्यूटिंग है। उदाहरण के लिए, अमेज़ॅन, आईबीएम और Google जैसे दिग्गज अपनी कंप्यूटिंग शक्ति को GPU के लिए पट्टे पर देते हैं। आज हम विश्वास के साथ कह सकते हैं कि उच्च-प्रदर्शन समानांतर कंप्यूटिंग का भविष्य GPU क्लस्टर से संबंधित होगा।