ऐ मिनी कप में भाग लेने के लिए एक बॉट बनाना। GPU अनुभव

अनुच्छेद 1 और अनुच्छेद 2 की निरंतरता।

कट के नीचे, मैं गणना के लिए GPU का उपयोग करने में लेखक के अनुभव के बारे में बात करूंगा, जिसमें एआई मिनी कप में भाग लेने के लिए बॉट बनाने के हिस्से के रूप में शामिल होगा। बल्कि यह है एक निबंध विषय GPU पर।

- आपका नाम जादुई है ...
-क्या आप जानते हैं, जोएल? .. जादू छोड़ रहा है ...

बचपन में, हम उस उम्र के बारे में बात करते हैं जब रसायन विज्ञान अभी तक स्कूल में नहीं चल रहा है या बस शुरू होने वाला है, लेखक जलती हुई प्रतिक्रिया से मोहित हो गया था, ऐसा हुआ कि उसके माता-पिता ने उसके साथ हस्तक्षेप नहीं किया और घर के पास मास्को बंजर भूमि कभी-कभी विभिन्न बच्चों की गतिविधि की चमक से जगमगा उठती थी, काले रंग का एक होममेड रॉकेट। बारूद, चीनी-नाइट्रेट कारमेल आदि पर। दो परिस्थितियों ने बच्चों की कल्पनाओं को सीमित कर दिया: एक घर में प्रयोगशाला में नाइट्रोग्लिसरीन का अपघटन, जिसमें एसिड से निकलने वाली छत होती है और डिफेंस एंटरप्राइज में से एक में एक पुलिस रूम में ड्राइव करने की कोशिश होती है, जो एवियोटोर्नाया मेट्रो क्षेत्र के चारों ओर बिखरे हुए हैं।

और फिर यामाहा एमएसएक्स कंप्यूटर के साथ एक भौतिकी स्कूल दिखाई दिया, घर पर एक प्रोग्राम एमके कैलकुलेटर, और रसायन विज्ञान के लिए कोई समय नहीं था। बच्चे के हित कंप्यूटर में स्थानांतरित हो गए हैं। और लेखक के पास कंप्यूटर के साथ पहले परिचित की कमी थी जो जलती हुई प्रतिक्रिया थी, उसके कार्यक्रम सुलग रहे थे, प्राकृतिक शक्ति की यह अनुभूति नहीं थी। आप खेलों में गणनाओं के अनुकूलन की प्रक्रिया देख सकते हैं, लेकिन उस समय लेखक को यह नहीं पता था कि इस फ़ंक्शन के मूल्यों की तालिका के साथ पाप () की गणना कैसे की जाए, कोई इंटरनेट नहीं था ...

इसलिए, लेखक कंप्यूटिंग शक्ति, स्वच्छ जल से खुशी की भावना प्राप्त करने में सक्षम था, मैं गणना में जीपीयू का उपयोग करता हूं।

एक हब पर GPU पर गणना के बारे में कुछ अच्छे लेख हैं। इंटरनेट पर भी कई उदाहरण हैं, इसलिए व्यक्तिगत भावनाओं के बारे में शनिवार की सुबह को लिखने का निर्णय लिया गया था और दूसरों की समानतावाद की ओर धकेलना संभव है।

सरल रूपों से शुरू करते हैं। GPU कंप्यूटिंग कई चौखटे का समर्थन करता है, लेकिन सबसे प्रसिद्ध NVIDIA CUDA और OpenCL हैं। हम CUDA लेंगे और तुरंत हमें प्रोग्रामिंग भाषाओं के अपने सेट को C ++ तक सीमित करना होगा। अन्य प्रोग्रामिंग भाषाओं में CUDA से जुड़ने के लिए पुस्तकालय हैं, उदाहरण के लिए, C # में ALEA GPU, लेकिन यह एक अलग समीक्षा लेख का विषय है।

जैसे वे एक समय में जेट इंजन के साथ एक सामूहिक कार नहीं बना सकते थे, हालांकि इसके कुछ संकेतक आंतरिक दहन इंजन की तुलना में अधिक हैं, वास्तविक समस्याओं में समानांतर गणनाओं का उपयोग करना हमेशा संभव नहीं होता है। समानांतर कंप्यूटिंग के लिए मुख्य अनुप्रयोग: आपको एक कार्य की आवश्यकता है जिसमें द्रव्यमान चरित्र के कुछ तत्व, बहुलता है। एक बॉट बनाने के हमारे मामले में, एक तंत्रिका नेटवर्क (बहुत सारे न्यूरॉन्स, तंत्रिका कनेक्शन) द्रव्यमान और बॉट्स की आबादी के अंतर्गत आते हैं (प्रत्येक गतिशीलता के लिए टकराव की गतिशीलता की गणना, कुछ समय लगता है, अगर बॉट 300-1000 के होते हैं तो केंद्रीय प्रोसेसर आत्मसमर्पण करते हैं और आप बस धीमी गति से निरीक्षण करेंगे। आपके कार्यक्रम का सुलगना, जैसे कि विज़ुअलाइज़ेशन के फ्रेम के बीच लंबे समय तक रुकना)।

सबसे अच्छा द्रव्यमान विकल्प तब होता है जब गणना का प्रत्येक तत्व सूची के किसी अन्य तत्व पर गणना के परिणाम पर निर्भर नहीं करता है, उदाहरण के लिए, सरणी को छांटने का सरल कार्य पहले से ही सभी प्रकार की चाल के साथ अतिवृद्धि है, क्योंकि सरणी में संख्या की स्थिति अन्य संख्याओं पर निर्भर करती है और एक समानांतर चक्र पर माथे में नहीं ली जा सकती है । शब्दांकन को सरल बनाने के लिए: सफल जन चरित्र का पहला संकेत यह है कि अगर आपको किसी तत्व की स्थिति को सरणी में बदलने की आवश्यकता नहीं है, तो आप स्वतंत्र रूप से उस पर गणना कर सकते हैं, इसके लिए अन्य तत्वों के मान लें, लेकिन इसे अपने स्थान से स्थानांतरित न करें। एक परी कथा की तरह कुछ: तत्वों के क्रम को न बदलें, अन्यथा GPU एक कद्दू में बदल जाएगा।

आधुनिक प्रोग्रामिंग भाषाओं में, ऐसे निर्माण होते हैं जिन्हें एक केंद्रीय प्रोसेसर या तार्किक थ्रेड्स के कई कोर पर समानांतर में निष्पादित किया जा सकता है और उनका व्यापक रूप से उपयोग किया जाता है, लेकिन लेखक पाठक को बड़े पैमाने पर समानता पर केंद्रित करता है, जब निष्पादित मॉड्यूल की संख्या सैकड़ों या हजारों इकाइयों से अधिक होती है।

समानांतर संरचनाओं के पहले तत्व दिखाई दिए: एक समानांतर चक्र । अधिकांश कार्यों के लिए, यह पर्याप्त होगा। एक व्यापक अर्थ में, यह विचित्रता है
समानांतर कंप्यूटिंग

CUDA (कर्नेल) में मुख्य लूप लिखने का एक उदाहरण:

int tid = blockIdx.x * blockDim.x + threadIdx.x; int threadN = gridDim.x * blockDim.x; for (int pos = tid; pos < numElements; pos += threadN) { //    pos,     ,       thread     pos.  :    thread    ,  thread   pos=1146     thread c  pos=956.        .           . } 

बहुत कुछ प्रलेखन और CUDA के लिए समीक्षाओं में लिखा गया है, GPU ब्लॉक के बारे में, इन ब्लॉकों में उत्पन्न होने वाले थ्रेड्स के बारे में, उन पर कार्य को कैसे समानांतर किया जाए। लेकिन अगर आपके पास डेटा की एक सरणी है और इसमें स्पष्ट रूप से द्रव्यमान तत्व हैं, तो उपरोक्त लूप फॉर्म का उपयोग करें, क्योंकि यह नेत्रहीन रूप में एक नियमित लूप के समान है, जो सुखद है, लेकिन दुर्भाग्य से सामग्री में नहीं है।

मुझे लगता है कि पाठक पहले से ही समझता है कि सामूहिक समानांतर प्रोग्रामिंग के संबंध में कार्यों का वर्ग तेजी से संकीर्ण हो रहा है। अगर हम गेम बनाने, 3 डी रेंडरिंग इंजन , न्यूरल नेटवर्क, वीडियो एडिटिंग और इसी तरह के अन्य कार्यों के बारे में बात कर रहे हैं, तो पाठक के स्वतंत्र कार्यों के लिए समाशोधन भारी पहना जाता है, इन कार्यों के लिए बड़े कार्यक्रम, छोटे कार्यक्रम, रूपरेखा, ज्ञात और अज्ञात पुस्तकालय हैं। यही है, क्षेत्र केवल विषय से बना रहता है, अपने खुद के छोटे कंप्यूटिंग रॉकेट बनाने के लिए, स्पेसएक्स और रोस्कोसमोस नहीं, बल्कि कुछ घरेलू, लेकिन गणनाओं के लिए पूरी तरह से बुराई।

यहां एक पूरी तरह से ज्वलंत रॉकेट का चित्रण किया गया है।

उन कार्यों के बारे में बोलना जो आपके हाथों में एक समानांतर चक्र को हल करने में सक्षम नहीं होंगे। और NVIDIA डेवलपर्स के व्यक्ति में CUDA के रचनाकारों ने पहले से ही इस बारे में सोचा है।

कुछ स्थानों पर थ्रस्ट लाइब्रेरी उपयोगी है जब तक कि "कोई विकल्प नहीं" अलग तरीके से किया जाता है। वैसे, हैबे पर इसकी पूरी समीक्षा नहीं मिली।

यह समझने के लिए कि यह कैसे काम करता है, आपको पहले CUDA के सिद्धांतों के बारे में तीन वाक्य कहने की जरूरत है। आप अधिक शब्दों की जरूरत है, तो लिंक पर पढ़ने के लिए ।

CUDA के सिद्धांत:

GPU पर गणनाएँ होती हैं, जिनमें से प्रोग्राम कर्नेल है, और आपको इसे C. में लिखना होगा। कर्नेल, बदले में, केवल GPU मेमोरी के साथ संचार करता है और आपको डेटा को मुख्य प्रोग्राम से वीडियो प्रोसेसर मेमोरी में लोड करना होता है और इसे प्रोग्राम में वापस अपलोड करना होता है। CUDA पर परिष्कृत एल्गोरिदम को मन के लचीलेपन की आवश्यकता होती है।

इसलिए, थ्रस्ट लाइब्रेरी रूटीन को हटाती है और CUDA के लिए कुछ "जटिल" कार्यों पर ले जाती है, जैसे कि समकालिक एरे या उन्हें सॉर्ट करना। अब आपको मेमोरी में एक अलग कर्नेल, लोड पॉइंटर्स लिखने और इन पॉइंटर्स से GPU मेमोरी में डेटा कॉपी करने की आवश्यकता नहीं है। मुख्य कार्यक्रम में आपकी आंखों के सामने और CUDA से थोड़ा हीन गति के साथ सभी रहस्य होंगे। थ्रस्ट लाइब्रेरी CUDA में लिखी गई है, इसलिए यह प्रदर्शन के मामले में एक एकल बेर क्षेत्र है।

थ्रस्ट में आपको जो करने की आवश्यकता है, वह है इसके पुस्तकालय के भीतर एक सरणी (थ्रस्ट :: वेक्टर), जो नियमित सरणियों (std :: वेक्टर) के साथ संगत है। यही है, ज़ाहिर है, सब कुछ इतना सरल नहीं है, लेकिन लेखक ने जो कुछ भी कहा है उसका अर्थ सच्चाई के समान है। वास्तव में दो सरणियां हैं, एक जीपीयू (डिवाइस) पर, दूसरा मुख्य कार्यक्रम (होस्ट) में।

एक उदाहरण वाक्य रचना की सरलता (एक्स, वाई, जेड सरणियों) को दिखाएगा:

 // initialize X to 0,1,2,3, .... thrust::sequence(X.begin(), X.end()); // compute Y = -X thrust::transform(X.begin(), X.end(), Y.begin(), thrust::negate<int>()); // fill Z with twos thrust::fill(Z.begin(), Z.end(), 2); // compute Y = X mod 2 thrust::transform(X.begin(), X.end(), Z.begin(), Y.begin(), thrust::modulus<int>()); // replace all the ones in Y with tens thrust::replace(Y.begin(), Y.end(), 1, 10); 

आप देख सकते हैं कि CUDA कर्नेल बनाने की पृष्ठभूमि के खिलाफ यह कितना हानिरहित है, और थ्रस्ट में कार्यों का सेट बड़ा है । यादृच्छिक चर के साथ काम करने से शुरू, जो CUDA में एक अलग cuRAND लाइब्रेरी (अधिमानतः एक अलग कर्नेल द्वारा चलाया जाता है) द्वारा किया जाता है, कर्नेल फ़ंक्शन के करीब कार्यक्षमता के अनुसार अपने कार्यों को सॉर्ट करने, समेटने और लिखने के लिए।

लेखक को दो महीने CUDA और C ++ का उपयोग करने का बहुत कम अनुभव है। इस वर्ष के बारे में सी # के बारे में। यह, निश्चित रूप से, कंप्यूटर, स्कूल भौतिकी और एक शिक्षा के रूप में लागू गणित के साथ अपने शुरुआती परिचित के बारे में लेख की शुरुआत को थोड़ा विरोधाभासी करता है। मैं ऐसा कहूंगा। लेकिन इस लेख को मैं जो लिख रहा हूं, उसके लिए ऐसा नहीं है कि मैंने हर चीज में महारत हासिल कर ली, बल्कि वह सी ++ एक सहज भाषा बन गई (मैं इससे थोड़ा डरता था, हब्र्र प्रकार के लेखों की पृष्ठभूमि के खिलाफ "मेमने के कार्य" → आंतरिक संचालकों की ओवरलोडिंग, जैसे सब कुछ को फिर से परिभाषित करें ", यह स्पष्ट है कि इसके विकास के वर्षों ने काफी अनुकूल विकास वातावरण (आईडीई) का नेतृत्व किया है। अपने नवीनतम संस्करण में ही भाषा, ऐसा लगता है जैसे यह स्मृति से कचरा एकत्र करता है, मुझे नहीं पता कि यह पहले कैसे था। कम से कम, सबसे सरल एल्गोरिथम निर्माण पर लेखक द्वारा लिखे गए कार्यक्रमों ने दिनों के लिए बॉट्स के लिए कम्प्यूटेशनल एल्गोरिदम को हटा दिया और उच्च लोड पर मेमोरी लीक और अन्य विफलताएं नहीं थीं। यह CUDA पर भी लागू होता है, पहले तो यह जटिल लगता है, लेकिन यह सरल सिद्धांतों पर आधारित है और निश्चित रूप से स्थानों पर GPUs पर स्थानों को शुरू करना मुश्किल है अगर उनमें से बहुत सारे हैं, लेकिन फिर आपके पास अपना खुद का छोटा रॉकेट होगा, जिसमें वीडियो कार्ड से धुआं होगा।

GPU के साथ प्रशिक्षण के लिए वस्तुओं की कक्षाओं में से, लेखक सेलुलर ऑटोमेटा की सिफारिश करता है । एक समय में उनके लिए लोकप्रियता और फैशन में वृद्धि हुई थी, लेकिन फिर तंत्रिका नेटवर्क ने डेवलपर्स के दिमाग को जब्त कर लिया।
तक:

"भौतिकी में प्रत्येक मात्रा, समय और स्थान सहित, परिमित और असतत है।"
सेलुलर ऑटोमैटन से नहीं।

लेकिन यह सुंदर है जब तीन सरल सूत्र इसे बना सकते हैं:

यदि CUDA पर सेलुलर ऑटोमेटा के बारे में पढ़ना दिलचस्प होगा, तो टिप्पणियों में लिखें, एक छोटे से लेख के लिए टाइप की गई सामग्री होगी।
और यह सेलुलर ऑटोमेटा का स्रोत है (वीडियो के तहत सूत्रों के लिंक हैं):

नाश्ते के बाद एक लेख लिखने का विचार, एक सांस में मुझे काम करने के लिए लगता है। दूसरे कॉफी का समय। एक अच्छा सप्ताहांत पाठक है।