रे: एआई का उपयोग करने के लिए एक वितरित प्रणाली

नमस्कार साथियों!

हम अगस्त के अंत से पहले पायथन में एआई क्षमताओं के कार्यान्वयन पर एक छोटी, लेकिन सही मायने में बुनियादी पुस्तक का अनुवाद शुरू करने की उम्मीद करते हैं।



मि। गिफ्ट, शायद, अतिरिक्त विज्ञापन की जरूरत नहीं है (जिज्ञासु के लिए - जिहुत पर गुरु का प्रोफाइल ):



आज प्रस्तुत किया जाने वाला लेख संक्षेप में रे लाइब्रेरी के बारे में बात करेगा, जिसे कैलिफोर्निया विश्वविद्यालय (बर्कले) में विकसित किया गया था और पीटर की किताब में पेटिट द्वारा इसका उल्लेख किया गया था। हमें उम्मीद है कि शुरुआती टीज़र के रूप में - आपको क्या चाहिए। बिल्ली के नीचे आपका स्वागत है

मशीन लर्निंग एल्गोरिदम और तकनीकों के विकास के साथ, अधिक से अधिक मशीन सीखने के अनुप्रयोगों को एक साथ कई मशीनों पर चलाने की आवश्यकता होती है, और वे बिना संगामिति के नहीं कर सकते हैं। हालाँकि, क्लस्टर पर मशीन सीखने के लिए बुनियादी ढाँचा अभी भी स्थितिगत रूप से बनता है। अब पहले से ही अच्छे समाधान हैं (उदाहरण के लिए, पैरामीटर सर्वर या हाइपरपरमेटर्स की खोज) और उच्च-गुणवत्ता वाले वितरित सिस्टम (उदाहरण के लिए, स्पार्क या हडोप), मूल रूप से एआई के साथ काम करने के लिए नहीं बनाए गए हैं, लेकिन चिकित्सक अक्सर खरोंच से अपने स्वयं के सिस्टम के लिए बुनियादी ढांचे का निर्माण करते हैं। इस पर बहुत से अतिरिक्त प्रयास किए जाते हैं।

एक उदाहरण के रूप में, एक वैचारिक सरल एल्गोरिथ्म पर विचार करें, कहते हैं, सुदृढीकरण सीखने के लिए विकासवादी रणनीतियाँ । छद्म कोड पर, यह एल्गोरिथ्म लगभग एक दर्जन लाइनों में फिट बैठता है, और पायथन में इसका कार्यान्वयन थोड़ा बड़ा है। हालांकि, एक बड़ी मशीन या क्लस्टर पर इस एल्गोरिथ्म के प्रभावी उपयोग के लिए काफी अधिक परिष्कृत सॉफ्टवेयर इंजीनियरिंग की आवश्यकता होती है। इस लेख के लेखकों से इस एल्गोरिथ्म के कार्यान्वयन में, कोड की हजारों लाइनें हैं, यहां संचार प्रोटोकॉल, संदेश क्रमांकन और डीरियलाइज़ेशन रणनीतियों के साथ-साथ डेटा प्रसंस्करण के विभिन्न तरीकों को निर्धारित करना आवश्यक है।

रे के लक्ष्यों में से एक व्यवसायी एक प्रोटोटाइप एल्गोरिथ्म को चालू करने में मदद करना है जो लैपटॉप पर एक उच्च-प्रदर्शन वाले वितरित अनुप्रयोग में चलता है जो कोड की अपेक्षाकृत कुछ पंक्तियों को जोड़कर एक क्लस्टर (या एकल मल्टी-कोर मशीन) पर कुशलता से काम करता है। प्रदर्शन के संदर्भ में, इस तरह के ढांचे में मैन्युअल रूप से अनुकूलित प्रणाली के सभी फायदे होने चाहिए और उपयोगकर्ता को शेड्यूलिंग, डेटा ट्रांसफर और मशीन क्रैश के बारे में सोचने की आवश्यकता नहीं है।

फ्री एआई फ्रेमवर्क

अन्य गहरी शिक्षण रूपरेखाओं के साथ लिंक : रे पूरी तरह से गहरी सीखने की रूपरेखाओं जैसे कि टेनसॉरफ्लो, पिएटोर, और एमएक्सनेट के साथ संगत है, इसलिए कई अनुप्रयोगों में रे के साथ एक या एक से अधिक अन्य गहन शिक्षण ढांचे का उपयोग करना पूरी तरह से स्वाभाविक है (उदाहरण के लिए, हमारे प्रबलित शिक्षण पुस्तकालयों में सक्रिय रूप से। TensorFlow और PyTorch को लागू करें)।

अन्य वितरित प्रणालियों के साथ संचार : आज, कई लोकप्रिय वितरित प्रणालियों का उपयोग किया जाता है, हालांकि, उनमें से अधिकांश एआई से जुड़े कार्यों को ध्यान में रखे बिना डिजाइन किए गए थे, इसलिए उनके पास एआई का समर्थन करने के लिए आवश्यक प्रदर्शन नहीं है और एआई के लागू पहलुओं को व्यक्त करने के लिए एपीआई नहीं है। आधुनिक वितरित प्रणालियों में ऐसी (आवश्यक, प्रणाली के आधार पर) ऐसी आवश्यक विशेषताएं नहीं हैं:

• मिलिसकॉन्ड-स्तरीय कार्य समर्थन और प्रति सेकंड लाखों कार्यों के लिए समर्थन करते हैं
• नेस्टेड समानता (कार्यों के भीतर कार्यों का समानांतरकरण, उदाहरण के लिए, हाइपरपरमेटर्स की खोज करते समय समानांतर सिमुलेशन) (निम्न आंकड़ा देखें)
• कार्यों के बीच महत्वाकांक्षी निर्भरता, गतिशील रूप से निष्पादन के दौरान (उदाहरण के लिए, इंतजार नहीं करना होगा, धीमे श्रमिकों की गति को समायोजित करना)
• एक साझा चर स्थिति पर काम करने वाले कार्य (उदाहरण के लिए, तंत्रिका नेटवर्क में वजन या एक सिम्युलेटर)
• विषम संसाधनों (सीपीयू, जीपीयू, आदि) के लिए समर्थन

नेस्टेड कंसीडर का एक सरल उदाहरण। हमारे आवेदन में, दो प्रयोग समानांतर में किए जाते हैं (उनमें से प्रत्येक एक दीर्घकालिक कार्य है), और प्रत्येक प्रयोग में कई समानांतर प्रक्रियाओं का अनुकरण किया जाता है (प्रत्येक प्रक्रिया भी एक कार्य है)।

रे का उपयोग करने के दो मुख्य तरीके हैं: निम्न-स्तरीय एपीआई के माध्यम से और उच्च-स्तरीय पुस्तकालयों के माध्यम से। उच्च-स्तरीय पुस्तकालयों को निम्न-स्तरीय एपीआई के शीर्ष पर बनाया गया है। इनमें वर्तमान में Ray RLlib (सुदृढीकरण सीखने के लिए एक स्केलेबल लाइब्रेरी) और हाइपरपामेटर्स के लिए वितरित खोज के लिए एक कुशल पुस्तकालय Ray.tune शामिल हैं।

रे लो लेवल एपीआई

रे एपीआई का उद्देश्य सबसे सामान्य कम्प्यूटेशनल पैटर्न और अनुप्रयोगों की एक प्राकृतिक अभिव्यक्ति प्रदान करना है, बिना MapReduce जैसे निश्चित पैटर्न तक सीमित नहीं है।

गतिशील कार्य रेखांकन

अनुप्रयोग (कार्य) रे में मूल आदिम एक गतिशील कार्य ग्राफ है। यह TensorFlow में कम्प्यूटेशनल ग्राफ से बहुत अलग है। जबकि TensorFlow में एक कम्प्यूटेशनल ग्राफ एक तंत्रिका नेटवर्क का प्रतिनिधित्व करता है और प्रत्येक अलग अनुप्रयोग में कई बार निष्पादित किया जाता है, रे में कार्य ग्राफ़ पूरे अनुप्रयोग से मेल खाता है और केवल एक बार निष्पादित होता है। कार्य ग्राफ़ पहले से ज्ञात नहीं है। यह गतिशील रूप से बनाया गया है, जबकि अनुप्रयोग चल रहा है, और एक कार्य का निष्पादन कई अन्य कार्यों के निष्पादन को ट्रिगर कर सकता है।



कम्प्यूटेशनल ग्राफ का एक उदाहरण। सफेद अंडाकार में, कार्य दिखाए जाते हैं, और नीले आयतों में - ऑब्जेक्ट। तीरों से संकेत मिलता है कि कुछ कार्य वस्तुओं पर निर्भर करते हैं, जबकि अन्य वस्तुओं का निर्माण करते हैं।

पायथन मनमाने कार्यों को कार्यों के रूप में किया जा सकता है, और किसी भी क्रम में वे अन्य कार्यों के उत्पादन पर निर्भर हो सकते हैं। नीचे दिए गए उदाहरण देखें।

#    .      , #  . @ray.remote def multiply(x, y): return np.dot(x, y) @ray.remote def zeros(size): return np.zeros(size) #    .     , #       . x_id = zeros.remote((100, 100)) y_id = zeros.remote((100, 100)) #   .    ,     #  . z_id = multiply.remote(x_id, y_id) #  .      ,     . z = ray.get(z_id) 

अभिनेताओं

अकेले दूरस्थ कार्यों और कार्यों की उपरोक्त हैंडलिंग की सहायता से, यह प्राप्त करना असंभव है कि कई कार्य एक साथ एक ही साझा किए गए परिवर्तनशील स्थिति पर काम करते हैं। मशीन सीखने के साथ ऐसी समस्या विभिन्न संदर्भों में उत्पन्न होती है, जहां सिम्युलेटर की स्थिति, तंत्रिका नेटवर्क में वजन या पूरी तरह से अलग कुछ साझा किया जा सकता है। अभिनेता अमूर्त का उपयोग रे में कई कार्यों के बीच साझा किए गए एक उत्परिवर्तनीय राज्य को एनकैप करने के लिए किया जाता है। यहाँ अटारी सिम्युलेटर के साथ ऐसा करने का एक उदाहरण है।

 import gym @ray.remote class Simulator(object): def __init__(self): self.env = gym.make("Pong-v0") self.env.reset() def step(self, action): return self.env.step(action) #  ,    , ,   , #      simulator = Simulator.remote() observations = [] for _ in range(4): #     0.       #    observations.append(simulator.step.remote(0)) 

अपनी सभी सादगी के लिए, अभिनेता उपयोग में बहुत लचीला है। उदाहरण के लिए, एक सिम्युलेटर या एक तंत्रिका नेटवर्क नीति को एक अभिनेता में समझाया जा सकता है, इसका उपयोग वितरित प्रशिक्षण (जैसे कि एक पैरामीटर सर्वर के साथ) या "लाइव" एप्लिकेशन में नीतियां प्रदान करने के लिए भी किया जा सकता है।



वाम: अभिनेता कई ग्राहक प्रक्रियाओं के लिए पूर्वानुमान / कार्य देता है। सही: पैरामीटर सर्वर के कई कलाकार कई वर्कफ़्लो के लिए वितरित प्रशिक्षण करते हैं।

पैरामीटर सर्वर उदाहरण

पैरामीटर सर्वर को एक रे अभिनेता के रूप में इस प्रकार लागू किया जा सकता है:

 @ray.remote class ParameterServer(object): def __init__(self, keys, values): #    ,     . values = [value.copy() for value in values] self.parameters = dict(zip(keys, values)) def get(self, keys): return [self.parameters[key] for key in keys] def update(self, keys, values): #        ,  #      for key, value in zip(keys, values): self.parameters[key] += value 

यहाँ एक और अधिक पूर्ण उदाहरण है ।

पैरामीटर सर्वर को तुरंत करने के लिए, हम ऐसा करते हैं।

 parameter_server = ParameterServer.remote(initial_keys, initial_values) 

चार लंबे-चलने वाले श्रमिकों को बनाने के लिए, लगातार मापदंडों को निकालने और अपडेट करने के लिए, हम ऐसा करेंगे।

 @ray.remote def worker_task(parameter_server): while True: keys = ['key1', 'key2', 'key3'] #     values = ray.get(parameter_server.get.remote(keys)) #     updates = … #   parameter_server.update.remote(keys, updates) #  4   for _ in range(4): worker_task.remote(parameter_server) 

रे उच्च स्तरीय पुस्तकालय

रे RLlib एक स्केलेबल सुदृढीकरण सीखने की लाइब्रेरी है जिसे कई मशीनों पर उपयोग के लिए डिज़ाइन किया गया है। इसे उदाहरण के रूप में प्रदान की गई प्रशिक्षण लिपियों के साथ-साथ पायथो एपीआई के माध्यम से सक्षम किया जा सकता है। वर्तमान में, इसमें एल्गोरिदम का कार्यान्वयन शामिल है:

• A3C
• DQN
• विकासवादी रणनीतियाँ
• पीपीओ

अन्य एल्गोरिदम के कार्यान्वयन पर काम चल रहा है। RLlib OpenAI जिम के साथ पूरी तरह से संगत है।

हायपरपरेटर्स की वितरित खोज के लिए Ray.tune एक कुशल पुस्तकालय है। यह गहरी शिक्षा, सुदृढीकरण सीखने और अन्य कार्यों के लिए एक पायथन एपीआई प्रदान करता है जिसके लिए बहुत अधिक प्रसंस्करण शक्ति की आवश्यकता होती है। यहाँ इस तरह का एक उदाहरण है:

 from ray.tune import register_trainable, grid_search, run_experiments #   .     config def my_func(config, reporter): import time, numpy as np i = 0 while True: reporter(timesteps_total=i, mean_accuracy=(i ** config['alpha'])) i += config['beta'] time.sleep(0.01) register_trainable('my_func', my_func) run_experiments({ 'my_experiment': { 'run': 'my_func', 'resources': {'cpu': 1, 'gpu': 0}, 'stop': {'mean_accuracy': 100}, 'config': { 'alpha': grid_search([0.2, 0.4, 0.6]), 'beta': grid_search([1, 2]), }, } }) 

वर्तमान परिणामों को विशेष उपकरणों का उपयोग करके गतिशील रूप से कल्पना की जा सकती है, उदाहरण के लिए, रैनब (या सीधे जेन्सन लॉग्स पढ़ें) से टेन्सरबोर्ड और विस्किट। Ray.tune हाइपरबैंड जैसे ग्रिड खोज, यादृच्छिक खोज और अधिक गैर-तुच्छ प्रारंभिक स्टॉप एल्गोरिदम का समर्थन करता है।

रे पर अधिक

• अकादमिक लेख
• कोड आधार
• प्रलेखन