प्रशिक्षण TensorFlow मॉडल Azure मशीन लर्निंग सेवा के साथ

TensorFlow के साथ गहन तंत्रिका नेटवर्क (DNN) प्रशिक्षण के लिए, Azure मशीन लर्निंग TensorFlow उपयोगकर्ता वर्ग Estimator मूल्यांकन उपकरण प्रदान करता है। Azure SDK में TensorFlow मूल्यांकन TensorFlow ( tf.estimator.Estimator वर्ग के साथ भ्रमित नहीं होना) एकल नोड के लिए TensorFlow प्रशिक्षण कार्य प्रस्तुत करना आसान बनाता है और Azure विवाद संसाधनों में रन वितरित करता है।

एकल-साइट प्रशिक्षण

TensorFlow मूल्यांकन TensorFlow साथ सीखना Estimator का उपयोग करने के समान है, इसलिए पहले अवधारणाओं को लेख और जानने के लिए कैसे पढ़ें।

TensorFlow कार्य को पूरा करने के लिए, आपको TensorFlow ऑब्जेक्ट बनाना होगा। आपको पहले से ही लक्ष्य कंप्यूट संसाधन का compute_target ऑब्जेक्ट बनाना चाहिए था।

 from azureml.train.dnn import TensorFlow script_params = { '--batch-size': 50, '--learning-rate': 0.01, } tf_est = TensorFlow(source_directory='./my-tf-proj', script_params=script_params, compute_target=compute_target, entry_script='train.py', conda_packages=['scikit-learn'], use_gpu=True) 

TensorFlow कंस्ट्रक्टर में निम्नलिखित पैरामीटर निर्दिष्ट करें।

चूंकि आप TensorFlow मूल्यांकन टूल के साथ काम कर रहे हैं, इसलिए प्रशिक्षण के लिए उपयोग किए जाने वाले कंटेनर में डिफ़ॉल्ट रूप से TensorFlow पैकेज और संबंधित निर्भरताएँ होंगी जो CPU और GPU में प्रशिक्षण के लिए आवश्यक हैं।

फिर TensorFlow जॉब सबमिट करें:

 run = exp.submit(tf_est) 

वितरित प्रशिक्षण

TensorFlow मूल्यांकन टूल आपको एज़ुर वर्चुअल मशीनों के सीपीयू और जीपीयू क्लस्टर में मॉडल को प्रशिक्षित करने की सुविधा देता है। TensorFlow वितरित प्रशिक्षण कई एपीआई कॉल के माध्यम से दिया जाता है, इन कार्यभार को पूरा करने के लिए आवश्यक अवसंरचना और ऑर्केस्ट्रेशन सुविधाओं के प्रबंधन में एज़्योर मशीन लर्निंग सेवा के साथ।

Azure Machine Learning Services TensorFlow में दो वितरित शिक्षण विधियों का समर्थन करती है।

• एमपीआई-आधारित ने हॉरोवोड प्लेटफ़ॉर्म का उपयोग करके सीखने को वितरित किया।
• TensorFlow देशी ने पैरामीटर सर्वर विधि का उपयोग करके प्रशिक्षण वितरित किया ।

horovod

होरवॉड उबर द्वारा विकसित एक ओपन-सोर्स वितरित लर्निंग-आधारित रिंग-एलेरेड एल्गोरिथ्म है।

TensorFlow को Horovod प्लेटफॉर्म का उपयोग करके वितरित प्रशिक्षण चलाने के लिए, TensorFlow ऑब्जेक्ट को निम्नानुसार बनाएं:

 from azureml.train.dnn import TensorFlow tf_est = TensorFlow(source_directory='./my-tf-proj', script_params={}, compute_target=compute_target, entry_script='train.py', node_count=2, process_count_per_node=1, distributed_backend='mpi', use_gpu=True) 

उपरोक्त कोड TensorFlow constructor में निम्नलिखित नए विकल्प दिखाता है।

उपरोक्त उदाहरण में, वितरित प्रशिक्षण दो कार्य भूमिकाओं के साथ किया जाएगा - प्रत्येक नोड के लिए एक कार्य भूमिका।

होरोवोड और इसकी निर्भरता स्वचालित रूप से स्थापित हो जाएगी, इसलिए आप बस उन्हें train.py प्रशिक्षण train.py में निम्नानुसार आयात कर सकते हैं:

 import tensorflow as tf import horovod 

अंत में, अपना TensorFlow जॉब सबमिट करें:

 run = exp.submit(tf_est) 

पैरामीटर सर्वर

आप अपना खुद का TensorFlow वितरित प्रशिक्षण भी शुरू कर सकते हैं जो पैरामीटर सर्वर मॉडल का उपयोग करता है। इस विधि में, पैरामीटर सर्वर और कार्य भूमिकाओं के क्लस्टर में प्रशिक्षण आयोजित किया जाता है। प्रशिक्षण के दौरान, कार्यकर्ता भूमिका ग्रेडिएंट्स की गणना करते हैं, और पैरामीटर सर्वर ग्रेडिएंट्स का सांख्यिकीय प्रसंस्करण करते हैं।

एक TensorFlow ऑब्जेक्ट बनाएँ:

 from azureml.train.dnn import TensorFlow tf_est = TensorFlow(source_directory='./my-tf-proj', script_params={}, compute_target=compute_target, entry_script='train.py', node_count=2, worker_count=2, parameter_server_count=1, distributed_backend='ps', use_gpu=True) 

उपरोक्त कोड में TensorFlow कंस्ट्रक्टर में निम्नलिखित मापदंडों पर ध्यान दें।

TF_CONFIG पर नोट्स

आपको tf.train.ClusterSpec लिए क्लस्टर नेटवर्क पते और बंदरगाहों की भी आवश्यकता होगी, इसलिए tf.train.ClusterSpec मशीन लर्निंग सेवा स्वचालित रूप से TF_CONFIG वातावरण TF_CONFIG सेट TF_CONFIG ।

TF_CONFIG पर्यावरण TF_CONFIG एक JSON स्ट्रिंग है। निम्नलिखित पैरामीटर सर्वर के लिए एक उदाहरण चर है।

 TF_CONFIG='{ "cluster": { "ps": ["host0:2222", "host1:2222"], "worker": ["host2:2222", "host3:2222", "host4:2222"], }, "task": {"type": "ps", "index": 0}, "environment": "cloud" }' 

यदि आप tf.estimator TensorFlow उच्च-स्तरीय API का उपयोग करते हैं, तो tf.estimator इस TF_CONFIG चर को पार्स करेगा और एक क्लस्टर विनिर्देश तैयार करेगा।

यदि आप प्रशिक्षण के लिए निचले स्तर के एपीआई का उपयोग करते हैं, तो आपको TF_CONFIG चर का विश्लेषण करने और प्रशिक्षण कोड में tf.train.ClusterSpec बनाने की tf.train.ClusterSpec है। इस उदाहरण में, इन क्रियाओं को एक प्रशिक्षण लिपि में निम्न प्रकार से किया जाता है:

 import os, json import tensorflow as tf tf_config = os.environ.get('TF_CONFIG') if not tf_config or tf_config == "": raise ValueError("TF_CONFIG not found.") tf_config_json = json.loads(tf_config) cluster_spec = tf.train.ClusterSpec(cluster) 

प्रशिक्षण स्क्रिप्ट को पूरा करने और TensorFlow ऑब्जेक्ट बनाने के बाद, प्रशिक्षण कार्य सबमिट करें:

 run = exp.submit(tf_est) 

उदाहरण

वितरित गहन शिक्षण पुस्तिकाओं के लिए, GitHub रिपॉजिटरी देखें

• कैसे-का-उपयोग- azureml / प्रशिक्षण के साथ-गहरी-सीखने

ज्यूप्टर नोटबुक के साथ इस सेवा को कैसे सीखें, इस पर एक लेख में दिए गए निर्देशों का पालन करके नोटबुक चलाना सीखें।

अतिरिक्त जानकारी

• प्रशिक्षण के दौरान प्रदर्शन मैट्रिक्स पर नज़र रखना
• हाइपर सेटिंग्स
• एक प्रशिक्षित मॉडल नियुक्त करना