👩🏻‍🤝‍👨🏿 🐝 👩🏽‍🤝‍👩🏼 Apache इग्नाइट पर TensorFlow 👪 🤾🏼 🌐

हम सभी जानते हैं कि मातृभूमि कैसे शुरू होती है, और डेटा के साथ गहन शिक्षा शुरू होती है। उनके बिना, एक मॉडल को प्रशिक्षित करना, उसका मूल्यांकन करना और वास्तव में इसका उपयोग करना असंभव है। अनुसंधान में लगे हुए, नए तंत्रिका नेटवर्क आर्किटेक्चर पर लेखों के साथ हिर्श इंडेक्स को बढ़ाते हुए और प्रयोग करते हुए, हम सबसे सरल डेटा स्रोतों पर भरोसा करते हैं; आमतौर पर विभिन्न स्वरूपों में फाइलें। यह काम करता है, लेकिन लगातार बदलते डेटा के टेराबाइट वाले युद्ध प्रणाली को याद रखना अच्छा होगा। और इसका मतलब है कि आपको उत्पादन में डेटा हस्तांतरण को सरल बनाने और गति प्रदान करने की आवश्यकता है, साथ ही बड़े डेटा के साथ काम करने में सक्षम होना चाहिए। यहीं पर अपाचे इग्नाइट आती है।

अपाचे इग्नाइट एक वितरित मेमोरी-केंद्रित डेटाबेस है, साथ ही लेनदेन, एनालिटिक्स और स्ट्रीम लोड से संबंधित कैशिंग और प्रसंस्करण कार्यों के लिए एक मंच है। सिस्टम रैम की गति से पेटाबाइट्स को पीसने में सक्षम है। लेख अपाचे इग्नाइट और टेन्सरफ्लो के बीच एकीकरण पर ध्यान केंद्रित करेगा, जो आपको तंत्रिका नेटवर्क और अनुमान के प्रशिक्षण के लिए डेटा स्रोत के रूप में अपाचे इग्नाइट का उपयोग करने की अनुमति देता है, साथ ही साथ वितरित किए गए सीखने के लिए प्रशिक्षित मॉडल और एक क्लस्टर प्रबंधन प्रणाली का भंडार भी है।

वितरित RAM डेटा स्रोत

अपाचे इग्नाइट आपको एक वितरित क्लस्टर में जितना डेटा चाहिए उतना स्टोर और प्रोसेस करने की अनुमति देता है। TensorFlow में तंत्रिका नेटवर्क को प्रशिक्षित करते समय इस अपाचे को इग्नाइट करने का लाभ लेने के लिए, इग्नाइट डेटासैट का उपयोग करें।

नोट: अपाचे इग्नाइट एक डेटाबेस या डेटा वेयरहाउस और टेन्सरफ्लो के बीच ईटीएल पाइपलाइन में लिंक में से केवल एक नहीं है। अपाचे इग्नाइट अपने आप में HTAP (ट्रांसेक्शनल / एनालिटिकल डेटा प्रोसेसिंग के लिए एक हाइब्रिड सिस्टम) है। Apache Ignite और TensorFlow को चुनते हुए, आपको ट्रांसेक्शनल और एनालिटिकल प्रोसेसिंग के लिए एक ही सिस्टम मिलता है, और साथ ही, न्यूरल नेटवर्क और इंट्रेंस को प्रशिक्षित करने के लिए ऑपरेशनल और ऐतिहासिक डेटा का उपयोग करने की क्षमता होती है।

निम्नलिखित मानदंड यह प्रदर्शित करते हैं कि अपाचे इग्नाइट उन परिदृश्यों के लिए अच्छी तरह से अनुकूल है, जहां डेटा एकल होस्ट पर संग्रहीत है। ऐसी प्रणाली आपको 850 एमबी / एस से अधिक के थ्रूपुट को प्राप्त करने की अनुमति देती है, यदि डेटा वेयरहाउस और क्लाइंट एक ही नोड पर स्थित हैं। यदि भंडारण दूरस्थ होस्ट पर स्थित है, तो थ्रूपुट लगभग 800 एमबी / एस है।

ग्राफ़ एकल स्थानीय अपाचे इग्नाइट नोड के लिए इग्नाइट डेटासेट के लिए बैंडविड्थ दिखाता है। ये परिणाम एक 2x Xeon E5-2609 v4 1.7GHz प्रोसेसर पर 16GB RAM पर और 10GB / s के बैंडविड्थ के साथ नेटवर्क पर प्राप्त किए गए थे (प्रत्येक रिकॉर्ड का आकार 1 एमबी, पृष्ठ आकार - 20 एमबी) है।

एक अन्य बेंचमार्क दर्शाता है कि कैसे वितरित किए गए अपाचे इग्नाइट क्लस्टर के साथ इग्नाइट डेटासेट काम करता है। यह वह कॉन्फ़िगरेशन है जो अपाचे इग्नाइट का उपयोग एचटीएपी सिस्टम के रूप में डिफ़ॉल्ट रूप से किया जाता है और आपको 10 जीबी / एस के बैंडविड्थ के साथ क्लस्टर पर 1 जीबी / एस से अधिक एकल क्लाइंट के लिए बैंडविड्थ प्राप्त करने की अनुमति देता है।

ग्राफ एक वितरित अपाचे इग्नाइट क्लस्टर के लिए एक अलग संख्या के नोड्स (1 से 9 तक) के साथ इग्नाइट दैटसेट थ्रूपुट दिखाता है। ये परिणाम एक 2x Xeon E5-2609 v4 1.7GHz प्रोसेसर पर 16GB RAM और 10GB / s के बैंडविड्थ के साथ नेटवर्क पर प्राप्त किए गए थे (प्रत्येक रिकॉर्ड का आकार 1 एमबी, पृष्ठ आकार - 20 एमबी) है।

निम्नलिखित परिदृश्य का परीक्षण किया गया था: अपाचे इग्नाइट कैश (परीक्षणों के पहले सेट में विभाजन की एक संख्या के साथ और दूसरे में 2048 विभाजन के साथ) 1 एमबी प्रत्येक की 10K लाइनों से भरा होता है, जिसके बाद TensorFlow ग्राहक इग्नाइट डेटासेट का उपयोग करके डेटा जोड़ता है। क्लस्टर को 2x Xeon E5-2609 v4 1.7 GHz, 16 जीबी मेमोरी के साथ मशीनों से बनाया गया था और 10 जीबी / एस की गति से संचालित नेटवर्क के माध्यम से जुड़ा हुआ था। प्रत्येक नोड पर, अपाचे इग्नाइट ने मानक कॉन्फ़िगरेशन में काम किया।

अपाचे इग्नाइट एसक्यूएल-इंटरफेस के साथ क्लासिक डेटाबेस के रूप में उपयोग करने के लिए आसान है और साथ ही टेंसोरफ्लो के डेटा स्रोत के रूप में।

$ apache-ignite/bin/ignite.sh $ apache-ignite/bin/sqlline.sh -u "jdbc:ignite:thin://localhost:10800/"

 CREATE TABLE KITTEN_CACHE (ID LONG PRIMARY KEY, NAME VARCHAR); INSERT INTO KITTEN_CACHE VALUES (1, 'WARM KITTY'); INSERT INTO KITTEN_CACHE VALUES (2, 'SOFT KITTY'); INSERT INTO KITTEN_CACHE VALUES (3, 'LITTLE BALL OF FUR');

 import tensorflow as tf from tensorflow.contrib.ignite import IgniteDataset tf.enable_eager_execution() dataset = IgniteDataset(cache_name="SQL_PUBLIC_KITTEN_CACHE") for element in dataset: print(element)

 {'key': 1, 'val': {'NAME': b'WARM KITTY'}} {'key': 2, 'val': {'NAME': b'SOFT KITTY'}} {'key': 3, 'val': {'NAME': b'LITTLE BALL OF FUR'}}

संरचित वस्तु

अपाचे इग्नाइट आपको किसी भी प्रकार की वस्तुओं को स्टोर करने की अनुमति देता है जिसे किसी भी पदानुक्रम में बनाया जा सकता है। आप इग्नाइट डेटासैट के जरिए इसके साथ काम कर सकते हैं।

 import tensorflow as tf from tensorflow.contrib.ignite import IgniteDataset tf.enable_eager_execution() dataset = IgniteDataset(cache_name="IMAGES") for element in dataset.take(1): print(element)

 { 'key': 'kitten.png', 'val': { 'metadata': { 'file_name': b'kitten.png', 'label': b'little ball of fur', 'width': 800, 'height': 600 }, 'pixels': [0, 0, 0, 0, ..., 0] } }

तंत्रिका नेटवर्क प्रशिक्षण और अन्य संगणनाओं को पूर्व-प्रसंस्करण की आवश्यकता होती है, जिसे यदि आप इग्नाइट डेटासैट का उपयोग करते हैं तो tf.data पाइपलाइन के हिस्से के रूप में किया जा सकता है।

 import tensorflow as tf from tensorflow.contrib.ignite import IgniteDataset tf.enable_eager_execution() dataset = IgniteDataset(cache_name="IMAGES").map(lambda obj: obj['val']['pixels']) for element in dataset: print(element)

 [0, 0, 0, 0, ..., 0]

वितरित प्रशिक्षण

TensorFlow एक मशीन लर्निंग फ्रेमवर्क है जो वितरित तंत्रिका नेटवर्क सीखने, अनुमान और अन्य कंप्यूटिंग का समर्थन करता है । जैसा कि आप जानते हैं, तंत्रिका नेटवर्क प्रशिक्षण हानि फ़ंक्शन के ग्रेडिएंट्स की गणना पर आधारित है। वितरित प्रशिक्षण के मामले में, हम प्रत्येक विभाजन पर इन ग्रेडिएंट्स की गणना कर सकते हैं, फिर उन्हें एकत्र कर सकते हैं। यह ऐसी विधि है जो आपको व्यक्तिगत नोड्स के लिए ग्रेडिएंट की गणना करने की अनुमति देती है, जिस पर डेटा संग्रहीत किया जाता है, उन्हें संक्षेप में प्रस्तुत करता है और अंत में, मॉडल मापदंडों को अपडेट करता है। और, चूंकि हमने नोड्स के बीच प्रशिक्षण नमूना डेटा के प्रसारण से छुटकारा पा लिया है, इसलिए नेटवर्क सिस्टम का "अड़चन" नहीं बनता है।

अपाचे इग्नाइट एक वितरित क्लस्टर में डेटा को स्टोर करने के लिए क्षैतिज विभाजन (शार्किंग) का उपयोग करता है। Apache Ignite cache (या SQL के संदर्भ में एक तालिका) बनाकर, आप उन विभाजनों की संख्या निर्दिष्ट कर सकते हैं जिनके बीच डेटा वितरित किया जाएगा। उदाहरण के लिए, यदि एक अपाचे इग्नाइट क्लस्टर में 100 मशीनें हैं, और हम 1000 विभाजन के साथ एक कैश बनाते हैं, तो प्रत्येक मशीन डेटा के साथ लगभग 10 विभाजन के लिए जिम्मेदार होगी।

इग्नाइट डेटासैट आपको तंत्रिका नेटवर्क के वितरित प्रशिक्षण के लिए इन दो पहलुओं का उपयोग करने की अनुमति देता है। प्रज्वलित डेटासेट गणना ग्राफ नोड है जो TensorFlow वास्तुकला का आधार बनता है। और, एक ग्राफ में किसी भी नोड की तरह, यह क्लस्टर में एक दूरस्थ नोड पर चल सकता है। इस तरह के एक दूरस्थ नोड IGNITE_DATASET_HOST मापदंडों (उदाहरण के लिए, host , port या part ) को IGNITE_DATASET_HOST , वर्कफ़्लो के लिए उपयुक्त वातावरण चर सेट कर रहा है (उदाहरण के लिए, IGNITE_DATASET_HOST , IGNITE_DATASET_PORT या IGNITE_DATASET_PART )। इस तरह के ओवरराइड का उपयोग करके, आप प्रत्येक क्लस्टर नोड के लिए एक विशिष्ट विभाजन असाइन कर सकते हैं। तब एक नोड एक विभाजन के लिए जिम्मेदार होता है और एक ही समय में उपयोगकर्ता डेटासेट के साथ काम का एक मुखौटा प्राप्त करता है।

 import tensorflow as tf from tensorflow.contrib.ignite import IgniteDataset dataset = IgniteDataset("IMAGES") #       . gradients = [] for i in range(5): with tf.device("/job:WORKER/task:%d" % i): device_iterator = tf.compat.v1.data.make_one_shot_iterator(dataset) device_next_obj = device_iterator.get_next() gradient = compute_gradient(device_next_obj) gradients.append(gradient) #      result_gradient = tf.reduce_sum(gradients) with tf.Session("grpc://localhost:10000") as sess: print(sess.run(result_gradient))

अपाचे इग्नाइट भी TensorFlow उच्च-स्तरीय एस्टीमेटर एपीआई पुस्तकालय का उपयोग करके वितरित सीखने की अनुमति देता है। यह कार्यक्षमता TensorFlow में वितरित सीखने के तथाकथित स्टैंडअलोन क्लाइंट मोड पर आधारित है, जहां Apache इग्नाइट डेटा स्रोत और क्लस्टर प्रबंधन प्रणाली के रूप में कार्य करता है। अगला लेख इस विषय के लिए पूरी तरह से समर्पित होगा।

लर्निंग कंट्रोल पॉइंट स्टोरेज

डेटाबेस क्षमताओं के अलावा, अपाचे इग्नाइट में एक वितरित IGFS फाइल सिस्टम भी है। कार्यात्मक रूप से, यह Hadoop HDFS फ़ाइल सिस्टम जैसा दिखता है, लेकिन केवल RAM में। अपने स्वयं के एपीआई के साथ, IGFS फाइल सिस्टम Hadoop FileSystem API को लागू करता है और पारदर्शी रूप से तैनात Hadoop या Spark से जुड़ सकता है। Apache इग्नाइट पर TensorFlow लाइब्रेरी IGFS और TensorFlow के बीच एकीकरण प्रदान करता है। एकीकरण TensorFlow के स्वयं के फाइल सिस्टम प्लगइन और अपाचे प्रज्वलित मूल IGFS एपीआई पर आधारित है । इसके उपयोग के लिए विभिन्न परिदृश्य हैं, उदाहरण के लिए:

विश्वसनीयता और गलती सहिष्णुता के लिए आईजीएफएस में स्थिति चौकियों को संग्रहीत किया जाता है।
सीखने की प्रक्रिया TensorBoard द्वारा मॉनिटर की गई निर्देशिका में इवेंट फ़ाइलों को लिखकर TensorBoard के साथ बातचीत करती है। IGFS यह सुनिश्चित करता है कि जब TensorBoard किसी अन्य प्रक्रिया या किसी अन्य मशीन पर चल रहा हो, तब भी ऐसे संचार चालू होते हैं।

TensorFlow 1.13.0.rc0 की रिलीज़ में ऐसी कार्यक्षमता दिखाई दी, और TensorFlow 2.0 की रिलीज़ में भी टेनसफ़्लो / io का हिस्सा होगा।

एसएसएल कनेक्शन

अपाचे इग्नाइट आपको एसएसएल और प्रमाणीकरण का उपयोग करके डेटा चैनलों को सुरक्षित करने की अनुमति देता है। इग्नाट डेटासेट प्रमाणीकरण के साथ और बिना एसएसएल कनेक्शन का समर्थन करता है। अधिक जानकारी के लिए अपाचे इग्नाइट एसएसएल / टीएलएस प्रलेखन देखें।

 import tensorflow as tf from tensorflow.contrib.ignite import IgniteDataset tf.enable_eager_execution() dataset = IgniteDataset(cache_name="IMAGES", certfile="client.pem", cert_password="password", username="ignite", password="ignite")

विंडोज का समर्थन

इग्नाइट डाटासेट पूरी तरह से विंडोज के साथ संगत है। इसे विंडोज वर्कस्टेशन पर TensorFlow के हिस्से के रूप में, साथ ही लिनक्स / मैकओएस सिस्टम पर भी इस्तेमाल किया जा सकता है।

इसे स्वयं आज़माएं

नीचे दिए गए उदाहरण आपको मॉड्यूल के साथ आरंभ करने में मदद करेंगे।

डाटासेट प्रज्वलित करें

इग्नाईट डेटासेट के साथ आरंभ करने का सबसे आसान तरीका है डॉकटर कंटेनर को अपाचे इग्नाइट के साथ शुरू करना और एमएनआईएसटीटी डेटा डाउनलोड करना, और फिर इग्नाइट डेटासैट का उपयोग करके इसके साथ काम करना। इस तरह के एक कंटेनर डोकर हब में उपलब्ध है: dmitrievanthony / ignite-with-mnist । आपको अपनी मशीन पर कंटेनर चलाने की आवश्यकता है:

 docker run -it -p 10800:10800 dmitrievanthony/ignite-with-mnist

उसके बाद, आप इसके साथ काम कर सकते हैं:

कोड

 import tensorflow as tf from tensorflow.contrib.ignite import IgniteDataset tf.enable_eager_execution() import matplotlib.pyplot as plt %matplotlib inline dataset = IgniteDataset("MNIST_CACHE") for i, img in enumerate(dataset.take(5)): plt.subplot(2, 5, i + 1) plt.rcParams['figure.figsize'] = (5, 5) plt.imshow(img['val']['pixels'].numpy().reshape([28, 28])) plt.axis('off')

IGFS

TensorFlow IGF सपोर्ट TensorFlow 1.13.0rc0 रिलीज़ में दिखाई दिया और यह TensorFlow 2.0 में टेनसफ़्लो / io रिलीज़ का भी हिस्सा होगा। TensorFlow के साथ IGFS की कोशिश करने के लिए, डॉक कंटेनर को शुरू करने का सबसे आसान तरीका अपाचे इग्नाइट + IGFS के साथ है, और फिर TensorFlow tf.gfile का उपयोग करके इसके साथ काम करें। इस तरह के एक कंटेनर डोकर हब में उपलब्ध है: dmitrievanthony / ignite-with-igfs । इस कंटेनर को आपकी मशीन पर चलाया जा सकता है:

 docker run -it -p 10500:10500 dmitrievanthony/ignite-with-igfs

तो आप इस तरह से इसके साथ काम कर सकते हैं:

 import tensorflow as tf import tensorflow.contrib.ignite.python.ops.igfs_ops with tf.gfile.Open("igfs:///hello.txt", mode='w') as w: w.write("Hello, world!") with tf.gfile.Open("igfs:///hello.txt", mode='r') as r: print(r.read())

 Hello, world!

प्रतिबंध

वर्तमान में, जब इग्नाइट डेटासेट के साथ काम कर रहे हैं, तो यह माना जाता है कि कैश में सभी ऑब्जेक्ट्स की संरचना (सजातीय वस्तुएं) समान हैं, और कैश में स्कीमा को पुनः प्राप्त करने के लिए कम से कम एक वस्तु शामिल है। एक और सीमा की चिंता संरचित वस्तुओं से होती है: इग्नाट डेटसेट यूयूआईडी, मैप्स और ऑब्जेक्ट सरणियों का समर्थन नहीं करता है, जो किसी वस्तु का हिस्सा हो सकता है। इन प्रतिबंधों को हटाना, साथ ही TensorFlow और Apache Ignite के संस्करणों को स्थिर और सिंक्रनाइज़ करना, चल रहे विकास के कार्यों में से एक है।

अपेक्षित TensorFlow 2.0 संस्करण

TensorFlow 2.0 में आने वाले बदलाव, इन सुविधाओं को टेंसोरफ्लो / io मॉड्यूल में उजागर करेंगे। जिसके बाद, उनके साथ काम अधिक लचीले ढंग से बनाया जा सकता है। उदाहरण थोड़ा बदल जाएंगे, और यह जिहाब और प्रलेखन में परिलक्षित होगा।

Apache इग्नाइट पर TensorFlow