सुंदर मशीन सीखने के उपकरण में लिपियों को बदलना

हम पायथन कोड की 300 लाइनों के लिए वास्तविक समय मशीन सीखने के साथ एक अर्थ खोज इंजन बनाते हैं।

मेरा अनुभव बताता है कि अधिक या कम जटिल मशीन सीखने की परियोजना जल्द ही या बाद में जटिल असमर्थित आंतरिक उपकरणों के एक सेट में बदल जाएगी। ये उपकरण आमतौर पर जुपिटर नोटबुक्स और फ्लास्क से स्क्रिप्ट का एक मिश्मश हैं, जो कि टेनसफ़्लो जीपीयू सत्र जैसे समाधानों के साथ तैनात और एकीकृत करना मुश्किल है।

मैंने पहली बार इसका सामना कार्नेगी विश्वविद्यालय में, फिर बर्कले में, Google X में और आखिरकार, ज़ोक्स में स्टैंडअलोन रोबोट बनाते समय किया। उपकरण छोटे जुपिटर नोटबुक के रूप में पैदा हुए थे: एक सेंसर अंशांकन उपयोगिता, एक सिमुलेशन सेवा, एक LIDAR अनुप्रयोग, एक स्क्रिप्टिंग उपयोगिता, आदि।

उपकरणों के बढ़ते महत्व के साथ, प्रबंधकों को दिखाई दिया। नौकरशाही बढ़ रही थी। आवश्यकताओं में वृद्धि हुई। छोटे प्रोजेक्ट विशाल अजीब बुरे सपने में बदल गए।

चक्र: 1. ज्यूपिटर में अन्वेषण करें 2. अजगर स्क्रिप्ट पर कॉपी-पेस्ट करें 3. HTML, JS के साथ एक फ्लास्क एप्लिकेशन लिखें और अधिक 4. अधिक कार्यक्षमता जोड़ें। // चरण 3 के रूप में समर्थन समस्याएं शुरू होती हैं

जब उपकरण महत्वपूर्ण हो गया, तो हमने उपकरण बनाने के लिए एक टीम बनाई । उन्होंने Vue और React का इस्तेमाल किया। उनके लैपटॉप को घोषणात्मक ढांचे के सम्मेलनों के स्टिकर के साथ कवर किया गया था। उनकी अपनी डिबग प्रक्रिया थी:

एक सुव्यवस्थित प्रक्रिया: 1. आवश्यकताओं का संग्रह । प्रतिक्रियाशील घटकों के लिए टेम्पलेट 3. एचटीएमएल, सीएसएस, पायथन, रिएक्ट, आदि में एक एप्लिकेशन बनाना। 4. एक महीने बाद: "आवेदन तैयार है, हम इसे कुछ महीनों में अपडेट कर सकते हैं।" // चरण 4 के बाद , कार्य कछुआ गति से चलता है

प्रक्रिया अद्भुत थी। यहां हर हफ्ते सिर्फ उपकरण दिखाई देते हैं। और टूल टीम ने दस और अन्य परियोजनाओं का समर्थन किया। नई कार्यक्षमता जोड़ने में महीनों लग गए।

इसलिए हम अपने स्वयं के उपकरण बनाने, फ्लास्क एप्लिकेशन को तैनात करने, HTML, सीएसएस और जावास्क्रिप्ट को लिखने और शैलियों को संरक्षित करते हुए बृहस्पति से इन सभी को पोर्ट करने की कोशिश कर रहे थे। इसलिए मेरे पुराने Google X मित्र थियागो तेहेइरा और मैंने इस सवाल को टटोलना शुरू किया: क्या होगा अगर हम पायथन में स्क्रिप्ट लिखने के लिए टूल को आसानी से बना सकते हैं?

हम चाहते थे कि मशीन लर्निंग विशेषज्ञ उपकरण बनाने के लिए टीमों को शामिल किए बिना सुरुचिपूर्ण एप्लिकेशन बनाने में सक्षम हों। आंतरिक उपकरण अपने आप में एक अंत नहीं होना चाहिए, लेकिन एमएल के साथ काम करने का एक उप-उत्पाद है। एक उपयोगिता लिखना एक तंत्रिका नेटवर्क को प्रशिक्षित करने या जुपिटर में विश्लेषण करने के काम के हिस्से के रूप में महसूस किया जाना चाहिए! लेकिन एक ही समय में, हम एक वेब फ्रेमवर्क की लचीलापन और शक्ति चाहते थे। वास्तव में, हम कुछ इस तरह चाहते थे:

स्ट्रीमलीट में काम करने की प्रक्रिया: 1. अपनी स्क्रिप्ट में एपीआई में कुछ कॉल जोड़ें 2. एक सुंदर उपकरण तैयार है!

उबर, ट्विटर, स्टिच फिक्स और ड्रॉपबॉक्स के इंजीनियरों के एक उत्कृष्ट समुदाय की मदद से, हमने वर्ष के दौरान स्ट्रीमलैट विकसित किया है - मशीन सीखने वाले श्रमिकों की मदद करने के लिए एक मुफ्त खुला स्रोत ढांचा। प्रत्येक बाद के पुनरावृत्ति के साथ, स्ट्रीमलाइट के मूल में सिद्धांत सरल हो गए। यह वही है जो हम आए हैं:

# 1: पायथन ज्ञान का उपयोग करें। स्ट्रीमलाइट एप्लिकेशन ऐसी स्क्रिप्ट हैं जो ऊपर से नीचे तक चलती हैं। उनमें कोई छिपी हुई अवस्था नहीं है। यदि आप पायथन में लिख सकते हैं, तो आप स्ट्रीमलाइट में एप्लिकेशन बना सकते हैं। यहां बताया गया है कि स्क्रीन कैसे प्रदर्शित होती है:

import streamlit as st st.write('Hello, world!') 

पहला परिचित।

# 2: विगेट्स को चर के रूप में सोचें। Streamlit में कोई कॉलबैक नहीं हैं! प्रत्येक परिवर्तन स्क्रिप्ट को ऊपर से नीचे तक पुनः आरंभ करता है। यह दृष्टिकोण आपको कोड क्लीनर लिखने की अनुमति देता है:

 import streamlit as st x = st.slider('x') st.write(x, 'squared is', x * x) 

कोड की तीन लाइनों में एक इंटरैक्टिव अनुप्रयोग।

# 3: डेटा और गणना का बार-बार उपयोग करें। यदि आप लंबी गणना करने के लिए बहुत अधिक डेटा डाउनलोड करते हैं तो क्या होगा? फिर उन्हें पुनरारंभ के बीच पुन: उपयोग करना महत्वपूर्ण होगा। स्ट्रीमलाइट में डिफ़ॉल्ट अपरिवर्तित स्थिति के लगातार कैशिंग के लिए एक आदिम है। इसलिए, उदाहरण के लिए, एक सरल और सुंदर एप्लिकेशन का निर्माण करते हुए, स्व-प्रबंधित कारों पर यूडेसिटी प्रोजेक्ट से डाउनलोड डेटा नीचे दिए गए कोड:

 import streamlit as st import pandas as pd # Reuse this data across runs! read_and_cache_csv = st.cache(pd.read_csv) BUCKET = "https://streamlit-self-driving.s3-us-west-2.amazonaws.com/" data = read_and_cache_csv(BUCKET + "labels.csv.gz", nrows=1000) desired_label = st.selectbox('Filter to:', ['car', 'truck']) st.write(data[data.label == desired_label]) 

ऊपर दिए गए कोड को चलाने के लिए, यहां से निर्देशों का पालन करें ।

और यहां परिणाम कैसे दिखेगा।

संक्षेप में, स्ट्रीमलाइट इस तरह काम करता है:

1. स्क्रिप्ट को हर बार फिर से चलाया जाता है
2. स्ट्रीमलाइट विजेट से प्रत्येक चर को वर्तमान मान प्रदान करता है।
3. कैशिंग अनावश्यक नेटवर्क एक्सेस या लंबी पुनर्गणना से बचा जाता है।

तस्वीरों में स्ट्रीमलाइट का काम:

उपयोगकर्ता इनपुट स्क्रिप्ट को पुनरारंभ करता है। पुनरारंभ के बीच, केवल कैश सहेजा जाता है।

क्या आप साज़िश कर रहे हैं? फिर खुद ही आजमाएं! का पालन करें:

 $ pip install --upgrade streamlit $ streamlit hello     .  URL: http://localhost:8501  URL: http://10.0.1.29:8501 

यह कोड एक ब्राउज़र में स्ट्रीमलीट एप्लिकेशन को खोलेगा। यदि ऐसा नहीं होता है, तो बस लिंक पर क्लिक करें।

इस भग्न एनीमेशन की तरह अधिक उदाहरण देखने के लिए, कमांड लाइन से केवल स्ट्रीमलाइट हेलो चलाएं।

---

भग्न के साथ पर्याप्त नहीं खेला? सावधान रहें, फ्रैक्चर लंबे समय तक चिपक सकते हैं।

उदाहरणों की सादगी भ्रामक नहीं होनी चाहिए: आप स्ट्रीमलाइट पर विशाल एप्लिकेशन बना सकते हैं। ज़ोक्स और गूगल एक्स में काम करते हुए, मैंने देखा कि किस तरह से सेल्फ-ड्राइविंग ऑटो प्रोजेक्ट्स ने दृश्य डेटा के गीगाबाइट्स को फुलाया, जिसे प्रदर्शन की तुलना करने के लिए विभिन्न मॉडलों का परीक्षण करने सहित, खोजने और संसाधित करने की आवश्यकता थी। स्व-ड्राइविंग मशीनों पर प्रत्येक छोटी परियोजना जल्द या बाद में एक अलग विकास टीम की आवश्यकता के आकार तक बढ़ गई।

लेकिन स्ट्रीमलाइट के साथ, ऐसे एप्लिकेशन बनाना तुच्छ है। यहां स्ट्रीमलीट पर एक डेमो है , जहां स्व-ड्राइविंग मशीनों के लिए पूरे उडेसिटी डेटा सरणी में एक पूर्ण-अर्थ सिमेंटिक खोज को लागू किया गया है, लोगों की व्याख्या एनोटेट लेबल और एक ही एप्लिकेशन के अंदर वास्तविक समय में पूर्ण-विकसित तंत्रिका नेटवर्क ( YOO ) के लॉन्च [1]।

स्ट्रीमलीट पर यह 300-लाइन डेमो एक तंत्रिका नेटवर्क से वास्तविक समय के परिणामों के साथ अर्थ खोज को जोड़ती है।

आवेदन पूरी तरह से आत्मनिर्भर है, ज्यादातर 300 लाइनें मशीन लर्निंग हैं। इसके अलावा, स्ट्रीमलीट एपीआई केवल 23 बार कहा जाता है । यह अपने आप कोशिश करो!

 $ pip install --upgrade streamlit opencv-python $ streamlit run https://raw.githubusercontent.com/streamlit/demo-self-driving/master/app.py 

---

मशीन लर्निंग टीमों के साथ काम करने की प्रक्रिया में, हमने महसूस किया कि कुछ सरल विचार बहुत अच्छी तरह से भुगतान करते हैं:

स्ट्रीमलाइट एप्लिकेशन नियमित पायथन फाइल हैं। तो, आप पूरे एप्लिकेशन को विकसित करने के लिए अपने पसंदीदा संपादक का उपयोग कर सकते हैं।

स्ट्रीमलाइट के साथ मेरे वर्कफ़्लो में बाईं ओर VSCode और दाईं ओर Chrome शामिल हैं।

Git या अन्य संस्करण नियंत्रण प्रणालियों में समस्याओं के बिना स्वच्छ स्क्रिप्ट संग्रहीत की जाती हैं । शुद्ध अजगर के साथ काम करते हुए, आपको एक टीम के रूप में विकास के लिए तैयार उपकरणों का एक बड़ा पूल मिलता है।

स्ट्रीमिट ऐप को पूरी तरह से Git में होस्ट किया गया है।

स्ट्रीमलाइट एक त्वरित प्रतिक्रिया कोडिंग वातावरण है। जब स्रोत फ़ाइल में परिवर्तन को नोटिस करता है, तो बस हमेशा पुन: चलाएँ पर क्लिक करें।

तुरंत प्रतिक्रिया कोडिंग के लिए "हमेशा पुनर्मिलन" पर क्लिक करें।

कैशिंग गणना श्रृंखला के साथ काम को बहुत सरल करता है। कई कैशिंग परिणामों के संयोजन कंप्यूटिंग के लिए एक कुशल पाइपलाइन के रूप में महान काम करता है! इस डेमो संस्करण से लिया गया कोड देखें :

 import streamlit as st import pandas as pd @st.cache def load_metadata(): DATA_URL = "https://streamlit-self-driving.s3-us-west-2.amazonaws.com/labels.csv.gz" return pd.read_csv(DATA_URL, nrows=1000) @st.cache def create_summary(metadata, summary_type): one_hot_encoded = pd.get_dummies(metadata[["frame", "label"]], columns=["label"]) return getattr(one_hot_encoded.groupby(["frame"]), summary_type)() # Piping one st.cache function into another forms a computation DAG. summary_type = st.selectbox("Type of summary:", ["sum", "any"]) metadata = load_metadata() summary = create_summary(metadata, summary_type) st.write('## Metadata', metadata, '## Summary', summary) 

स्ट्रीमलिट कंप्यूटिंग के लिए पाइपलाइन। स्क्रिप्ट चलाने के लिए, इस निर्देश का पालन करें।

वास्तव में, पाइपलाइन load_metadata -> create_summary है। हर बार जब स्क्रिप्ट चलाई जाती है, तो स्ट्रीमलाइट केवल वही बताता है जो सही परिणाम के लिए आवश्यक होता है । कूल!

अधिकतम प्रदर्शन के लिए, स्ट्रीमली केवल वही गणना करता है जो यूआई को अपडेट करने के लिए वास्तव में आवश्यक है।

स्ट्रीमलाइट को GPU के साथ काम करने के लिए डिज़ाइन किया गया है। स्ट्रीमलीट आपको TensorFlow, PyTorch और अन्य समान पुस्तकालयों के साथ सीधे काम करने की अनुमति देता है। उदाहरण के लिए, इस डेमो में, स्ट्रीमलाइट का कैश NVIDIA [2] से मशहूर हस्तियों के GAN को संग्रहीत करता है । यह आपको स्लाइडर के मूल्यों को बदलते समय एक लगभग तात्कालिक प्रतिक्रिया प्राप्त करने की अनुमति देता है।

स्ट्रीमलाइट ऐप शोबो गुआन के टीएल-जीएएन [3] का उपयोग करके NVIDIA [2] से सेलिब्रिटी चेहरों के GAN को प्रदर्शित करता है।

स्ट्रीमलाइट एक ओपन सोर्स प्रोजेक्ट है । आप स्वतंत्र रूप से हमें अनुमति के बिना पूछे गए स्ट्रीमलाइट पर एप्लिकेशन वितरित कर सकते हैं। आप इंटरनेट कनेक्शन के बिना भी स्थानीय स्तर पर स्ट्रीमलाइट पर एप्लिकेशन चला सकते हैं! और मौजूदा परियोजनाएं स्ट्रीमलीट को धीरे-धीरे लागू कर सकती हैं।

Streamlit उपयोग करने के कई तरीके। (आइकन फुलवेक्टर / फ्रीपिक से लिए गए हैं।)

---

और यह स्ट्रीमलीट की विशेषताओं का एक सामान्य अवलोकन है। पुस्तकालय के सबसे अच्छे पहलुओं में से एक है, प्राथमिकताओं को विशाल अनुप्रयोगों के संयोजन में आसानी। हमारे पास भविष्य के लिए आधारभूत संरचना और योजनाओं के बारे में अधिक बताने के लिए है, लेकिन हम इसे भविष्य के प्रकाशनों के लिए बचाएंगे।

धारात्मक घटक आरेख। आगे के प्रकाशनों की प्रतीक्षा करें!

हम दुनिया के साथ स्ट्रीमलाइट साझा करने में प्रसन्न हैं और हमें उम्मीद है कि इसके साथ आपकी पायथन एमएल स्क्रिप्ट सुंदर पूर्ण अनुप्रयोगों में बदल जाएगी।

---

संदर्भ:

[१] जे। रेडमन और ए। फरहादी , योलोव ३: एन इन्क्रीमेंटल इम्प्रूवमेंट ( २०१mon ), आरएक्सएवी।

[२] टी। कर्रस, टी। आइला, एस। लाईन, और जे। लेह्टीनन , प्रोग्रेसिव ग्रोइंग ऑफ़ गान्स फॉर इम्प्रूव्ड क्वालिटी, स्टैबिलिटी, और वेरीएशन (२०१)), आईसीएलआर।

[३] एस। गुआन, एक उपन्यास टीएल-जीएएन मॉडल (२०१)), इनसाइट साइंस साइंस ब्लॉग का उपयोग करके नियंत्रित छवि संश्लेषण और संपादन ।