Google ने एक अरब स्मार्टफोन के लिए वितरित AI का आविष्कार किया

जरा सोचिए, दुनिया के सभी स्मार्टफोन की कुल कंप्यूटिंग शक्ति क्या है? यह एक विशाल कंप्यूटिंग संसाधन है जो मानव मस्तिष्क के काम का अनुकरण भी कर सकता है। इस तरह के संसाधन को निष्क्रिय नहीं किया जा सकता है, चैट रूम और सोशल मीडिया फीड पर ऊर्जा का मूर्खतापूर्ण जलती किलोवाट। यदि आप इन कंप्यूटिंग संसाधनों को एक वितरित विश्व AI को देते हैं, और यहां तक ​​कि उपयोगकर्ता स्मार्टफोन से डेटा की आपूर्ति करते हैं - प्रशिक्षण के लिए - तो इस तरह की प्रणाली इस क्षेत्र में एक क्वांटम छलांग लगा सकती है।

मानक मशीन सीखने के तरीकों के लिए आवश्यक है कि मॉडल ("प्राथमिक") को प्रशिक्षित करने के लिए निर्धारित डेटा को एक स्थान पर एकत्र किया जाए - एक कंप्यूटर, सर्वर या एक डेटा सेंटर या क्लाउड में। यहां से उसे एक मॉडल द्वारा लिया जाता है जिसे इस डेटा पर प्रशिक्षित किया जाता है। डेटा सेंटर में कंप्यूटरों के क्लस्टर के मामले में, स्टोचैस्टिक ग्रेडिएंट डिसेंट (SGD) विधि का उपयोग किया जाता है - एक अनुकूलन एल्गोरिथ्म जो लगातार क्लाउड में सर्वरों पर वितरित किए गए डेटा सेट के भागों में चलता है।

Google, Apple, Facebook, Microsoft और अन्य AI खिलाड़ी लंबे समय से ऐसा कर रहे हैं: वे डेटा एकत्र करते हैं - कभी-कभी गोपनीय - उपयोगकर्ताओं के कंप्यूटर और स्मार्टफ़ोन से एक एकल (संभवतः) सुरक्षित भंडारण में, जिस पर उनके तंत्रिका नेटवर्क प्रशिक्षित होते हैं।

अब Google रिसर्च के वैज्ञानिकों ने इस मानक मशीन सीखने की विधि के लिए एक दिलचस्प अतिरिक्त का प्रस्ताव किया है। उन्होंने फेडरेटेड लर्निंग नामक एक अभिनव दृष्टिकोण का प्रस्ताव रखा। यह उन सभी उपकरणों की अनुमति देता है जो पूर्वानुमान के लिए एकल मॉडल साझा करने के लिए मशीन लर्निंग में भाग लेते हैं, लेकिन मॉडल प्रशिक्षण के लिए प्राथमिक डेटा साझा नहीं करते हैं !

यह असामान्य दृष्टिकोण, शायद, मशीन लर्निंग की प्रभावशीलता को कम करता है (हालांकि यह एक तथ्य नहीं है), लेकिन यह डेटा केंद्रों को बनाए रखने के लिए Google की लागतों को काफी कम करता है। अगर दुनिया भर में अरबों एंड्रॉइड डिवाइस हैं जो लोड साझा कर सकते हैं, तो कोई कंपनी अपने उपकरणों में भारी मात्रा में पैसा क्यों लगाएगी? उपयोगकर्ता इस तरह के भार से खुश हो सकते हैं, क्योंकि वे बेहतर सेवाओं को बनाने में मदद करते हैं जो वे स्वयं उपयोग करते हैं। और वे अपने गोपनीय डेटा को डेटा सेंटर में भेजे बिना सुरक्षित रखते हैं।

Google इस बात पर जोर देता है कि इस मामले में यह केवल इस तथ्य के बारे में नहीं है कि पहले से ही प्रशिक्षित मॉडल को उपयोगकर्ता के डिवाइस पर सीधे निष्पादित किया जाता है, जैसा कि मोबाइल विज़न एपीआई और ऑन-डिवाइस स्मार्ट रिप्लाई सेवाओं में होता है। नहीं, यह मॉडल प्रशिक्षण है जो अंत उपकरणों पर किया जाता है।

संघबद्ध शिक्षण प्रणाली वितरित कंप्यूटिंग के मानक सिद्धांत के अनुसार काम करती है, जैसे कि SETI @ होम, जब लाखों कंप्यूटर एक बड़ी जटिल समस्या का समाधान करते हैं। SETI @ होम के मामले में, यह स्पेक्ट्रम की पूरी चौड़ाई में अंतरिक्ष से रेडियो सिग्नल में विसंगतियों की खोज थी। और फ़ेडरेटेड मशीन लर्निंग के मामले में, Google (अभी तक) कमजोर AI का एक सामान्य मॉडल पूरा कर रहा है। अभ्यास में, प्रशिक्षण चक्र इस प्रकार लागू किया गया है:

1. स्मार्टफोन वर्तमान मॉडल को डाउनलोड करता है;
2. मिनी-संस्करण की मदद से TensorFlow एक विशिष्ट उपयोगकर्ता के अद्वितीय डेटा पर एक प्रशिक्षण चक्र करता है;
3. मॉडल में सुधार;
4. बेहतर स्रोत मॉडल के बीच अंतर की गणना करता है, सुरक्षित एकत्रीकरण क्रिप्टोग्राफिक प्रोटोकॉल का उपयोग करके एक पैच को संकलित करता है, जो डेटा के डिक्रिप्शन की अनुमति देता है यदि अन्य उपयोगकर्ताओं से सैकड़ों या हजारों पैच हैं;
5. केंद्रीय सर्वर को पैच भेजता है;
6. अपनाया पैच तुरंत एल्गोरिथ्म के फ़ेडरेटेड औसत का उपयोग करके प्रयोग में अन्य प्रतिभागियों से प्राप्त हजारों पैच के साथ औसत है;
7. मॉडल का एक नया संस्करण रोल आउट किया गया है;
8. एक बेहतर मॉडल प्रयोग में प्रतिभागियों को भेजा जाता है।

फेडरेटेड औसत उपर्युक्त स्टोचस्टिक ग्रेडिएंट विधि के समान है, केवल यहां प्रारंभिक गणना क्लाउड में सर्वर पर नहीं होती है, बल्कि लाखों दूरस्थ स्मार्टफोन पर होती है। संघटित औसत की मुख्य उपलब्धि स्टोचैस्टिक ग्रेडिएंट विधि का उपयोग करने वाले सर्वर के साथ यातायात की तुलना में ग्राहकों के साथ 10-100 गुना कम यातायात है। स्मार्टफ़ोन से सर्वर पर भेजे जाने वाले अपडेट के उच्च-गुणवत्ता वाले संपीड़न के कारण अनुकूलन प्राप्त किया गया था। खैर, यहां प्लस सिक्योर एग्रीगेशन क्रिप्टोग्राफिक प्रोटोकॉल है।


Google ने वादा किया है कि स्मार्टफोन केवल डाउनटाइम के समय में वितरित वैश्विक AI सिस्टम के लिए गणना करेगा, ताकि यह किसी भी तरह से प्रदर्शन को प्रभावित न करे। इसके अलावा, आप केवल उस समय के लिए ऑपरेटिंग समय सेट कर सकते हैं जब स्मार्टफोन मुख्य से जुड़ा होता है। इस प्रकार, ये गणना बैटरी जीवन को भी प्रभावित नहीं करेगी। फ़ेडरेटेड मशीन लर्निंग को वर्तमान में Google कीबोर्ड - Gboard on Android पर प्रासंगिक संकेतों पर परीक्षण किया जा रहा है ।

विकेन्द्रीकृत डेटा से दीप नेटवर्क के वैज्ञानिक पेपर कम्युनिकेशन- एफ़िशिएंसी लर्निंग में फेडरेटेड एवरेजिंग एल्गोरिथ्म का अधिक विस्तार से वर्णन किया गया है, जिसे 17 फरवरी 2016 को arXiv.org (arXiv: 1602.05629) पर प्रकाशित किया गया था।