Google एआई घातीय वृद्धि के बारे में बात करता है जो कंप्यूटिंग की प्रकृति को बदल देता है

Google प्रोग्रामर क्लिफ़ यंग बताते हैं कि कैसे गहरी सीखने के एल्गोरिदम का विस्फोटक विकास मूर के कानून की विफलता के साथ मेल खाता है, जिसने कंप्यूटर चिप की प्रगति के लिए अंगूठे के शासन पर दशकों तक काम किया है, और मौलिक रूप से नई कम्प्यूटेशनल योजनाओं के विकास को मजबूर करता है।

एआई और मशीन लर्निंग एल्गोरिदम का विस्फोटक विकास कंप्यूटिंग की बहुत प्रकृति को बदल रहा है - जैसा कि वे Google में एआई का अभ्यास करने वाली सबसे बड़ी कंपनियों में से एक में कहते हैं। Google प्रोग्रामर क्लिफ यंग ने लिनले ग्रुप द्वारा होस्ट किए गए फॉल माइक्रोप्रोसेसर सम्मेलन के उद्घाटन के दौरान, एक लोकप्रिय कंप्यूटर चिप संगोष्ठी की मेजबानी की, जो कि आदरणीय अर्धचालक कंपनी द्वारा आयोजित की गई थी।

यंग ने कहा कि एआई का उपयोग उसी समय "घातीय चरण" में प्रवेश कर गया जब मूर के कानून, दशकों से कंप्यूटर चिप्स की प्रगति के लिए अंगूठे का नियम पूरी तरह से बाधित था।

"टाइम्स बहुत नर्वस हैं," उन्होंने सोच समझकर कहा। "डिजिटल सीएमओएस धीमा हो रहा है, हम इंटेल पर 10nm प्रक्रिया के साथ समस्याओं को देख रहे हैं, हम उन्हें GlobalFoundries से 7nm प्रक्रिया में देख रहे हैं, और साथ ही साथ गहरी शिक्षा के विकास के साथ, एक आर्थिक मांग उभर रही है।" CMOS, एक पूरक धातु-ऑक्साइड-अर्धचालक संरचना, कंप्यूटर चिप्स बनाने के लिए उपयोग की जाने वाली सबसे आम सामग्री है।

जबकि युवा चिप्स दक्षता और उत्पादकता को मुश्किल से बढ़ा सकते हैं, एआई शोधकर्ताओं से अनुरोध बढ़ रहे हैं, यंग ने कहा। उन्होंने कुछ आंकड़े तैयार किए: कॉर्नेल यूनिवर्सिटी द्वारा बनाए गए आर्टएक्सिव प्रीप्रिंट साइट पर संग्रहीत मशीन लर्निंग पर वैज्ञानिक कागजात की संख्या हर 18 महीने में दोगुनी हो जाती है। उन्होंने कहा कि Google पर AI पर ध्यान केंद्रित करने वाली आंतरिक परियोजनाओं की संख्या, हर 18 महीने में दोगुनी हो जाती है। मशीन लर्निंग में इस्तेमाल होने वाले तंत्रिका नेटवर्क को संसाधित करने के लिए आवश्यक फ्लोटिंग पॉइंट ऑपरेशंस की संख्या और भी तेजी से बढ़ रही है - यह हर साढ़े तीन महीने में दोगुना हो जाता है।

कम्प्यूटेशनल प्रश्नों में यह सब वृद्धि को "मूर के सुपर-लॉ" में जोड़ा जा रहा है, यंग ने कहा, और उन्होंने इसे "थोड़ा डरावना" और "थोड़ा खतरनाक" और "कुछ के बारे में चिंता करने के लिए" कहा।

एआई के क्षेत्र में, "यह सभी घातीय वृद्धि कहां से आई है," उन्होंने पूछा। “विशेष रूप से, पूरे बिंदु यह है कि गहरी शिक्षा सिर्फ काम करती है। मेरे करियर में, मैंने मशीन सीखने को लंबे समय तक अनदेखा किया है। "यह स्पष्ट नहीं था कि ये चीजें हट सकती हैं।"

लेकिन फिर सफलताएं तेजी से उभरने लगीं, जैसे कि पैटर्न की मान्यता, और यह स्पष्ट हो गया कि गहरी शिक्षा "अविश्वसनीय रूप से प्रभावी है," उन्होंने कहा। "पिछले पांच सालों में, हम ऐसी कंपनी रहे हैं जो एआई को पहले स्थान पर रखती है, और हमने एआई पर आधारित अधिकांश व्यवसायों को रीमेक किया है," खोज से लेकर विज्ञापन तक और बहुत कुछ।



Google ब्रेन प्रोजेक्ट टीम, एक प्रमुख AI अनुसंधान परियोजना, को "विशाल मशीनों" की आवश्यकता है, यंग ने कहा। उदाहरण के लिए, तंत्रिका नेटवर्क को कभी-कभी "वजन" की संख्या से मापा जाता है जो उनमें उपयोग किया जाता है, अर्थात्, तंत्रिका नेटवर्क पर लागू चर और यह प्रभावित करता है कि यह डेटा को कैसे संसाधित करता है।

और अगर साधारण तंत्रिका नेटवर्क में सैकड़ों हजारों या लाखों वज़न हो सकते हैं जिनकी गणना करने की आवश्यकता होती है, तो Google शोधकर्ताओं को "टेरा-वेट मशीनों" की आवश्यकता होती है, जो कि कंप्यूटर, खरबों के खरबों की गणना कर सकते हैं। क्योंकि "हर बार जब हम तंत्रिका नेटवर्क के आकार को दोगुना करते हैं, तो हम इसकी सटीकता में सुधार करते हैं।" एआई विकास का नियम बड़ा और बड़ा होना है।

Google के अनुरोधों के जवाब में, वे MO, Tensor Processing Unit के लिए चिप्स की अपनी लाइन विकसित कर रहे हैं। TPU और इस तरह की जरूरत है क्योंकि पारंपरिक CPU और GPU ग्राफिक्स चिप्स लोड को संभाल नहीं सकते हैं।

"हमने खुद को बहुत लंबे समय के लिए वापस रखा और कहा कि इंटेल और एनवीडिया उच्च प्रदर्शन प्रणाली बनाने में बहुत अच्छे हैं," यंग ने कहा। "लेकिन हम पांच साल पहले उस रेखा को पार कर गए थे।"

2017 में सार्वजनिक रूप से पहली उपस्थिति के बाद TPU ने दावा किया है कि गति के मामले में यह साधारण चिप्स से आगे है। Google पहले से ही तीसरी पीढ़ी के टीपीयू पर काम कर रहा है, अपनी परियोजनाओं में इसका उपयोग कर रहा है और Google क्लाउड सेवा के माध्यम से मांग पर कंप्यूटर क्षमताओं की पेशकश कर रहा है।

कंपनी बड़े और बड़े टीपीयू का निर्माण जारी रखती है। "विरासत" विन्यास में, 1024 टीपीयू संयुक्त रूप से एक नए प्रकार के सुपर कंप्यूटर से जुड़े हुए हैं, और यंग के अनुसार, इस प्रणाली का विस्तार करने के लिए Google की योजना है।

उन्होंने कहा, "हम दसियों पेटाबाइट्स की क्षमता वाले विशाल मल्टीकोमपॉइंट्स का निर्माण कर रहे हैं।" "हम एक ही समय में कई दिशाओं में अथक प्रगति कर रहे हैं, और टेराबाइट-स्केल ऑपरेशन बढ़ते रहते हैं।" इस तरह की परियोजनाएं सुपर कंप्यूटर के विकास से जुड़ी सभी समस्याओं को उठाती हैं।

उदाहरण के लिए, Google इंजीनियरों ने दिग्गज क्रे सुपर कंप्यूटर में उपयोग की जाने वाली तरकीबों को अपनाया है। उन्होंने "वेक्टर सामान्य प्रयोजन मॉड्यूल" और "स्केलर सामान्य प्रयोजन मॉड्यूल" के साथ तंत्रिका नेटवर्क के लिए कंप्यूटिंग का मुख्य बोझ वहन करने वाली चिप का हिस्सा विशाल "मैट्रिक्स गुणन मॉड्यूल" को जोड़ा, जैसा कि क्रे में किया गया था। "स्केलर और वेक्टर मॉड्यूल के संयोजन ने क्रे को प्रदर्शन के मामले में सभी से आगे निकलने की अनुमति दी," उन्होंने कहा।

Google ने प्रोग्रामिंग चिप्स के लिए अपने स्वयं के अभिनव अंकगणित डिजाइन विकसित किए हैं। वास्तविक संख्याओं का प्रतिनिधित्व करने का एक निश्चित तरीका जिसे bfloat16 कहा जाता है, तंत्रिका नेटवर्क में संख्याओं को संसाधित करते समय बढ़ी हुई दक्षता प्रदान करता है। बोलचाल की भाषा में इसे "ब्रेन फ्लोट" कहा जाता है।

टीपीयू सबसे तेज़ मेमोरी चिप्स, हाई-बैंडविड्थ मेमोरी या एचबीएम [हाई-बैंडविड्थ मेमोरी] का उपयोग करता है। उन्होंने कहा कि तंत्रिका नेटवर्क के प्रशिक्षण में बड़ी मात्रा में स्मृति की मांग तेजी से बढ़ रही है।

“स्मृति का उपयोग प्रशिक्षण के दौरान अधिक तीव्रता से किया जाता है। लोग सैकड़ों लाखों वज़न के बारे में बात करते हैं, लेकिन "एक तंत्रिका नेटवर्क के चर" के सक्रियण में समस्याएं हैं।

Google उन तरीकों को भी समायोजित करता है जिनसे तंत्रिका नेटवर्क को लोहे से सबसे अधिक मदद करने के लिए प्रोग्राम किया जाता है। "हम मॉडल डेटा और समानतावाद पर काम कर रहे हैं" जैसे "मेश टेंसोरफ्लो" - टेन्सरफ्लो सॉफ्टवेयर प्लेटफॉर्म के अनुकूलन "फली के पैमाने पर डेटा और समानता का संयोजन।"

यंग ने कुछ तकनीकी विवरणों का खुलासा नहीं किया। उन्होंने कहा कि कंपनी ने आंतरिक कनेक्शन के बारे में बात नहीं की, चिप के साथ डेटा कैसे चलता है - उन्होंने बस ध्यान दिया कि "हमारे कनेक्टर विशाल हैं।" उन्होंने इस विषय पर विस्तार करने से इनकार कर दिया, जिससे दर्शकों में हँसी आ गई।

यंग ने बताया कि कंप्यूटिंग के और भी दिलचस्प क्षेत्र जो जल्द ही हमारे सामने आ सकते हैं। उदाहरण के लिए, उन्होंने सुझाव दिया कि एनालॉग चिप्स, सर्किट का उपयोग करके गणना जो शून्य और लोगों के बजाय निरंतर मूल्यों के रूप में इनपुट डेटा को संसाधित करते हैं, एक महत्वपूर्ण भूमिका निभा सकते हैं। "शायद हम एनालॉग फ़ील्ड में बदल जाएंगे, भौतिक विज्ञान में एनालॉग कंप्यूटर और एनवीएम मेमोरी से संबंधित बहुत सारी दिलचस्प चीजें हैं।"

उन्होंने सम्मेलन में प्रस्तुत चिप स्टार्ट-अप की सफलता के लिए भी आशा व्यक्त की: “यहां कुछ बहुत अच्छे स्टार्टअप हैं, और हमें उन्हें काम करने की आवश्यकता है, क्योंकि डिजिटल CMOS की संभावनाएं असीमित नहीं हैं; मैं इन सभी निवेशों को आग में डालना चाहता हूं। ”