एक नया दृष्टिकोण हमें फ्लोटिंग पॉइंट गणनाओं से छुटकारा पाने में मदद कर सकता है

1985 में, इंस्टीट्यूट ऑफ इलेक्ट्रिकल एंड इलेक्ट्रॉनिक्स इंजीनियर्स ( IEEE ) ने IEEE 754 मानक की स्थापना की, जो फ्लोटिंग पॉइंट और अंकगणितीय प्रारूपों के लिए जिम्मेदार है, जो अगले 30 वर्षों के लिए सभी हार्डवेयर और सॉफ़्टवेयर के लिए मॉडल होगा।

और यद्यपि अधिकांश प्रोग्रामर किसी भी समय अंधाधुंध तरीके से एक अस्थायी बिंदु का उपयोग करते हैं, जब उन्हें वास्तविक संख्याओं के साथ गणितीय संचालन करने की आवश्यकता होती है, इन संख्याओं के प्रतिनिधित्व पर कुछ प्रतिबंधों के कारण, इस तरह के संचालन की गति और सटीकता अक्सर वांछित होने के लिए बहुत कुछ छोड़ देती है।

कई सालों तक, कंप्यूटर वैज्ञानिकों द्वारा मानक की तीखी आलोचना की गई, जो इन समस्याओं से परिचित थे, लेकिन जॉन गुस्ताफसन उनमें से सबसे प्रमुख थे, जिन्होंने फ्लोटिंग पॉइंट को कुछ और उपयुक्त के साथ बदलने के लिए अकेले एक धर्मयुद्ध का नेतृत्व किया। इस मामले में, पॉज़िट या अनम को एक अधिक उपयुक्त विकल्प माना जाता है - तीसरा विकल्प "सार्वभौमिक संख्या" के उनके अध्ययन का परिणाम है। उनका कहना है कि पॉज़िट नंबर IEEE 754 मानक की अधिकांश प्रमुख समस्याओं को हल करेगा, बेहतर प्रदर्शन और सटीकता देगा, और कम बिट्स का उपयोग करेगा। वह और भी बेहतर है, वह कहता है कि नए प्रारूप मानक फ़्लोटिंग-पॉइंट नंबरों को "मक्खी पर," अनुप्रयोगों के स्रोत कोड को बदलने के बिना बदल सकते हैं।

हम ISC19 सम्मेलन में गुस्ताफसन के साथ मिले। और वहां स्थित उन सुपरकंप्यूटर विशेषज्ञों के लिए, पॉज़िट प्रारूप के मुख्य लाभों में से एक यह है कि आप आईईईई 754 की संख्या की तुलना में कम बिट्स का उपयोग करके अधिक सटीकता और गतिशील रेंज प्राप्त कर सकते हैं। और न केवल थोड़ा कम। गुस्ताफसन ने कहा कि 32-बिट पॉज़िट लगभग सभी मामलों में 64-बिट फ्लोट की जगह लेता है, जिसके वैज्ञानिक कंप्यूटिंग के लिए गंभीर परिणाम हो सकते हैं। यदि आप बिट्स की संख्या को आधा कर देते हैं, तो आप न केवल इन नंबरों के लिए कैश, मेमोरी और स्टोरेज को कम कर सकते हैं, बल्कि उन्हें प्रोसेसर और इसके विपरीत स्थानांतरित करने के लिए आवश्यक चैनल की चौड़ाई को भी गंभीरता से कम कर सकते हैं। यह मुख्य कारण है कि पॉज़िट-आधारित अंकगणित, उनकी राय में, IEEE फ़्लोटिंग पॉइंट नंबरों की तुलना में दोगुनी चौगुनी गणना गति देगा।

त्वरण वास्तविक संख्याओं के एक कॉम्पैक्ट प्रतिनिधित्व के माध्यम से प्राप्त किया जा सकता है। आईईईई मानक में उपयोग किए गए एक निश्चित आकार के प्रतिपादक और आंशिक भाग के बजाय, पॉज़िट ने प्रतिपादक को बिट्स की एक चर संख्या (मोड बिट्स और एक्सपोनेंट बिट्स का एक संयोजन) के साथ एन्कोड किया, ताकि ज्यादातर मामलों में उन्हें कम की आवश्यकता हो। नतीजतन, अधिक बिट्स आंशिक भाग पर बने रहते हैं, जो अधिक सटीकता देता है। एक गतिशील घातांक इसकी टेपिंग सटीकता के कारण उपयोग करने लायक है। इसका मतलब यह है कि छोटे एक्सपोनेंट वाले मान, जो सबसे अधिक बार उपयोग किए जाते हैं, में अधिक सटीकता हो सकती है, और आमतौर पर बहुत बड़े और बहुत कम संख्या में उपयोग किए जाने वाले की सटीकता कम होगी। पॉस्ट फॉर्मेट का वर्णन करने वाले गुस्ताफ़सन के 2017 के काम में यह वर्णन किया गया है कि यह कैसे काम करता है।



प्रारूप का एक अन्य महत्वपूर्ण लाभ यह है कि साधारण फ्लोटिंग-पॉइंट नंबरों के विपरीत, पॉज़िट किसी भी सिस्टम पर समान बिटवाइज़ परिणाम देता है, जिसे अक्सर IEEE से प्रारूप के साथ गारंटी नहीं दी जा सकती है (यहां एक ही सिस्टम पर समान गणना अलग-अलग दे सकती है परिणाम)। इसके अलावा, नया प्रारूप राउंडिंग त्रुटियों, अतिप्रवाह और महत्वपूर्ण अंकों के गायब होने, संख्याओं के असामान्य होने और नॉट-ए-नंबर (NaN) प्रकार के कई मूल्यों से संबंधित है। इसके अलावा, पॉज़िट ऐसी विचित्रताओं से बचता है जैसे बेमेल मूल्यों 0 और -0। इसके बजाय, प्रारूप पूर्णांक की तरह चरित्र के लिए एक द्विआधारी पूरक का उपयोग करता है, जिसका अर्थ है कि बिटवाइज़ तुलना सही ढंग से काम करेगी।

क्वायर नाम की कोई चीज़ पॉज़िट नंबरों से जुड़ी होती है - एक संचय तंत्र जो प्रोग्रामर को प्रतिलिपि प्रस्तुत करने योग्य रैखिक बीजगणित करने की अनुमति देता है - नियमित IEEE नंबर के लिए दुर्गम एक प्रक्रिया। यह संयुक्त गुणन-वृद्धि और अन्य संयुक्त संचालन के सामान्यीकृत संचालन का समर्थन करता है जो आपको गोल त्रुटियों या ओवरफ्लो के बिना स्केलर उत्पादों या रकम की गणना करने की अनुमति देता है। बर्कले में कैलिफोर्निया विश्वविद्यालय में शुरू किए गए परीक्षणों ने प्रदर्शित किया कि अनुक्रमिक निष्पादन की तुलना में क्वायर ऑपरेशन 3-6 गुना तेज हैं। गुस्ताफ़सन का कहना है कि वे सकारात्मक संख्या को "अपने वजन वर्ग के बाहर लड़ने की अनुमति देते हैं।"

हालांकि यह संख्या प्रारूप केवल कुछ वर्षों के लिए अस्तित्व में है, उच्च प्रदर्शन कंप्यूटिंग (एचपीसी) समुदाय में पहले से ही उनके अनुप्रयोगों की खोज करने में रुचि है। फिलहाल, सभी काम प्रायोगिक बने हुए हैं, और यह भविष्य के हार्डवेयर की अपेक्षित गति या पारंपरिक प्रोसेसर पर पॉज़िट अंकगणित का अनुकरण करने वाले उपकरणों के उपयोग पर आधारित है। उत्पादन में जबकि कोई चिप्स नहीं है जो हार्डवेयर स्तर पर सकारात्मकता को लागू करता है।

प्रारूप के संभावित अनुप्रयोगों में से एक निर्माणाधीन स्क्वायर किलोमीटर एरे (एसकेए) रेडियो इंटरफेरोमीटर है, जब इसे डिजाइन करते हैं तो वे पॉज़िट संख्याओं को रेडियो की चौड़ाई को कम करने और रेडियो टेलीस्कोप से आने वाले डेटा को संसाधित करने के लिए कम्प्यूटेशनल लोड के रूप में मानते हैं। यह आवश्यक है कि इसे परोसने वाले सुपर कंप्यूटर 10 मेगावाट से अधिक की खपत न करें, और इसे प्राप्त करने के सबसे आशाजनक तरीकों में से एक, डिजाइनरों के अनुसार, मेमोरी चैनल की अनुमानित चौड़ाई (200 पीबी / एस) को प्रसारित करने के लिए एक सघन पोजिट प्रारूप का उपयोग करना है, ट्रांसमिशन चैनल डेटा (10 टीबी / एस) और नेटवर्क कनेक्शन (1 टीबी / एस)। कम्प्यूटिंग पावर भी बढ़नी चाहिए।

एक अन्य आवेदन मौसम की भविष्यवाणी और जलवायु भविष्यवाणियों में उपयोग के लिए है। ब्रिटिश टीम ने दिखाया कि 16-बिट पॉज़िट संख्या मानक 16-बिट फ़्लोटिंग पॉइंट संख्याओं से स्पष्ट रूप से आगे है, और उनके पास "अधिक जटिल मॉडल में उपयोग करने की महान क्षमता है।" इस मॉडल में 16-बिट पॉज़िट इम्यूलेशन के साथ-साथ 64-बिट फ्लोटिंग पॉइंट नंबरों पर काम किया गया।

लिवरमोर नेशनल लेबोरेटरी ने भविष्य के सुपर कंप्यूटरों में एक्सफोलॉप्स में ले जाए जा रहे डेटा की मात्रा को कम करने के तरीकों की खोज करते हुए पॉज़िट और अन्य संख्या प्रारूपों का मूल्यांकन किया । कुछ मामलों में, उन्हें बेहतर परिणाम भी मिले। उदाहरण के लिए, पॉज़िट नंबर शॉक हाइड्रोडायनामिक्स के रूप में इस तरह की शारीरिक गणना में बेहतर सटीकता देने में सक्षम थे, और आमतौर पर विभिन्न आयामों में फ्लोटिंग पॉइंट नंबर से बेहतर प्रदर्शन करते थे।



शायद मशीन सीखने में पॉज़िट की सबसे बड़ी क्षमता होगी, जहाँ सीखने के लिए 16-बिट नंबरों का उपयोग किया जा सकता है, और सत्यापन के लिए 8-बिट नंबरों का उपयोग किया जा सकता है। Gustafson ने कहा कि 32-बिट फ़्लोटिंग-पॉइंट नंबर प्रशिक्षण के लिए ओवरकिल हैं, और कुछ मामलों में वे 16-बिट पॉज़िट जैसे अच्छे परिणाम भी नहीं दिखाते हैं, यह बताते हुए कि IEEE 754 मानक "AI के लिए उपयोग करने के लिए बिल्कुल नहीं था। ।

यह आश्चर्य की बात नहीं है कि एआई समुदाय ने उन पर ध्यान दिया। फेसबुक जेफ जॉनसन ने पॉज़िट का उपयोग करते हुए एफजीपीए के साथ एक प्रायोगिक प्लेटफ़ॉर्म विकसित किया है, जो फ्लोट 16 और आईईईई की bfloat16 दोनों मशीन सीखने के कार्यों की तुलना में बेहतर ऊर्जा दक्षता प्रदर्शित करता है। वे प्रशिक्षण के लिए 16-बिट क्वायर हार्डवेयर के उपयोग का पता लगाने और प्रतिस्पर्धी प्रारूपों के साथ उनकी तुलना करने की योजना बनाते हैं।

यह ध्यान देने योग्य है कि फेसबुक नर्वाना न्यूरल नेटवर्क (एनएनपी) प्रोसेसर पर इंटेल के साथ काम कर रहा है , जिसे सामाजिक दिग्गजों के एआई-संबंधित कार्यों में से कुछ को गति देना चाहिए। पॉज़िट प्रारूप का उपयोग करने के विकल्प से इनकार नहीं किया जाता है, हालांकि यह अधिक संभावना है कि इंटेल नर्वाना के लिए अपने मूल फ्लेक्सपॉइंट प्रारूप को छोड़ देगा। किसी भी मामले में, यह बिंदु ट्रैकिंग के लायक है।

गुस्ताफ़सन कम से कम एक एआई चिप जानता है जिसमें वे डिजाइन में सकारात्मक संख्याओं का उपयोग करने की कोशिश करते हैं, हालांकि उसे कंपनी के नाम को विभाजित करने का अधिकार नहीं है। यूरोपीय प्रोसेसर पहल (EPI) के साथ काम करने वाली फ्रांसीसी कंपनी Kalray ने भी अपनी अगली पीढ़ी के बड़े पैमाने पर समानांतर प्रोसेसर Array (MPPA) त्वरक में पॉज़िट का समर्थन करने में रुचि दिखाई है, इसलिए यह तकनीक यूरोपीय exllops सुपर कंप्यूटर पर जा सकती है ।

गुस्ताफसन के लिए, यह सब, निश्चित रूप से प्रेरित करता है, और उनका मानना ​​है कि उनके सार्वभौमिक संख्या को आगे बढ़ाने का यह तीसरा प्रयास सफल हो सकता है। संस्करणों एक और दो के विपरीत, पॉज़िट को हार्डवेयर में लागू करना आसान है। और एआई के क्षेत्र में उग्र प्रतिस्पर्धा को देखते हुए, शायद हमें नए प्रारूप की व्यावसायिक सफलता की उम्मीद करनी चाहिए। अन्य प्लेटफार्मों पर, जो सकारात्मक भविष्य की उम्मीद कर सकते हैं, डिजिटल सिग्नल प्रोसेसिंग, GPU (ग्राफिक्स और अन्य कंप्यूटिंग के लिए), चीजों की इंटरनेट के लिए डिवाइस, एज कंप्यूटिंग। और, बेशक, एचपीसी।

यदि प्रौद्योगिकी का व्यावसायिक वितरण हो जाता है, तो गुस्ताफ़सन को इसकी सफलता को भुनाने की संभावना नहीं है। उनका प्रोजेक्ट, जैसा कि 10-पृष्ठ के मानक में दर्शाया गया है, पूरी तरह से खुला है, और किसी भी कंपनी द्वारा उपयोग के लिए उपलब्ध है जो उपयुक्त सॉफ्टवेयर और हार्डवेयर विकसित करना चाहता है। जो शायद आईबीएम, गूगल, इंटेल, माइक्रोन, रेक्स कम्प्यूटिंग, क्वालकॉम, फुजित्सु, हुआवेई और कई अन्य जैसी कंपनियों से प्रौद्योगिकी पर ध्यान केंद्रित करता है।

हालांकि, IEEE 754 को कुछ और उपयुक्त के साथ प्रतिस्थापित करना एक बड़ी परियोजना है, यहां तक ​​कि गुस्तावसन के रूप में इस तरह के एक प्रभावशाली फिर से शुरू करने वाले व्यक्ति के लिए भी। क्लियरस्पीड, इंटेल और एएमडी में काम करने से पहले ही, उन्होंने आधुनिक प्रोसेसर पर वैज्ञानिक गणना में सुधार करने के तरीकों का अध्ययन किया। "मैं पिछले 30 वर्षों से इस मुद्दे का पता लगाने की कोशिश कर रहा हूं," उन्होंने कहा।