Tensorflow के लिए LLVM, या मूर के लॉ एंड कम्पाइलर

TensorFlow पारिस्थितिकी तंत्र में सॉफ्टवेयर और हार्डवेयर स्टैक के विभिन्न स्तरों पर काम करने वाले कई कंपाइलर और ऑप्टिमाइज़र शामिल हैं। जो लोग रोज़ टेंसरफ़्लो का उपयोग करते हैं, उनके लिए यह बहु-स्तरीय स्टैक विभिन्न प्रकार के हार्डवेयर (GPU, TPU, मोबाइल प्लेटफ़ॉर्म, आदि) के उपयोग के साथ जुड़े संकलन और रनटाइम दोनों त्रुटियों को समझने में मुश्किल पैदा कर सकता है।

ये घटक, टेंसरफ्लो ग्राफ के साथ शुरू करते हैं, इस तरह के आरेख के रूप में प्रतिनिधित्व किया जा सकता है:



यह वास्तव में कठिन है

इस चित्र में, हम देख सकते हैं कि Tensorflow रेखांकन कई अलग-अलग तरीकों से चलाया जा सकता है।


उदाहरण के लिए:

• हम ग्राफ को टेंसरफ़्लो निष्पादक को भेजते हैं, जो विशेष हाथ से लिखी गुठली कहते हैं
• उन्हें XLA HLO (XLA उच्च-स्तरीय ऑप्टिमाइज़र प्रतिनिधित्व) में कनवर्ट करें - XLA ऑप्टिमाइज़र का एक उच्च-स्तरीय प्रतिनिधित्व, जो बदले में, CPU या GPU के लिए LLVM कंपाइलर को कॉल कर सकता है, या TPU के लिए XLA का उपयोग जारी रख सकता है, या उन्हें जोड़ सकता है।
• हम उन्हें TensorRT , nGraph , या हार्डवेयर में लागू विशेष अनुदेश सेट के लिए एक और प्रारूप में परिवर्तित करते हैं।
• हम उन्हें टेन्सरफ्लो लाइट प्रारूप में परिवर्तित करते हैं, टेनसोरफ्लो लाइट रनटाइम में चलाते हैं, या एंड्रॉइड न्यूरल नेटवर्क्स एपीआई (एनएनएपीआई) या इसके जैसे जीपीयू या डीएसपी पर चलने के लिए कोड में परिवर्तित करते हैं।

अधिक जटिल विधियां भी हैं, जिसमें प्रत्येक परत पर कई अनुकूलन पास शामिल हैं, उदाहरण के लिए, ग्रेप्लर ढांचे में, जो टेन्सफ्लो में संचालन का अनुकूलन करता है।

यद्यपि ये संकलक और मध्यवर्ती अभ्यावेदन के विभिन्न कार्यान्वयन प्रदर्शन में सुधार करते हैं, लेकिन उनकी विविधता उपयोगकर्ताओं को समाप्त करने के लिए एक समस्या पैदा करती है, जैसे कि इन उप-प्रणालियों को जोड़ते समय त्रुटि संदेश भ्रमित करना। इसके अलावा, नए सॉफ्टवेयर और हार्डवेयर स्टैक के रचनाकारों को प्रत्येक नए मामले के लिए अनुकूलन और रूपांतरण मार्ग को समायोजित करना होगा।

और इस सब के आधार पर, हम MLIR, एक बहु-स्तरीय मध्यवर्ती प्रतिनिधि की घोषणा करके प्रसन्न हैं। यह मॉडल दृश्य और एक निम्न-स्तरीय संकलक के बीच उपयोग के लिए एक मध्यवर्ती दृश्य प्रारूप और संकलन पुस्तकालय है जो हार्डवेयर-निर्भर कोड उत्पन्न करता है। MLIR का परिचय, हम औद्योगिक घटकों के घटकों के आधार पर संकलकों के अनुकूलन और कार्यान्वयन के विकास में नए अनुसंधान को रास्ता देना चाहते हैं।

हम उम्मीद करते हैं कि MLIR कई समूहों के लिए रुचिकर होगा, जिनमें शामिल हैं:

• संकलक शोधकर्ता, साथ ही चिकित्सक जो मशीन लर्निंग मॉडल के प्रदर्शन और मेमोरी खपत को अनुकूलित करना चाहते हैं;
• हार्डवेयर निर्माता Tensorflow के साथ अपने हार्डवेयर को एकीकृत करने के तरीके की तलाश कर रहे हैं, जैसे कि TPUs, स्मार्टफ़ोन में मोबाइल न्यूरोप्रोसेसर, और अन्य कस्टम ASIC;
• जो लोग संकलक और हार्डवेयर त्वरक को अनुकूलित करके प्रोग्रामिंग भाषाओं को लाभ देना चाहते हैं;

MLIR क्या है?

MLIR मूल रूप से आधुनिक अनुकूलन कंपाइलरों के लिए एक लचीला बुनियादी ढांचा है। इसका मतलब यह है कि इसमें एक मध्यवर्ती प्रतिनिधित्व (IR) विनिर्देशन और इस प्रतिनिधित्व को बदलने के लिए उपकरणों का एक सेट शामिल है। जब हम संकलक के बारे में बात करते हैं, तो उच्च-स्तरीय दृश्य से निचले स्तर के दृश्य में जाने को कम करना कहा जाता है, और हम भविष्य में इस शब्द का उपयोग करेंगे।

MLIR LLVM के प्रभाव में बनाया गया है और बेशर्मी से कई अच्छे विचारों को उधार लेता है। इसमें एक लचीली प्रकार की प्रणाली है, और एक संकलन स्तर में अमूर्तता के कई स्तरों के संयोजन के ग्राफ का प्रतिनिधित्व, विश्लेषण और रूपांतरण करने के लिए डिज़ाइन किया गया है। इन अमूर्तियों में टेन्सरफ्लो ऑपरेशन, नेस्टेड पॉलीहेड्रल लूप रीजन, एलएलवीएम निर्देश और फिक्स्ड पॉइंट ऑपरेशंस और प्रकार शामिल हैं।

MLIR की बोलियाँ

विभिन्न सॉफ्टवेयर और हार्डवेयर लक्ष्यों को अलग करने के लिए, MLIR में "बोलियाँ" हैं, जिनमें शामिल हैं:

• TensorFlow IR, जिसमें वह सब कुछ शामिल है जो TensorFlow रेखांकन में किया जा सकता है
• XLA HLO IR, XLA संकलक द्वारा प्रदान किए गए सभी लाभों को प्राप्त करने के लिए डिज़ाइन किया गया है, जिसका उत्पादन हम TPU के लिए कोड प्राप्त कर सकते हैं, और न केवल।
• बहुपक्षीय अभ्यावेदन और अनुकूलन के लिए विशेष रूप से डिजाइन की गई प्रायोगिक आत्मीयता बोली
• LLVM IR, 1: 1 देशी LLVM दृश्य से मेल खाता है, MLIR को LLVM का उपयोग करके GPU और CPU के लिए कोड उत्पन्न करने की अनुमति देता है।
• TensorFlow Lite मोबाइल प्लेटफ़ॉर्म के लिए कोड उत्पन्न करने के लिए डिज़ाइन किया गया है

प्रत्येक बोली में विशिष्ट ऑपरेशन का एक सेट होता है, जैसे कि आक्रमणकारियों का उपयोग करना, जैसे: "यह एक द्विआधारी ऑपरेटर है, और इसका इनपुट और आउटपुट एक ही प्रकार के हैं।"

एक्सटेंशन विधायक

एमएलआईआर में वैश्विक आंतरिक परिचालन की एक निश्चित और अंतर्निहित सूची नहीं है। बोलियां पूरी तरह से कस्टम प्रकारों को परिभाषित कर सकती हैं, और इस तरह MLIR LLVM IR प्रकार प्रणाली (प्रथम श्रेणी के समुच्चय वाले), डोमेन भाषा सार, जैसे कि मात्रा अनुकूलित प्रकार, एमएल अनुकूलित त्वरक के लिए महत्वपूर्ण और, भविष्य में चीजों को मॉडल कर सकते हैं। यहां तक ​​कि एक स्विफ्ट या क्लैंग प्रकार प्रणाली।

यदि आप इस सिस्टम में एक नया निम्न-स्तरीय संकलक संलग्न करना चाहते हैं, तो आप एक नई बोली बना सकते हैं और अपनी बोली में TensorFlow ग्राफ की बोली से उतर सकते हैं। यह हार्डवेयर डेवलपर्स और कंपाइलर डेवलपर्स के लिए पथ को सरल करता है। आप एक ही मॉडल के विभिन्न स्तरों पर बोली को लक्षित कर सकते हैं, उच्च-स्तरीय ऑप्टिमाइज़र आईआर के विशिष्ट भागों के लिए जिम्मेदार होंगे।

कंपाइलर शोधकर्ताओं और फ्रेमवर्क डेवलपर्स के लिए, एमएलआईआर आपको हर स्तर पर रूपांतरण बनाने की अनुमति देता है, आप अपने स्वयं के संचालन और सार को आईआर में परिभाषित कर सकते हैं, जिससे आप अपने एप्लिकेशन कार्यों को बेहतर ढंग से मॉडल कर सकते हैं। इस प्रकार, MLIR एक शुद्ध संकलक बुनियादी ढांचे से अधिक है, जो LLVM है।

यद्यपि MLIR ML के लिए एक संकलक के रूप में काम करता है, यह मशीन लर्निंग प्रौद्योगिकियों के उपयोग की भी अनुमति देता है! संख्यात्मक पुस्तकालयों को विकसित करने वाले इंजीनियरों के लिए यह बहुत महत्वपूर्ण है, और पूरी तरह से एमएल मॉडल और हार्डवेयर के लिए समर्थन प्रदान नहीं कर सकता है। एमएलआईआर का लचीलापन अमूर्तन के स्तरों के बीच बढ़ने पर कोड वंश के लिए रणनीतियों का पता लगाना आसान बनाता है।

आगे क्या है

हमने एक GitHub रिपॉजिटरी खोली है और सभी को रुचि रखते हैं (हमारे गाइड की जांच करें!)। हम आने वाले महीनों में इस टूलबॉक्स - टेनसॉरफ्लो और टीएफ लाइट की बोली विनिर्देशों से अधिक कुछ जारी करेंगे। हम आपको और अधिक बता सकते हैं, और अधिक जानकारी प्राप्त करने के लिए, क्रिस लुट्नर और गीथब पर हमारी README की प्रस्तुति देखें।

यदि आप MLIR से संबंधित सभी चीजों के बारे में जानकारी रखना चाहते हैं, तो हमारी नई मेलिंग सूची में शामिल हों , जो जल्द ही हमारी परियोजना के भविष्य के रिलीज की घोषणाओं पर ध्यान केंद्रित करेगी। हमारे साथ रहो!