सी # या जावा? टाइपस्क्रिप्ट या जावास्क्रिप्ट? प्रोग्रामिंग भाषाओं का मशीन लर्निंग आधारित वर्गीकरण

GitHub 300 से अधिक प्रोग्रामिंग भाषाओं की मेजबानी करता है - आमतौर पर इस्तेमाल की जाने वाली भाषाओं जैसे पायथन, जावा, और जावास्क्रिप्ट से लेकर गूढ़ भाषाओं तक गूढ़ भाषाएं, केवल बहुत छोटे समुदायों के लिए जानी जाती हैं।


चित्र 1: शीर्ष 10 प्रोग्रामिंग भाषाओं को रिपॉजिटरी काउंट द्वारा गीथहब द्वारा होस्ट किया गया है

आवश्यक चुनौतियों में से एक है कि गिटहब का सामना इन विभिन्न भाषाओं को पहचानने में सक्षम होना है। जब कुछ कोड को रिपॉजिटरी में धकेला जाता है, तो खोज के उद्देश्यों, सुरक्षा भेद्यता चेतावनी और सिंटैक्स हाइलाइटिंग के लिए जोड़े गए कोड के प्रकार को पहचानना महत्वपूर्ण है - और उपयोगकर्ताओं को रिपॉजिटरी की सामग्री वितरण दिखाने के लिए।

भाषाविद वह उपकरण है जिसका उपयोग हम वर्तमान में गिटहब में कोडिंग भाषाओं का पता लगाने के लिए करते हैं। भाषाविद् रूबी-आधारित अनुप्रयोग जो भाषा का पता लगाने, नामकरण परंपराओं और फ़ाइल एक्सटेंशन का लाभ उठाने के लिए विभिन्न रणनीतियों का उपयोग करता है और विम या एमएसीएस मॉडल के साथ-साथ फ़ाइल के शीर्ष पर सामग्री (शेबंग) को भी ध्यान में रखता है। भाषाविद, भाषाविज्ञान को भाषाविज्ञान के माध्यम से और, डेटा के एक छोटे से नमूने पर प्रशिक्षित Naive Bayes क्लासिफायर के माध्यम से विफल कर देता है।

हालांकि भाषाविद् फ़ाइल-स्तरीय भाषा भविष्यवाणियों (84% सटीकता) को बनाने के लिए एक अच्छा काम करता है, लेकिन जब फ़ाइल एक्सटेंशन प्रदान नहीं किया जाता है, तो अप्रत्याशित रूप से नामकरण सम्मेलनों और, महत्वपूर्ण रूप से फ़ाइलों का उपयोग करने पर इसका प्रदर्शन महत्वपूर्ण रूप से कम हो जाता है। यह भाषा के लिए भाषाविद् को अनुप्रेषित करता है जैसे कि GATHub Gists या कोड स्निपेट README's, मुद्दों और पुल अनुरोधों के भीतर।

लंबे समय में भाषा का पता लगाने को अधिक मजबूत और बनाए रखने के लिए, हमने एक आर्टिफिशियल न्यूरल नेटवर्क (ANN) आर्किटेक्चर पर आधारित ऑक्टो लिंगू नामक एक मशीन लर्निंग क्लासिफायर विकसित किया, जो मुश्किल परिदृश्यों में भाषा की भविष्यवाणियों को संभाल सकता है। मॉडल का वर्तमान संस्करण GitHub द्वारा होस्ट की गई शीर्ष 50 भाषाओं के लिए भविष्यवाणियां करने में सक्षम है और सटीकता और प्रदर्शन में भाषाविद् को पीछे छोड़ देता है।

ऑक्टोइलिंगुआ के पीछे नट और बोल्ट

ऑक्टोइंग्लिंग का निर्माण पायथन, केरस के साथ टेन्सरफ्लो बैकएंड के उपयोग से किया गया था - और इसे सटीक, मजबूत और बनाए रखने के लिए आसान बनाया गया है। इस खंड में, हम अपने डेटा स्रोतों, मॉडल वास्तुकला और ऑक्टोइलिंग के लिए प्रदर्शन बेंचमार्क का वर्णन करते हैं। हम यह भी वर्णन करते हैं कि एक नई भाषा के लिए समर्थन जोड़ने में क्या लगता है।

डेटा स्रोत

OctoLingua के वर्तमान संस्करण को रोसेटा कोड से प्राप्त फ़ाइलों पर प्रशिक्षित किया गया था और आंतरिक रूप से भीड़ वाले गुणवत्ता रिपॉजिटरी के सेट से। हमने अपनी भाषा को GitHub पर होस्ट की गई शीर्ष 50 भाषाओं तक सीमित कर दिया है।

रोसेटा कोड एक उत्कृष्ट स्टार्टर डेटासेट था क्योंकि इसमें विभिन्न प्रोग्रामिंग भाषाओं में व्यक्त समान कार्य के लिए स्रोत कोड था। उदाहरण के लिए, एक फाइबोनैचि अनुक्रम उत्पन्न करने का कार्य C, C ++, CoffeeScript, D, Java, Julia और बहुत कुछ में व्यक्त किया गया है। हालाँकि, भाषाओं में कवरेज एक समान नहीं थी जहाँ कुछ भाषाओं में केवल मुट्ठी भर फाइलें होती हैं और कुछ फाइलें बहुत कम आबादी में होती हैं। कुछ अतिरिक्त स्रोतों के साथ हमारे प्रशिक्षण सेट को संवर्धित करना इसलिए आवश्यक था और भाषा कवरेज और प्रदर्शन में काफी सुधार हुआ।

एक नई भाषा जोड़ने की हमारी प्रक्रिया अब पूरी तरह से स्वचालित है। हम प्रोग्रामेटिक रूप से GitHub पर सार्वजनिक रिपॉजिटरी से स्रोत कोड एकत्र करते हैं। हम ऐसे रिपॉजिटरी चुनते हैं जो न्यूनतम योग्यता मानदंडों को पूरा करते हैं जैसे कि न्यूनतम संख्या में कांटे होना, लक्ष्य भाषा को कवर करना और विशिष्ट फ़ाइल एक्सटेंशन को कवर करना। डेटा संग्रह के इस चरण के लिए, हम भाषाविद् से वर्गीकरण का उपयोग करके एक भंडार की प्राथमिक भाषा निर्धारित करते हैं।

विशेषताएं: पूर्व ज्ञान का लाभ

परंपरागत रूप से, न्यूरल नेटवर्क्स के साथ पाठ वर्गीकरण की समस्याओं के लिए, मेमोरी-आधारित आर्किटेक्चर जैसे कि रिक्रूट न्यूरल नेटवर्क (आरएनएन) और लॉन्ग शॉर्ट टर्म मेमोरी नेटवर्क (एलएसटीएम) अक्सर नियोजित होते हैं। हालाँकि, यह देखते हुए कि प्रोग्रामिंग भाषाओं में शब्दावली, टिप्पणी शैली, फ़ाइल एक्सटेंशन, संरचना, पुस्तकालयों की आयात शैली और अन्य छोटे अंतरों में अंतर है, हमने एक सरल दृष्टिकोण का विकल्प चुना जो कि सारणीबद्ध रूप में खिलाई जाने वाली कुछ प्रासंगिक विशेषताओं को निकालकर यह सब जानकारी प्रदान करता है। हमारे वर्गीकरण। वर्तमान में निकाली गई विशेषताएं इस प्रकार हैं:

1. शीर्ष पाँच विशेष वर्ण प्रति फ़ाइल
2. प्रति फ़ाइल शीर्ष 20 टोकन
3. फ़ाइल एक्सटेंशन
4. कॉलोन, घुंघराले ब्रेस और अर्धविराम जैसे स्रोत कोड फ़ाइलों में आमतौर पर उपयोग किए जाने वाले कुछ विशेष वर्णों की उपस्थिति

कृत्रिम तंत्रिका नेटवर्क (ANN) मॉडल

हम उपरोक्त विशेषताओं का उपयोग टेन्सरफ्लो बैकएंड के साथ केर के उपयोग से निर्मित दो-परत वाले कृत्रिम तंत्रिका नेटवर्क के इनपुट के रूप में करते हैं।

नीचे दिए गए आरेख से पता चलता है कि सुविधा निष्कर्षण कदम हमारे वर्गीकरण के लिए एक n- आयामी सारणीबद्ध इनपुट का उत्पादन करता है। जैसे-जैसे सूचना हमारे नेटवर्क की परतों के साथ आगे बढ़ती है, इसे ड्रॉपआउट द्वारा नियमित किया जाता है और अंततः 51-आयामी आउटपुट का उत्पादन करता है जो कि अनुमानित संभावना का प्रतिनिधित्व करता है कि दिए गए कोड प्रत्येक शीर्ष 50 गीथहब भाषाओं में लिखे गए हैं और साथ ही संभावना है कि यह नहीं है उन में से किसी में लिखा है।


चित्र 2: हमारे प्रारंभिक मॉडल की ANN संरचना ("अन्य" के लिए 50 भाषाएँ + 1)

हमने लगभग आठ युगों में प्रशिक्षण के लिए अपने 90% डेटासेट का उपयोग किया। इसके अतिरिक्त, हमने प्रशिक्षण चरण पर अपने प्रशिक्षण डेटा से फ़ाइल एक्सटेंशन का एक प्रतिशत हटा दिया, ताकि मॉडल को फ़ाइलों की शब्दावली से सीखने के लिए प्रोत्साहित किया जा सके, और फ़ाइल एक्सटेंशन सुविधा पर ओवरफिट न हो, जो अत्यधिक पूर्वानुमान है।

प्रदर्शन बेंचमार्क

ऑक्टोइलिंगुआ बनाम भाषाविद

चित्रा 3 में, हम एक ही परीक्षण सेट (हमारे प्रारंभिक डेटा स्रोत से 10%) पर गणना की गई ऑक्टो लिलिंग और लिंग्विस्ट के एफ 1 स्कोर (सटीक और याद के बीच हार्मोनिक मतलब) दिखाते हैं।

यहां हम तीन परीक्षण दिखाते हैं। पहला परीक्षण किसी भी तरह से अछूता परीक्षण सेट के साथ है। दूसरा परीक्षण फ़ाइल एक्सटेंशन जानकारी को हटाने के साथ परीक्षण फ़ाइलों के एक ही सेट का उपयोग करता है और तीसरा परीक्षण भी फ़ाइलों के एक ही सेट का उपयोग करता है लेकिन इस बार फ़ाइल एक्सटेंशन के साथ हाथापाई की गई ताकि सहपाठियों को भ्रमित किया जा सके (जैसे, जावा फ़ाइल में "हो सकता है"। txt "एक्सटेंशन और एक पायथन फाइल में" .java ") एक्सटेंशन हो सकता है।

हमारे परीक्षण सेट में फ़ाइल एक्सटेंशन को स्क्रैच करने या हटाने के पीछे का अंतर्ज्ञान यह है कि किसी महत्वपूर्ण विशेषता को हटाने या भ्रामक होने पर फ़ाइलों को वर्गीकृत करने में ऑक्टोइलिंगुआ की मजबूती का आकलन किया जाए। एक क्लासिफायर जो विस्तार पर बहुत अधिक भरोसा नहीं करता है, यह जिस्ट और स्निपेट्स को वर्गीकृत करने के लिए बेहद उपयोगी होगा, क्योंकि उन मामलों में लोगों के लिए सटीक विस्तार की जानकारी प्रदान नहीं करना आम है (उदाहरण के लिए, कई कोड-संबंधित जेंट्स का एक .txt एक्सटेंशन है)।

नीचे दी गई तालिका दिखाती है कि ऑक्टोइंग्लिंग विभिन्न परिस्थितियों में एक अच्छा प्रदर्शन कैसे बनाए रखता है, यह सुझाव देता है कि मॉडल प्राथमिक रूप से कोड की शब्दावली से सीखता है, बजाय मेटा जानकारी (यानी फ़ाइल एक्सटेंशन) से, जबकि लिंग्विस्ट फ़ाइल एक्सटेंशन की जानकारी मिलते ही विफल हो जाता है बदल दिया।

चित्र 3: ऑक्टोइलिंग का प्रदर्शन बनाम। उसी टेस्ट सेट पर भाषाविद

प्रशिक्षण समय के दौरान फ़ाइल एक्सटेंशन को हटाने का प्रभाव

जैसा कि पहले उल्लेख किया गया है, प्रशिक्षण समय के दौरान हमने अपने प्रशिक्षण डेटा से फ़ाइल एक्सटेंशन का एक प्रतिशत हटा दिया ताकि मॉडल को फ़ाइलों की शब्दावली से सीखने के लिए प्रोत्साहित किया जा सके। नीचे दी गई तालिका प्रशिक्षण समय के दौरान हटाए गए फ़ाइल एक्सटेंशन के विभिन्न अंशों के साथ हमारे मॉडल के प्रदर्शन को दिखाती है।


चित्र 4: हमारे तीन परीक्षण विविधताओं पर हटाई गई फ़ाइल एक्सटेंशनों के विभिन्न प्रतिशत के साथ ऑक्टोइंगुआ का प्रदर्शन

ध्यान दें कि प्रशिक्षण के समय में कोई फ़ाइल एक्सटेंशन नहीं हटाया गया है, बिना किसी एक्सटेंशन और यादृच्छिक एक्सटेंशन के परीक्षण फ़ाइलों पर ऑक्टोलिंगुआ का प्रदर्शन नियमित परीक्षण डेटा पर काफी कम हो जाता है। दूसरी ओर, जब मॉडल को एक डेटासेट पर प्रशिक्षित किया जाता है, जहां कुछ फ़ाइल एक्सटेंशन हटा दिए जाते हैं, तो मॉडल का प्रदर्शन संशोधित परीक्षण सेट पर बहुत कम नहीं होता है। यह पुष्टि करता है कि प्रशिक्षण के समय फ़ाइलों के एक अंश से फ़ाइल एक्सटेंशन को हटाने से शब्दावली से अधिक जानने के लिए हमारे क्लासिफायरफायर को प्रेरित करता है। यह यह भी दर्शाता है कि फ़ाइल एक्सटेंशन सुविधा, जबकि अत्यधिक भविष्य कहनेवाला, हावी होने की प्रवृत्ति थी और सामग्री सुविधाओं को सौंपा जाने से अधिक भार को रोकती थी।

एक नई भाषा का समर्थन

OctoLingua में एक नई भाषा जोड़ना काफी सीधा है। यह नई भाषा में बड़ी मात्रा में फाइलें प्राप्त करने से शुरू होता है (हम इसे डेटा स्रोतों में वर्णित रूप से कर सकते हैं)। इन फ़ाइलों को एक प्रशिक्षण और एक परीक्षण सेट में विभाजित किया जाता है और फिर हमारे प्रीप्रोसेसर और फ़ीचर एक्सट्रैक्टर के माध्यम से चलाया जाता है। यह नया ट्रेन और परीक्षण सेट हमारे मौजूदा पूल में प्रशिक्षण और परीक्षण डेटा में जोड़ा गया है। नया परीक्षण सेट हमें यह सत्यापित करने की अनुमति देता है कि हमारे मॉडल की सटीकता स्वीकार्य है।

चित्र 5: ऑक्टोइंगुआ के साथ एक नई भाषा जोड़ना

हमारी योजनाएँ

अब तक, ऑक्टोइलिंगुआ "उन्नत प्रोटोटाइप चरण" पर है। हमारा भाषा वर्गीकरण इंजन पहले से ही मजबूत और विश्वसनीय है, लेकिन अभी तक हमारे मंच पर सभी कोडिंग भाषाओं का समर्थन नहीं करता है। भाषा के समर्थन को व्यापक बनाने के अलावा - जो कि सीधा होगा - हम लक्ष्य का पता लगाने के विभिन्न स्तरों पर भाषा का पता लगाने में सक्षम बनाना चाहते हैं। हमारा वर्तमान कार्यान्वयन पहले से ही हमें हमारे मशीन लर्निंग इंजन में एक छोटे से संशोधन के साथ, कोड स्निपेट्स को वर्गीकृत करने की अनुमति देता है। मॉडल को उस चरण में ले जाना बहुत दूर की बात नहीं होगी, जहाँ वह विश्वसनीय भाषाओं का पता लगा सके और उनका वर्गीकरण कर सके।

हम अपने मॉडल को ओपन सोर्स करने की संभावना पर भी विचार कर रहे हैं और यदि आप रुचि रखते हैं तो समुदाय से सुनना पसंद करेंगे।

सारांश

ऑक्टोइलिंगुआ के साथ, हमारा लक्ष्य एक ऐसी सेवा प्रदान करना है जो फ़ाइल स्तर या स्निपेट स्तर से लेकर संभावित लाइन-स्तरीय भाषा पहचान और वर्गीकरण तक कई स्तरों पर मजबूत और विश्वसनीय स्रोत कोड भाषा का पता लगाने में सक्षम बनाता है। आखिरकार, यह सेवा दूसरों के बीच, कोड खोज क्षमता, कोड साझाकरण, भाषा हाइलाइटिंग, और अलग-अलग प्रतिपादन का समर्थन कर सकती है - इन सभी का उद्देश्य डेवलपर्स को उनके दिन-प्रतिदिन के विकास कार्यों में गुणवत्ता कोड लिखने में मदद करने के अलावा उनका समर्थन करना है। यदि आप हमारे काम का लाभ उठाने या योगदान करने में रुचि रखते हैं, तो कृपया ट्विटर @github पर संपर्क करने में संकोच न करें !