😱 🤲🏿 🐡 कोड में त्रुटियों को खोजने के लिए मशीन सीखना: मैं जेटब्रेन रिसर्च में कैसे इंटर्नेट हुआ 🚱 🍷 🕵🏿

हाल ही में, हमने Google पर इंटर्नशिप प्राप्त करने के तरीके के बारे में बात की । Google के अलावा, हमारे छात्र JetBrains, Yandex, Acronis और अन्य कंपनियों में अपना हाथ आजमाते हैं।

इस लेख में, मैं JetBrains रिसर्च में अपने इंटर्नशिप के अनुभव को साझा करूंगा, उन कार्यों के बारे में बात करूंगा जो वे वहां हल करते हैं, और इस बात पर ध्यान केंद्रित करते हैं कि प्रोग्राम कोड में मशीन लर्निंग कैसे बग देख सकते हैं।

अपने बारे में

मेरा नाम ईगोर बोगोमोलोव है, मैं एप्लाइड गणित और कंप्यूटर विज्ञान में सेंट पीटर्सबर्ग एचएसई स्नातक की डिग्री के चौथे वर्ष का छात्र हूं। पहले 3 वर्षों के लिए, मैं अपने सहपाठियों की तरह, शैक्षणिक विश्वविद्यालय में अध्ययन करता था, और सितंबर से हम पूरे विभाग के साथ हायर स्कूल ऑफ इकोनॉमिक्स में चले गए हैं।

दूसरे वर्ष के बाद मैं गूगल ज्यूरिख में एक ग्रीष्मकालीन इंटर्नशिप पर गया। वहाँ मैंने एंड्रॉइड कैलेंडर टीम में काम करते हुए तीन महीने बिताए, अधिकांश समय फ्रंटएंड'ओम और थोड़ा-सा यूएक्स-रिसर्च कर रहा था। मेरे काम का सबसे दिलचस्प हिस्सा इस बात पर शोध था कि भविष्य में कैलेंडर इंटरफेस कैसे दिख सकते हैं। यह सुखद निकला कि इंटर्नशिप के अंत तक मैंने जो भी काम किया, वह लगभग सभी एप्लिकेशन के मुख्य संस्करण में समाप्त हो गया। लेकिन Google में इंटर्नशिप का विषय पिछली पोस्ट में बहुत अच्छी तरह से कवर किया गया है, इसलिए मैं इस बारे में बात करूँगा कि मैंने इस गर्मी में क्या किया।

जेबी रिसर्च क्या है?

JetBrains Research विभिन्न क्षेत्रों में काम करने वाली प्रयोगशालाओं का एक समूह है: प्रोग्रामिंग भाषा, अनुप्रयुक्त गणित, मशीन लर्निंग, रोबोटिक्स और अन्य। प्रत्येक क्षेत्र के भीतर कई वैज्ञानिक समूह हैं। अपनी दिशा के आधार पर, मैं मशीन लर्निंग के क्षेत्र में समूहों की गतिविधियों से सबसे अच्छी तरह परिचित हूं। उनमें से प्रत्येक साप्ताहिक सेमिनार की मेजबानी करता है जिसमें समूह के सदस्य या आमंत्रित अतिथि अपने काम या अपने क्षेत्र के दिलचस्प लेखों के बारे में बात करते हैं। एचएसई के कई छात्र इन सेमिनारों में आते हैं, क्योंकि वे सेंट पीटर्सबर्ग में एचएसई कैंपस के मुख्य भवन से सड़क के पार जाते हैं।

हमारे स्नातक कार्यक्रम में, हम अनिवार्य रूप से अनुसंधान कार्य (आर एंड डी) में लगे हुए हैं और वर्ष में दो बार शोध परिणाम प्रस्तुत करते हैं। अक्सर यह काम धीरे-धीरे ग्रीष्मकालीन इंटर्नशिप में विकसित होता है। यह मेरे शोध कार्य के साथ भी हुआ: इस गर्मी में मैंने अपने शोध पर्यवेक्षक टिमोफी ब्राइक्सिन के साथ प्रयोगशाला "सॉफ्टवेयर इंजीनियरिंग में मशीन लर्निंग तरीके" में इंटर्नशिप की। इस प्रयोगशाला में जिन कार्यों पर काम किया जा रहा है, उनमें स्वचालित रीफैक्टरिंग सुझाव, प्रोग्रामर के लिए कोड शैली का विश्लेषण, कोड पूरा होने और प्रोग्राम कोड में त्रुटियों की खोज करना शामिल है।

मेरी इंटर्नशिप दो महीने (जुलाई और अगस्त) तक चली, और गिरावट में मैंने अनुसंधान के ढांचे में असाइन किए गए कार्यों में संलग्न रहना जारी रखा। मैंने कई क्षेत्रों में काम किया, उनमें से सबसे दिलचस्प, मेरी राय में, कोड में बग की स्वचालित खोज थी, और मैं इसके बारे में बात करना चाहता हूं। शुरुआती बिंदु माइकल प्रडेल का एक लेख था।

स्वचालित बग खोज

अब बग कैसे खोजे जाते हैं?

क्यों कीड़े कम या ज्यादा स्पष्ट हैं। आइए देखें कि वे अब कैसे कर रहे हैं। आधुनिक बग डिटेक्टर मुख्य रूप से स्थैतिक कोड विश्लेषण पर आधारित होते हैं। प्रत्येक प्रकार की त्रुटि के लिए, पहले देखे गए पैटर्न देखें, जिसके द्वारा यह निर्धारित किया जा सकता है। फिर, झूठी सकारात्मक की संख्या को कम करने के लिए, प्रत्येक व्यक्तिगत मामले के लिए आविष्कार किए गए उत्तराधिकारियों को जोड़ा जाता है। पैटर्न को कोड द्वारा निर्मित एक सार वाक्यविन्यास ट्री (एएसटी) और नियंत्रण प्रवाह या डेटा के ग्राफ़ में दोनों के लिए खोजा जा सकता है।

int foo() { if ((x < 0) || x > MAX) { return -1; } int ret = bar(x); if (ret != 0) { return -1; } else { return 1; } }

वह कोड और पेड़ जो उस पर बनाया गया था।

यह समझने के लिए कि यह कैसे काम करता है, एक उदाहरण पर विचार करें। C ++ में == के बजाय = के बग का उपयोग किया जा सकता है। आइए कोड के निम्नलिखित भाग को देखें:

 int value = 0; … if (value = 1) { ... } else { … }

सशर्त अभिव्यक्ति में एक गलती थी, जबकि चर के मूल्य के असाइनमेंट में पहला = सही है। पैटर्न यहां से आता है: यदि असाइनमेंट का उपयोग इस शर्त के अंदर किया जाता है कि, यह एक संभावित बग है। एएसटी में इस तरह के पैटर्न की तलाश में, हम त्रुटि का पता लगा सकते हैं और इसे सही कर सकते हैं।

 int value = 0; … if (value == 1) { ... } else { … }

अधिक सामान्य मामले में, हम आसानी से त्रुटि का वर्णन करने का एक तरीका नहीं खोज पाएंगे। मान लीजिए कि हम ऑपरेंड का सही क्रम निर्धारित करना चाहते हैं। फिर से, कोड के टुकड़े देखें:

 for (int i = 2; i < n; i++) { a[i] = a[1 - i] + a[i - 2]; }

 int bitReverse(int i) { return 1 - i; }

पहले मामले में, 1-i का उपयोग गलत था, और दूसरे में यह पूरी तरह से सही था, जो संदर्भ से स्पष्ट है। लेकिन इसे एक पैटर्न के रूप में कैसे वर्णित किया जाए? त्रुटियों के प्रकार की जटिलता के साथ, हमें कोड के एक बड़े हिस्से पर विचार करना होगा और अधिक से अधिक व्यक्तिगत मामलों का विश्लेषण करना होगा।

अंतिम प्रेरक उदाहरण: उपयोगी जानकारी भी विधियों और चर के नाम में निहित है। कुछ मैन्युअल रूप से निर्दिष्ट शर्तों द्वारा व्यक्त करना और भी मुश्किल है।

 int getSquare(int xDim, int yDim) { … } int x = 3, y = 4; int s = getSquare(y, x);

एक व्यक्ति समझता है कि, सबसे अधिक संभावना है, फ़ंक्शन कॉल में तर्क मिश्रित होते हैं, क्योंकि हमारे पास एक समझ है कि x xDim की तरह yDim से अधिक है। लेकिन इस डिटेक्टर को कैसे रिपोर्ट करें? आप प्रपत्र के कुछ अनुमान जोड़ सकते हैं "चर नाम तर्क नाम का उपसर्ग है", लेकिन मान लीजिए कि x एक ऊंचाई की तुलना में अधिक बार चौड़ाई है, इसलिए अब एक्सप्रेस नहीं है।

निचला रेखा: त्रुटियों को खोजने के लिए आधुनिक दृष्टिकोण की समस्या यह है कि बहुत सारे काम आपके हाथों से किए जाने हैं: पैटर्न निर्धारित करने के लिए, ह्यूरिस्टिक्स जोड़ें, इस वजह से, डिटेक्टर में एक नई प्रकार की त्रुटि के लिए समर्थन जोड़ने में समय लगता है। इसके अलावा, जानकारी के एक महत्वपूर्ण हिस्से का उपयोग करना मुश्किल है जो डेवलपर ने कोड में छोड़ दिया: चर और विधियों के नाम।

मशीन सीखने में कैसे मदद कर सकती है?

जैसा कि आपने देखा होगा, कई उदाहरणों में त्रुटियां मनुष्यों को दिखाई देती हैं, लेकिन औपचारिक रूप से उनका वर्णन करना कठिन है। ऐसी स्थितियों में, मशीन सीखने के तरीके अक्सर मदद कर सकते हैं। चलो एक फ़ंक्शन कॉल में पुनर्व्यवस्थित तर्कों की तलाश करना बंद कर देते हैं और समझते हैं कि मशीन लर्निंग का उपयोग करके हमें उनके लिए क्या देखना होगा:

बग के बिना बड़ी संख्या में नमूना कोड
किसी दिए गए प्रकार की त्रुटियों के साथ बड़ी मात्रा में कोड
कोड अंशों को सदिश करने की विधि
जिस मॉडल को हम कोड के साथ और बिना त्रुटियों के बीच अंतर करना सिखाएंगे

हम उम्मीद कर सकते हैं कि सार्वजनिक डोमेन में रखे गए अधिकांश कोड में, फ़ंक्शन कॉल में तर्क सही क्रम में हैं। इसलिए, बग के बिना नमूना कोड के लिए, आप कुछ बड़े डेटासेट ले सकते हैं। मूल लेख के लेखक के मामले में, यह जेएस 150K (जावास्क्रिप्ट में 150 हजार फाइलें) था, हमारे मामले में, पायथन के लिए एक समान डाटासेट।

बग के साथ कोड ढूंढना अधिक कठिन है। लेकिन हम किसी और की गलतियों की तलाश नहीं कर सकते हैं, लेकिन उन्हें स्वयं करें! त्रुटियों के प्रकार के लिए, आपको एक फ़ंक्शन निर्दिष्ट करने की आवश्यकता है, जो कोड के सही टुकड़े के अनुसार, इसे भ्रष्ट बना देगा। हमारे मामले में, फ़ंक्शन कॉल में तर्कों को पुनर्व्यवस्थित करें।

कोड को वेक्टर कैसे करें?

बहुत सारे अच्छे और बुरे कोड के साथ, हम कुछ सिखाने के लिए लगभग तैयार हैं। इससे पहले, हमें अभी भी प्रश्न का उत्तर देने की आवश्यकता है: कोड टुकड़े कैसे प्रस्तुत करें?

एक फ़ंक्शन कॉल को विधि के नाम के टपल के रूप में दर्शाया जा सकता है, यह किस विधि का नाम है, चर के लिए पारित किए गए नाम और प्रकार के तर्क। यदि हम सीखते हैं कि व्यक्तिगत टोकन (चर और विधियों के नाम, कोड में पाए जाने वाले सभी "शब्द") कैसे प्राप्त करते हैं, तो हम हमारे लिए ब्याज के टोकन के वैक्टर का संघटन ले सकते हैं और टुकड़े के लिए वांछित वेक्टर प्राप्त कर सकते हैं।

टोकन को सदिश करने के लिए, आइए एक नजर डालते हैं कि कैसे सामान्य ग्रंथों में शब्द वेक्टर करते हैं। सबसे सफल और लोकप्रिय तरीकों में से एक 2013 में प्रस्तावित word2vec है।

यह निम्नानुसार काम करता है: हम नेटवर्क को अन्य शब्दों से भविष्यवाणी करने के लिए सिखाते हैं जो ग्रंथों में इसके बगल में दिखाई देते हैं। एक ही समय में नेटवर्क एक इनपुट लेयर की तरह दिखता है, डिक्शनरी के आकार की एक छिपी हुई परत, जिसे हम प्राप्त करना चाहते हैं, और एक आउटपुट लेयर, एक डिक्शनरी का आकार भी। प्रशिक्षण के दौरान, नेटवर्क को प्रश्न (लोमड़ी) में शब्द के स्थान पर एक इकाई के साथ एक इनपुट यूनिट वेक्टर के साथ खिलाया जाता है, और आउटपुट में हम इस शब्द के चारों ओर खिड़की के भीतर होने वाले शब्दों को प्राप्त करना चाहते हैं (त्वरित, भूरा, कूदता है, ओवर)। इस मामले में, नेटवर्क पहले सभी शब्दों को एक छिपी हुई परत पर एक वेक्टर में अनुवाद करता है, और फिर एक भविष्यवाणी करता है।

व्यक्तिगत शब्दों के लिए परिणामी वैक्टर में अच्छे गुण होते हैं। उदाहरण के लिए, एक समान अर्थ वाले शब्द वैक्टर एक दूसरे के करीब हैं, और वैक्टर के योग और अंतर शब्दों के "अर्थ" के अतिरिक्त और अंतर हैं।

कोड में टोकन का एक समान वेक्टरकरण करने के लिए, आपको किसी तरह पर्यावरण को सेट करने की आवश्यकता होती है जिसे भविष्यवाणी की जाएगी। एएसटी से उन्हें जानकारी हो सकती है: आसपास के कोने, टोकनों का सामना करना पड़ा, एक पेड़ में स्थिति।

एक वेक्टरकरण प्राप्त करने के बाद, आप देख सकते हैं कि कौन से टोकन एक दूसरे के समान हैं। ऐसा करने के लिए, उनके बीच कॉशन की दूरी की गणना करें। नतीजतन, जावास्क्रिप्ट के लिए निम्नलिखित पड़ोसी वैक्टर प्राप्त किए जाते हैं (संख्या को कोसाइन दूरी है):

शुरुआत में जोड़े गए आईडी और एलआईटी संकेत देते हैं कि क्या टोकन एक पहचानकर्ता (एक चर, विधि का नाम) या एक शाब्दिक (स्थिर) है। यह देखा जा सकता है कि निकटता सार्थक है।

क्लासिफायर ट्रेनिंग

व्यक्तिगत टोकन के लिए एक वेक्टरकरण प्राप्त करना, संभावित त्रुटि वाले कोड के टुकड़े के लिए एक दृश्य प्राप्त करना काफी सरल है: यह टोकन के वर्गीकरण के लिए महत्वपूर्ण वैक्टर का एक संयोजन है। एक दो-लेयर पर्सेप्ट्रॉन को एक सक्रियण क्रिया के रूप में ReLU के साथ कोड के टुकड़ों में प्रशिक्षित किया जाता है और ओवरफिटिंग को कम करने के लिए ड्रॉपआउट किया जाता है। सीखना जल्दी से परिवर्तित हो जाता है, परिणामस्वरूप मॉडल छोटा होता है और प्रति सेकंड सैकड़ों उदाहरणों के लिए भविष्यवाणियां कर सकता है। यह आपको वास्तविक समय में इसका उपयोग करने की अनुमति देता है, जिस पर बाद में चर्चा की जाएगी।

परिणाम

परिणामी क्लासिफायर के गुणवत्ता मूल्यांकन को दो भागों में विभाजित किया गया था: कृत्रिम रूप से उत्पन्न उदाहरणों की एक बड़ी संख्या पर मूल्यांकन और उच्चतम अनुमानित पूर्वानुमान के साथ उदाहरणों की एक छोटी संख्या (प्रत्येक डिटेक्टर के लिए 50) पर मैनुअल सत्यापन। तीन डिटेक्टरों (पुनर्व्यवस्थित तर्कों, बाइनरी ऑपरेटर और बाइनरी ऑपरेंड की शुद्धता) के परिणाम निम्नानुसार थे:

कुछ अनुमानित त्रुटियां क्लासिक खोज विधियों के साथ खोजना मुश्किल होगा। P.done में कॉल फिर से व्यवस्थित और त्रुटि के साथ एक उदाहरण:

 var p = new Promise (); if ( promises === null || promises . length === 0) { p. done (error , result ) } else { promises [0](error, result).then( function(res, err) { p.done(res, err); }); }

ऐसे उदाहरण भी थे जिनमें कोई त्रुटि नहीं थी, लेकिन चर का नाम बदला जाना चाहिए ताकि कोड का पता लगाने की कोशिश करने वाले व्यक्ति को भ्रमित न करें। उदाहरण के लिए, चौड़ाई को जोड़ना और प्रत्येक को एक अच्छा विचार नहीं लगता है, हालांकि यह बग नहीं निकला:

 var cw = cs[i].width + each;

पायथन पोर्टिंग

मैं माइकल प्रडेल के काम को js से अजगर में शामिल करने और फिर Pyharm के लिए एक प्लग-इन बनाने में शामिल था, जो ऊपर वर्णित विधि के आधार पर निरीक्षण को लागू करता है। हमने पायथन 150K डेटासेट (GitHub पर उपलब्ध 150 हजार पायथन फाइल) का उपयोग किया।

सबसे पहले, यह पता चला कि पायथन में जावास्क्रिप्ट की तुलना में अधिक भिन्न टोकन हैं। Js के लिए, 10,000 सबसे लोकप्रिय टोकन में 90% से अधिक का सामना करना पड़ा, जबकि पायथन के लिए लगभग 40,000 का उपयोग करना आवश्यक था। इससे वैक्टर में टोकन के आकार में वृद्धि हुई, जिससे प्लगइन को पोर्ट करना मुश्किल हो गया।

दूसरे, पायथन के लिए फ़ंक्शन कॉल में गलत तर्कों की खोज करने और मैन्युअल रूप से परिणाम देखने के बाद, मुझे 90% से अधिक की त्रुटि दर मिली, जो js के परिणामों के साथ विचरण पर थी। कारणों को समझने के बाद, यह पता चला कि जावास्क्रिप्ट में अधिक कार्यों को उसी कॉल में घोषित किया गया था जैसे कि उनकी कॉल। मैंने, लेख के लेखक के उदाहरण के बाद, पहली बार अन्य फ़ाइलों से कार्यों की घोषणा की अनुमति नहीं दी, जिससे खराब परिणाम आए।

अगस्त के अंत में, मैंने पायथन के लिए कार्यान्वयन पूरा किया और प्लगइन के लिए आधार लिखा। प्लगइन का विकास जारी है, अब हमारी प्रयोगशाला से छात्र अनास्तासिया तुचिना इसमें लगे हुए हैं।

आप रिपॉजिटरी विकी पर प्लगइन कैसे काम करते हैं, यह जानने के लिए कदम उठा सकते हैं।

गिटहब पर लिंक:

अजगर के कार्यान्वयन के साथ भंडार
प्लगइन के साथ भंडार

कोड में त्रुटियों को खोजने के लिए मशीन सीखना: मैं जेटब्रेन रिसर्च में कैसे इंटर्नेट हुआ