👨🏻‍⚕️ 🏡 👌🏾 कोर डेवलपर स्प्रिंट पर खूंटी पर काम करें ♥️ 🤘🏿 👸🏾

इस लेख में मैं पार्सर जनरेटर की नई विशेषताओं के बारे में बात नहीं करूंगा - मैंने पिछले भागों में इसका पर्याप्त वर्णन किया है। इसके बजाय, मैं आपको बताना चाहता हूं कि पिछले हफ्ते कोर डेवलपर स्प्रिंट में मैंने क्या किया था, इससे पहले कि मेरी स्मृति से सब कुछ मिट जाए। यद्यपि अधिकांश सामग्री किसी न किसी तरह PEG से संबंधित है। इसलिए मुझे कुछ कोड दिखाने होंगे जो कि Python 3.9 के लिए PEG पार्सर के कार्यान्वयन में दिशा निर्धारित करता है।

पायथन खूंटी पार्सर श्रृंखला सामग्री

पिछले चार वर्षों में हर साल, पायथन कोर डेवलपमेंट टीम एक विदेशी स्थान पर एक साप्ताहिक स्प्रिंट के लिए इकट्ठा होती रही है। ये स्प्रिंट मेजबान और पीएसएफ द्वारा प्रायोजित हैं। पहले दो वर्षों के लिए, हमने माउंटेन व्यू में फेसबुक का दौरा किया, पिछले साल माइक्रोसॉफ्ट की बेलव्यू पर एक लाइन थी, और ब्लूमबर्ग के लंदन कार्यालय को इस स्प्रिंट के लिए चुना गया था। (मुझे कहना होगा कि यह बहुत अच्छा लग रहा है।) आयोजन के लिए कोर डेवलपर पाब्लो गैलींडो सालगाडो की जय!

इस बार 30 से अधिक डेवलपर्स, साथ ही दो Padawans ने हमें इकट्ठा किया। लोगों ने विभिन्न भागों पर काम किया: 3.8 ब्लॉकर्स से नए पीईपी तक। मुझे उम्मीद है कि हमारी उपलब्धियों के बारे में पीएसएफ ब्लॉग। मुख्य बिंदुओं में से एक यह था कि खुले पीआर की संख्या 1000 से कम थी, 100 से अधिक पीआर उनकी समीक्षा की प्रतीक्षा कर रहे थे। एक लीडरबोर्ड के साथ एक प्रतियोगिता भी थी - शीर्ष 10 प्रतिभागी जिन्होंने बड़ी संख्या में अन्य लोगों के पीआर का मंचन किया।

मेरे लिए, हमेशा इस तरह के आयोजनों में शामिल होने का मुख्य कारण उन लोगों के साथ एक बैठक है, जिनके साथ मैं पूरे साल ऑनलाइन सहयोग करता हूं, लेकिन जिन्हें मैं वर्ष में केवल एक या दो बार देखता हूं। यह स्प्रिंट यूरोप में था, इसलिए हमने थोड़ी अलग रचना देखी, और यह विशेष रूप से महत्वपूर्ण था। इसके बावजूद, मैंने काफी उत्पादक रूप से काम किया, जिसके बारे में मैं बात करूंगा।

स्प्रिंट में मेरा ज्यादातर समय, मैंने पैग-आधारित पार्सर जनरेटर पर पाब्लो और एमिली मोरहाउस के साथ काम किया, जो मुझे उम्मीद है कि किसी दिन वर्तमान पैजन-आधारित पार्सर जनरेटर को बदल देगा। यह उसी कोड के बारे में नहीं है जैसा कि मैंने जनरेटर के बारे में लिखा था, लेकिन यह बहुत समान है। पाब्लो ने पहले ही इस संस्करण में योगदान दिया है।

स्प्रिंट का पहला दिन, सोमवार, मैंने मुख्य रूप से इस चक्र के लेख 7 और 8 पर काम किया। प्रारंभ में, मैंने उन्हें एक साथ प्रकाशित करने की योजना बनाई, लेकिन दिन के अंत तक उनके पास समय नहीं था। इसलिए उन्होंने इसे दो भागों में विभाजित किया और पहले आधे भाग को मेटाग्राम के निर्माण के लिए समर्पित किया। शुक्रवार की दोपहर को, मुझे अंत में भाग 8 को समाप्त करने के लिए कुछ समय मिला। हालांकि, मुझे अभी भी कट की कहानी को छोड़ना पड़ा क्योंकि मेरे पास अभी भी एक अच्छा उदाहरण नहीं था।

मंगलवार को मैंने अजगर के लिए खूंटी व्याकरण पर काम करना शुरू किया। यह क्रियाओं को जोड़ने से पहले अमूर्त विनिर्देशन की तुलना में भी कोड के करीब है। हम समझ गए कि हमें वास्तविक अजगर कोड पर विकसित व्याकरण की जांच करने की आवश्यकता है। इसलिए जब मैं अपना व्याकरण पूरा कर रहा था, एमिली बैच परीक्षण के लिए स्क्रिप्ट कर रही थी। उसके बाद, मेरा वर्कफ़्लो कुछ इस तरह था:

पायथन कोड के साथ कुछ निर्देशिका का परीक्षण करने के लिए एक स्क्रिप्ट चलाएँ
पहली समस्या की जांच करने के लिए जिस पर वह गिर गया
इस समस्या को हल करने के लिए सही व्याकरण
तब तक दोहराएं जब तक कोई समस्या न हो
अगली निर्देशिका पर जाएं

मैंने अपने स्वयं के pgen प्रोजेक्ट कोड के साथ शुरुआत की। अंत में, मेरा व्याकरण पैजन में उपयोग किए जाने वाले सभी पायथन निर्माणों का विश्लेषण करने में सक्षम था, और मैं मानक पुस्तकालय मॉड्यूल पर चला गया। पहले, Lib/test पर ध्यान केंद्रित करना, फिर Lib/asyncio और अंत में Lib , यानी वास्तव में, पूरे मानक पुस्तकालय (कम से कम पायथन में लिखा हुआ)। सप्ताह के अंत तक मैं जश्न मनाने में सक्षम था: मानक पुस्तकालय की एकमात्र फाइलें, जिस पर नया विश्लेषक गिर गया था, जिसमें खराब एनकाउंटर वाली फाइलें थीं। वे पूरी तरह से परीक्षण डेटा के रूप में मौजूद हैं कि यह सत्यापित करने के लिए कि एन्कोडिंग समस्याओं को सही तरीके से नियंत्रित किया जाएगा; और पायथन 2 के लिए कुछ फाइलें जो lib2to3 के लिए परीक्षण मामलों के रूप में आवश्यक हैं।

फिर मैंने एमिली की स्क्रिप्ट में पार्सर रनटाइम की गणना करने के लिए कुछ कोड जोड़ा, और ऐसा लग रहा है कि नया पीईजी पार्सर पुराने पैजन पार्सर की तुलना में थोड़ा तेज है। इसका मतलब यह नहीं है कि चीजें आगे बढ़ेंगी! व्याकरण (160 पंक्तियों) में 100 से अधिक नियम हैं, और इसे एएसटी उत्पन्न करने के लिए, हमें प्रत्येक में एक क्रिया जोड़ने की आवश्यकता होगी (भाग 6 देखें)।

इससे पहले, मैंने कुछ प्रयोग किए, यह देखने के लिए कि क्रियाओं को जोड़ने के बाद फ़ाइल का आकार कितना बढ़ जाएगा। मैं इस नतीजे पर पहुंचा कि यह 2-3 गुना बड़ा हो जाएगा। यहां इस प्रयोग का व्याकरण है:

 start[mod_ty]: a=stmt* ENDMARKER{ Module(a, NULL, p->arena) } stmt[stmt_ty]: compound_stmt | simple_stmt compound_stmt[stmt_ty]: pass_stmt | if_stmt pass_stmt[stmt_ty]: a='pass' NEWLINE { _Py_Pass(EXTRA(a, a)) } if_stmt[stmt_ty]: | 'if' c=expr ':' t=suite e=[else_clause] { _Py_If(c, t, e, EXTRA(c, c)) } else_clause[asdl_seq*]: | 'elif' c=expr ':' t=suite e=[else_clause] { singleton_seq(p, _Py_If(c, t, e, EXTRA(c, c))) } | 'else' ':' s=suite { s } suite[asdl_seq*]: | a=simple_stmt { singleton_seq(p, a) } | NEWLINE INDENT b=stmt+ DEDENT { b } simple_stmt[stmt_ty]: a=expr_stmt NEWLINE { a } expr_stmt[stmt_ty]: a=expr { _Py_Expr(a, EXTRA(a, a)) } expr[expr_ty]: | l=expr '+' r=term { _Py_BinOp(l, Add, r, EXTRA(l, r)) } | l=expr '-' r=term { _Py_BinOp(l, Sub, r, EXTRA(l, r)) } | term term[expr_ty]: | l=term '*' r=factor { _Py_BinOp(l, Mult, r, EXTRA(l, r)) } | l=term '/' r=factor { _Py_BinOp(l, Div, r, EXTRA(l, r)) } | factor factor[expr_ty]: | l=primary '**' r=factor { _Py_BinOp(l, Pow, r, EXTRA(l, r)) } | primary primary[expr_ty]: | f=primary '(' e=expr ')' { _Py_Call(f, singleton_seq(p, e), NULL, EXTRA(f, e)) } | atom atom[expr_ty]: | '(' e=expr ')' { e } | NAME | NUMBER | STRING

यहां बहुत सारी चीजें हैं जो मुझे समझानी होंगी।

सी। में क्रियाएँ लिखी जाती हैं। भाग 6 से अजगर जनरेटर की तरह, उनमें से प्रत्येक एक अभिव्यक्ति है।
नियम नाम के तुरंत बाद वर्ग कोष्ठक में पाठ इसी नियम विधि के लिए परिणाम का प्रकार निर्धारित करता है। उदाहरण के लिए, atom[expr_ty] अर्थ है कि expr_ty atom लिए वापस आ जाएगा। यदि आप CPython रिपॉजिटरी में Include/Python-ast.h को देखते हैं, तो आप देखेंगे कि यह प्रकार आंतरिक एएसटी में अभिव्यक्तियों का प्रतिनिधित्व करने के लिए उपयोग की जाने वाली संरचना है।
यदि विकल्प में केवल एक तत्व है, तो कार्रवाई को छोड़ा जा सकता है, क्योंकि इसके लिए डिफ़ॉल्ट व्यवहार केवल परिणामी एएसटी नोड को वापस करना है। अन्यथा, कार्रवाई स्पष्ट रूप से निर्दिष्ट की जानी चाहिए।
उत्पन्न सी कोड को भी कुछ प्रसंस्करण की आवश्यकता होती है। उदाहरण के लिए, यह माना जाता है कि कुछ सीपीथॉन हेडर फाइलें शामिल होंगी। उदाहरण के लिए, जहां प्रकार expr_ty , अच्छी तरह से, और कई अन्य आवश्यक चीजें।
चर p में उत्पन्न विश्लेषक द्वारा उपयोग किए गए Parser संरचना के लिए एक सूचक होता है। (और हां, इसका मतलब है कि p नियम में किसी एक तत्व को निर्दिष्ट नहीं करना बेहतर है - अन्यथा उत्पन्न सी कोड संकलित नहीं होगा!)
EXTRA(node1, node2) एक मैक्रो है जो अतिरिक्त तर्कों के एक सेट में फैलता है जिसे प्रत्येक एएसटी निर्माण समारोह में पारित किया जाना चाहिए। कार्रवाई लिखते समय यह बहुत समय बचाता है - अन्यथा, आपको प्रारंभ और समाप्ति पंक्ति संख्या, कॉलम ऑफ़सेट, और वितरण के लिए उपयोग किए गए क्षेत्र के लिए एक सूचक भी निर्दिष्ट करना होगा। (एएसटी नोड्स पायथन ऑब्जेक्ट नहीं हैं और अधिक कुशल लेआउट का उपयोग करते हैं।)
EXTRA() में C प्रीप्रोसेसर के कुछ दिलचस्प व्यवहार के कारण, हम AST नोड बनाने के लिए मैक्रोज़ का उपयोग नहीं कर सकते, लेकिन मूल कार्यों का उपयोग करना चाहिए। यही कारण है कि आप देखते हैं, उदाहरण के लिए, _Py_Binop(...) , Binop(...) । भविष्य में मैं इसके बारे में अलग तरह से हल करने के बारे में सोचूंगा।
तत्वों ( foo* या foo+ ) को दोहराने के लिए, कोड जनरेटर asdl_seq* प्रकार का एक सहायक नियम बनाता है। यह डेटा संरचना है जो एएसटी दोहराव का प्रतिनिधित्व करने के लिए उपयोग करता है। कई स्थानों पर, हमें केवल एक तत्व से इस तरह की पुनरावृत्ति बनाने की आवश्यकता है, और इसके लिए हमने सहायक फ़ंक्शन singleton_seq() को परिभाषित किया है।

शायद यह कुछ अजीब लगता है, और मैं बहस नहीं करूंगा। यह एक प्रोटोटाइप है, और इसका मुख्य उद्देश्य यह प्रदर्शित करना है कि एक खूंटी व्याकरण से उत्पन्न पार्सर का उपयोग करके काम कर रहे एएसटी को उत्पन्न करना संभव है। यह सब मौजूदा टोकन या बायटेकोड संकलक में किसी भी बदलाव के बिना काम करता है। एक प्रोटोटाइप सरल अभिव्यक्तियों और if को संकलित कर सकता है, और परिणामस्वरूप एएसटी को बाइटकोड और संकलित किया जा सकता है।

इस स्प्रिंट के हिस्से के रूप में अन्य चीजें जो मैंने कीं:

मैंने लुकाज़ लैंग को पीईपी 585 (भविष्य के प्रकार के संकेत के लिए उनका प्रस्ताव) को बदलने के लिए राजी कर लिया, क्योंकि यह पहले था, विचारों के एक सेट पर, जेनेरिक पर ध्यान केंद्रित करने के लिए। नया पीईपी बहुत बेहतर दिखता है, और कुछ दिन पहले टाइपिंग-मीटिंग में , जहां पायथन टाइप चेकिंग यूटिलिटीज (माइपी, पाइटाइप और पियरे) के डेवलपर्स के प्रतिनिधि मौजूद थे, उन्हें सामान्य स्वीकृति मिली। (यह गवर्निंग काउंसिल द्वारा समर्थन के समान नहीं है!)
फ्रोजनमैप प्रकार के लिए एक एपीआई विकसित करने में यूरी सेलिवानोव की मदद की , जिसे वह stdlib में जोड़ना चाहते थे। कई अन्य योगदानकर्ताओं ने भी डिजाइन में योगदान दिया - मुझे लगता है कि हमने उदाहरण और एपीआई टुकड़ों से भरे कुछ बोर्डों के साथ स्प्रिंट को समाप्त कर दिया। परिणाम PEP 603 है , और वर्तमान में सक्रिय चर्चा के अधीन है । (एक नोट: प्रस्तावित डेटा प्रकार का एक कार्यान्वयन पहले से ही CPython में मौजूद है, PEP 567 के कार्यान्वयन के हिस्से के रूप में, contextvars मॉड्यूल। यह एक बहुत ही दिलचस्प डेटा संरचना है, Hash Array Mapped Trie , जो एक उपसर्ग ट्री के साथ एक हैश तालिका को जोड़ती है)
यूरी, हमेशा की तरह, विचारों से भरा है। उन्होंने अपवाद समूहों ( तीनों से एक विचार) पर भी काम किया, जिसे वे पायथन 3.9 में एसिंको में लागू करना चाहते थे। पीईपी को ऐसा प्रतीत नहीं हुआ कि मैंने आखिरी बार देखा था, लेकिन मुझे निश्चित रूप से डायग्राम से भरा एक बोर्ड याद है।
हम एक छोटे अजगर रिलीज चक्र के लिए लुकास के प्रस्ताव पर सक्रिय रूप से चर्चा कर रहे हैं। इसका परिणाम पीईपी 602 था , जिसमें उन्होंने अक्टूबर में उन्हें सालाना बनाने का सुझाव दिया था। (इसके लिए एक अच्छा कारण है: यह पायथन सम्मेलनों और कोर स्प्रिंट के विशिष्ट कार्यक्रम के कारण है।) यह अभी भी बहुत चर्चा में है । कम से कम दो काउंटर ऑफ़र हैं: पीईपी 598 में, निक कॉग्लन पैच में नई सुविधाओं की अनुमति देते हुए, दो साल की रिलीज़ प्रदान करता है; स्टीव डावर द्विवार्षिक रिलीज के रूप में अच्छी तरह से देखना चाहते हैं, लेकिन इस सुविधा के बिना (अभी तक कोई पीईपी नहीं था)।
गवर्निंग काउंसिल के तीन सदस्य जिन्होंने स्प्रिंट (ब्रेट तोप, कैरल विलिंग और आई) में भाग लिया और पायथन कोर के भविष्य के विकास के लिए हमारे दृष्टिकोण पर चर्चा की। (मैं इस बारे में बहुत कुछ नहीं बोलना चाहता, क्योंकि हम इसके बारे में यूएसए में अगले PyCon पर बोलने की योजना बना रहे हैं। हालाँकि, हम संभवतः धन जुटाने की शुरुआत करेंगे ताकि PSF कर्नेल विकास को समर्थन और गति प्रदान करने के लिए कई डेवलपर्स को नियुक्त कर सके)।
मैंने जोआना नानजेकी के साथ एक दिलचस्प दोपहर का भोजन बातचीत की - जो समारोह में भाग लेने वालों में से एक थे। उसने बताया कि जब वह 8 साल की थी तब उसे इंटरनेट के बारे में पता चला कि कैसे वह अपने छोटे भाई को इंटरनेट कैफ़े में ले गई, जबकि उनकी माँ काम करती थी। वहाँ उसने Google और ईमेल की खोज की और वहाँ पहले सप्ताह ही लटका रहा।
सप्ताह की मुख्य मादक घटना ज़ोंबी एपोकैलिप्स कॉकटेल की एक जोड़ी थी, जो हम में से कुछ ने अल्केमिस्ट बार में आदेश दिया था। एक 2 लीटर Erlenmeyer फ्लास्क में बहुत सारे नकली धुएं के साथ सेवा की जाती है, जिसके परिणामस्वरूप एक नियमित शराब मिश्रण पर सूखी शराब डाली जाती है, प्रत्येक पेय को चार लोगों के लिए डिज़ाइन किया गया है।
शुक्रवार की रात, लिसा रोच हमें अपने होटल के पास एक अच्छे भारतीय रेस्तरां में ले आई। यह चार मेट्रो स्टेशनों के माध्यम से था, जो कि एक वास्तविक रोमांच था (यह भीड़ का घंटा था, और हमने लगभग कई बार ईसाई हाइम्स खो दिया)। खाने लायक था!
कुछ बिंदु पर, हमने एक समूह फ़ोटो लिया। यह बहुत भविष्य दिखता है, लेकिन यह वास्तव में एक लंदन परिदृश्य है।

अगले लेख में, मैं एएसटी नोड बनाने के लिए कार्यों के साथ कुछ प्रगति साझा करने की उम्मीद करता हूं।

इस लेख के लिए लाइसेंस और कोड का हवाला दिया: CC BY-NC-SA 4.0

कोर डेवलपर स्प्रिंट पर खूंटी पर काम करें

More articles: