मैं एक प्रोग्रामिंग भाषा के लिए अपने पहले संकलक के पूरा होने की घोषणा करते हुए बहुत खुश हूँ! Malcc C में लिखा गया एक वृद्धिशील लिस्प AOT कंपाइलर है।

मैं संक्षेप में इसके विकास के कई वर्षों के बारे में बात करूंगा और इस प्रक्रिया में मैंने क्या सीखा। वैकल्पिक लेख का शीर्षक: "दस साल या उससे कम समय में एक कंपाइलर कैसे लिखें।"

(अंत में टीएल है; डीआर , अगर आपको पृष्ठभूमि की परवाह नहीं है)।

संकलक डेमो

tim ~/pp/malcc master 0 → ./malcc Mal [malcc] user> (println "hello world") hello world nil user> (+ 1 2) 3 user> (def! fib2 (fn* (n) (let* (f (fn* (n1 n2 c) (if (= cn) n2 (f n2 (+ n1 n2) (+ c 1))))) (f 0 1 1)))) <lambda> user> (fib2 25) 75025 user> ^D% tim ~/pp/malcc master 0 → ./malcc examples/hello.mal hello world tim ~/pp/malcc master 0 → ./malcc --compile examples/hello.mal hello gcc -g -I ./tinycc -I . -o hello hello.c ./reader.c ./printer.c ./hashmap.c ./types.c ./util.c ./env.c ./core.c ./tinycc/libtcc.a -ledit -lgc -lpcre -ldl tim ~/pp/malcc master 0 → ./hello hello world tim ~/pp/malcc master 0 → 

सफल असफलताएँ

लगभग दस वर्षों तक, मैंने एक कंपाइलर लिखने का सपना देखा। मैं हमेशा प्रोग्रामिंग भाषाओं, विशेषकर संकलक के काम से रोमांचित रहा हूं। यद्यपि मैंने संकलक को काले जादू के रूप में कल्पना की थी और समझा था कि मेरे जैसे एक मात्र नश्वर के लिए इसे खरोंच से बनाना असंभव था।

लेकिन मैंने फिर भी कोशिश की और रास्ते में अध्ययन किया!

सबसे पहले, दुभाषिया

2011 में, मैंने काल्पनिक भाषा एयरबॉल के लिए एक साधारण दुभाषिया पर काम शुरू किया (एयरबॉल को "मफ" के रूप में अनुवादित किया जा सकता है)। नाम से आप मेरी अनिश्चितता की डिग्री का मूल्यांकन कर सकते हैं कि यह काम करेगा। यह एक काफी सरल रूबी कार्यक्रम था जिसने कोड को पार्स किया और एक सार वाक्यविन्यास ट्री (एएसटी) के माध्यम से चला गया। जब दुभाषिया ने अभी भी काम किया, तो मैंने इसका नाम लिडिया रखा और इसे तेजी से बनाने के लिए इसे C में लिखा।



मुझे याद है कि लिडा का वाक्य-विन्यास मुझे बहुत स्मार्ट लगता था! मुझे अब भी इसकी सादगी पसंद है।

यद्यपि लिडा एक परिपूर्ण संकलक से दूर था, लेकिन इसने मुझे प्रयोग जारी रखने के लिए प्रेरित किया। हालांकि, मैं अभी भी सवालों से परेशान था, संकलक का काम कैसे करें: इसमें क्या संकलन करें? क्या मुझे कोडांतरक सीखने की आवश्यकता है?

दूसरे, बाईटेकोड संकलक और दुभाषिया

अगले चरण के रूप में, 2014 में, मैंने रूबी में लिखी योजना के लिए एक वर्चुअल मशीन योजना-वीएम पर काम शुरू किया। मैंने सोचा था कि अपने स्वयं के स्टैक और बायटेकोड के साथ एक आभासी मशीन एएसटी पास और एक पूर्ण-संकलक के साथ दुभाषिया से एक संक्रमणकालीन चरण होगा। और चूंकि योजना औपचारिक रूप से परिभाषित है , इसलिए कुछ भी आविष्कार करने की आवश्यकता नहीं है।

मैं तीन साल से योजना-वीएम के साथ खिलवाड़ कर रहा हूं और संकलन के बारे में बहुत कुछ सीखा है। अंत में, मुझे एहसास हुआ कि मैं इस परियोजना को पूरा नहीं कर सकता। कोड वास्तविक अराजकता में बदल गया, लेकिन दृष्टि में कोई अंत नहीं था। एक संरक्षक या अनुभव के बिना, मैं अंधेरे में भटकने लगा। जैसा कि यह निकला, भाषा विनिर्देश इसके लिए मैनुअल के समान नहीं है। सबक सीखा!

2017 के अंत तक, मैंने कुछ बेहतर की तलाश में स्कीम-वीएम को बंद कर दिया।

मल के साथ बैठक

2018 में कुछ समय बाद, मैं मल , एक क्लोजर-शैली लिस्प दुभाषिया के पार आया।

मल का आविष्कार जोएल मार्टिन ने एक प्रशिक्षण उपकरण के रूप में किया था। तब से, विभिन्न भाषाओं में 75 से अधिक कार्यान्वयन विकसित किए गए हैं! जब मैंने इन कार्यान्वयनों को देखा, तो मैंने महसूस किया कि वे बहुत मदद करते हैं: अगर मैं फंस गया हूं, तो मैं रूबी या पायथन संस्करण में युक्तियों की तलाश कर सकता हूं। अंत में, कम से कम कोई मेरी भाषा बोलता है!

मैंने यह भी सोचा कि अगर मैं मल के लिए एक दुभाषिया लिख ​​सकता हूं, तो मैं उसी चरणों को दोहरा सकता हूं - और मल के लिए एक संकलक बना सकता हूं।

मल पर जंग की व्याख्या

सबसे पहले, मैंने वॉकथ्रू के अनुसार दुभाषिया विकसित करना शुरू किया। उस समय, मैं सक्रिय रूप से रस्ट का अध्ययन कर रहा था (मैं इसे एक अन्य लेख के लिए छोड़ दूंगा), इसलिए मैंने मल में अपने स्वयं के कार्यान्वयन को लिखा: जंग । इस प्रयोग के बारे में अधिक जानकारी के लिए यहां देखें।

यह एक संपूर्ण आनंद था! मुझे पता नहीं है कि मॉल के लिए एक उत्कृष्ट गाइड बनाने के लिए जोएल को धन्यवाद या प्रशंसा कैसे करना है। प्रत्येक चरण का विस्तार से वर्णन किया गया है , इसमें फ्लोचार्ट, छद्म कोड और परीक्षण हैं ! एक डेवलपर को शुरू से अंत तक एक प्रोग्रामिंग भाषा बनाने की आवश्यकता है।

ट्यूटोरियल के अंत में, मैंने मल के लिए अपने मल कार्यान्वयन को चलाने में कामयाब रहा, जो मेरे रूल कार्यान्वयन के शीर्ष पर मल में लिखा है। (गहराई के दो स्तर, वाह)। जब उसने पहली बार काम किया, तो मैं उत्साह के साथ एक कुर्सी पर कूद गया!

संकलक मल सी

जैसे ही मैंने मैला-जंग की व्यवहार्यता साबित की, मैंने तुरंत शोध करना शुरू कर दिया कि संकलक कैसे लिखा जाए। कोडांतरक के लिए संकलन? क्या मैं मशीन कोड को सीधे संकलित कर सकता हूं?

मैंने रूबी में लिखे x86 असेम्बलर को देखा। उसने मुझे परेशान किया, लेकिन असेंबलर के साथ काम करने की सोच ने मुझे रोक दिया।

एक बिंदु पर, मैंने हैकर न्यूज़ की इस टिप्पणी पर ठोकर खाई, जिसमें टिनी सी कंपाइलर को "संकलन समर्थन" के रूप में संदर्भित किया गया था। यह एक महान विचार की तरह लग रहा था!

TinyCC के पास एक परीक्षण फ़ाइल है जिसमें दिखाया गया है कि C प्रोग्राम से C कोड संकलित करने के लिए libtcc का उपयोग कैसे किया जाता है। यह "हैलो वर्ल्ड" के लिए शुरुआती बिंदु है।

मल के पूर्वाभ्यास पर लौटते हुए, सी के मेरे ज्ञान को याद करते हुए, कुछ महीनों के मुक्त शाम और सप्ताहांत में, मैं मल संकलक लिखने में सक्षम था। यह एक वास्तविक खुशी थी।



यदि आप परीक्षण के माध्यम से विकसित करने के लिए उपयोग किए जाते हैं, तो परीक्षणों के प्रारंभिक सेट की उपलब्धता का मूल्यांकन करें। परीक्षण एक कार्यशील कार्यान्वयन की ओर ले जाते हैं।

मैं इस प्रक्रिया के बारे में बहुत कुछ नहीं कह सकता, जब तक कि मैं दोहराता नहीं हूं: मल मैनुअल एक असली खजाना है। हर कदम पर, मुझे पता था कि क्या करना है!

कठिनाइयों

पीछे मुड़कर देखें, मल कंपाइलर लिखते समय यहाँ कुछ कठिनाइयाँ हैं, जहाँ मुझे टिंकर करना था:

1. मैक्रों को मक्खी पर संकलित करना होगा और संकलन समय पर निष्पादित होने के लिए तैयार होना चाहिए। यह थोड़ा हैरान करने वाला है।
   
2. संकलक कार्यक्रम के लिए और संकलित कार्यक्रम के अंतिम कोड के लिए "पर्यावरण" (चर और उनके मूल्यों के साथ hashes / साहचर्य सरणियों / शब्दकोशों का एक पेड़) प्रदान करना आवश्यक है। यह आपको संकलन समय पर मैक्रोज़ को परिभाषित करने की अनुमति देता है।
   
3. चूंकि पर्यावरण संकलन के समय उपलब्ध है, इसलिए शुरू में मैल्क ने संकलन के दौरान अपरिभाषित त्रुटियों को पकड़ लिया (एक वैरिएबल तक पहुंच को परिभाषित नहीं किया गया था), और कुछ स्थानों पर इस परीक्षण सूट की अपेक्षाओं का उल्लंघन किया। अंत में, परीक्षणों को पारित करने के लिए, मैंने इस सुविधा को बंद कर दिया। कंपाइलर के अतिरिक्त ध्वज के रूप में इसे वापस जोड़ना बहुत अच्छा होगा, क्योंकि इस तरह से आप अग्रिम में बहुत सारी त्रुटियां पकड़ सकते हैं।
4. मैंने संरचना की तीन पंक्तियों में लिखकर C कोड संकलित किया:
   • top : शीर्ष-स्तरीय कोड - यहां कार्य हैं
   • घोषणा: घोषणा और शरीर में इस्तेमाल किया चर की initialization
   • body : शरीर जहां मुख्य कार्य किया जाता है
5. पूरे दिन मैं सोचता रहा कि क्या मैं अपना कचरा कलेक्टर लिख सकता हूं, लेकिन मैंने बाद में इस अभ्यास को छोड़ने का फैसला किया। बोहेम-डेमर्स-वेसर कचरा संग्रह पुस्तकालय को कई प्लेटफार्मों पर कनेक्ट करना और उपलब्ध करना आसान है।
   
6. उस कोड को देखना महत्वपूर्ण है जो आपका कंपाइलर लिखता है। जब भी संकलक को DEBUG पर्यावरण चर का सामना करना पड़ा, तो वह संकलित सी कोड लौटाया जहां त्रुटियों को देखा जा सकता है।

मैं अन्यथा क्या करता

1. सी कोड लिखना और इंडेंटेशन रखने की कोशिश करना आसान नहीं था, फिर मैं स्वचालन से इनकार नहीं करता। यह मुझे लगता है कि कुछ संकलक बदसूरत कोड लिखते हैं, और फिर एक विशेष पुस्तकालय इसे जारी करने से पहले "सजाता है"। इसका अध्ययन करने की आवश्यकता है!
   
2. कोड पीढ़ी के दौरान लाइनों को जोड़ना थोड़ा गड़बड़ है। आप एक एएसटी बनाने पर विचार कर सकते हैं और फिर इसे सी कोड की अंतिम पंक्ति में परिवर्तित कर सकते हैं। यह कोड को क्रम में लाना चाहिए और सद्भाव देना चाहिए।

अब सलाह

मुझे पसंद है कि संकलक के लिए लगभग एक दशक लग गया। वास्तव में नहीं। पथ पर प्रत्येक कदम एक सुखद स्मृति है कि मैं धीरे-धीरे कैसे एक बेहतर प्रोग्रामर बन गया।

लेकिन इसका मतलब यह नहीं है कि मैं "समाप्त" हूं। अभी भी सैकड़ों तरीके और उपकरण हैं जो आपको एक सच्चे संकलक लेखक की तरह महसूस करने के लिए सीखने की आवश्यकता है। लेकिन मैं आत्मविश्वास से कह सकता हूं: "मैंने ऐसा किया।"

यहाँ संक्षिप्त रूप में पूरी प्रक्रिया है, कैसे अपने लिस्प संकलक बनाने के लिए:

1. वह भाषा चुनें जिसमें आप सहज महसूस करते हैं। आप एक साथ एक नई भाषा नहीं सीखना चाहते हैं और दूसरी नई भाषा कैसे लिख सकते हैं।
   
2. मल नियमावली के बाद , एक दुभाषिया लिखें।
   
3. ख़ुश हो जाओ!
   
4. निर्देशों का फिर से पालन करें, लेकिन कोड को निष्पादित करने के बजाय, कोड को निष्पादित करने वाले कोड को लिखें। (मौजूदा दुभाषिया को केवल "रीफैक्टरिंग" नहीं करना चाहिए। आपको स्क्रैच से शुरू करने की आवश्यकता है, हालांकि कॉपी-पेस्ट निषिद्ध नहीं है)।

मेरा मानना ​​है कि इस पद्धति का उपयोग किसी भी प्रोग्रामिंग भाषा के साथ किया जा सकता है जो एक निष्पादन योग्य फ़ाइल में संकलित होती है। उदाहरण के लिए, आप कर सकते हैं:

1. Go पर Mal दुभाषिया लिखें।
2. अपना कोड संशोधित करें:
   
   • गो कोड की एक लाइन बनाएं और इसे एक फाइल पर लिखें;
   • go build साथ इस परिणामी फ़ाइल को संकलित करें।

आदर्श रूप से, एक पुस्तकालय के रूप में गो संकलक को नियंत्रित करना बेहतर है, लेकिन यह एक संकलक बनाने का एक तरीका भी है!

मल के गाइड और आपकी सरलता की मदद से, आप यह सब कर सकते हैं। अगर मैं भी कर सका, तो आप कर सकते हैं!