Mybuild - मॉड्यूलर अनुप्रयोगों के लिए निर्माण प्रणाली

Qt के लिए नए बिल्ड सिस्टम के बारे में हाल के एक लेख ने मुझे उस स्थिति की याद दिला दी जो हमारे प्रोजेक्ट में कई साल पहले थी - तब हम एक उपयुक्त बिल्ड सिस्टम की भी तलाश कर रहे थे। परियोजना काफी जटिल है और इसे एक लचीली विन्यास प्रणाली की आवश्यकता है। परिणामस्वरूप, अब हम अपने स्वयं के बिल्ड सिस्टम Mybuild का उपयोग और विकास करते हैं।

यह पता लगाने के लिए कि हमने क्या किया, और यह किस तरह की परियोजना है, इसके निर्माण की जरूरत है, बिल्ली का स्वागत है।

परियोजना के बारे में

हमारे प्रोजेक्ट को Embox कहा जाता है। यह एम्बेडेड सिस्टम के लिए एक मॉड्यूलर और विन्यास योग्य ओएस है। जैसा कि आप देख सकते हैं, कॉन्फ़िगरेशन को मूल रूप से प्रोजेक्ट के विचार में रखा गया था, इसलिए एक लचीली बिल्ड सिस्टम की इच्छा है।

प्रारंभ में, प्रोजेक्ट छोटा था (हालांकि अब यह बहुत बड़ा नहीं है), और हमारे पास पर्याप्त स्व-निर्मित मेकफाइल्स थे, उनमें हम सभी कॉन्फ़िगरेशन विकल्प भी सेट करते हैं। परियोजना के विकास के साथ, विचार प्रकट हुए कि हम विधानसभा के लिए न केवल स्रोत कोड का वर्णन कैसे कर सकते हैं, बल्कि मॉड्यूल, और यहां तक ​​कि उनके लिए पैरामीटर सेट करने में सक्षम हो सकते हैं, निर्भरताएं लिख सकते हैं, और इसी तरह।

एक और निर्माण प्रणाली

जैसा कि अक्सर होता है, भूख खाने से आती है। कार्यशीलता (और इसके साथ बैसाखी) एक स्नोबॉल की तरह बढ़ रही थी, यह परिणामस्वरूप निर्मित बुनियादी ढांचे को बनाए रखने के लिए काफी लाभहीन हो गया, और यह बस असुविधाजनक था, और एक बिंदु पर हमने तैयार समाधानों को रोकने और देखने का फैसला किया।

मेक और उसके व्युत्पत्ति की आलोचना मानचित्रण लेख में पाई जा सकती है, जिसका मैंने शुरुआत में उल्लेख किया था। मैं जोड़ूंगा कि हमारे मामले में हमने लिनक्स कर्नेल में उपयोग किए गए Kbuild असेंबली सिस्टम पर भी विचार किया था। मैं खुद को उसकी थोड़ी आलोचना करने देता हूं।

• असेंबली और कॉन्फ़िगरेशन फ़ाइलों को अलग किया जाता है। इसलिए, आपको कई स्थानों पर वर्णन करना होगा (मेकफाइल + कॉन्कफिग)।
• कॉन्फ़िगरेशन पैरामीटर #define निर्देशों द्वारा निर्धारित किए जाते हैं, जो कभी-कभी कोड में "#ifdef दुःस्वप्न" की ओर जाता है।
• विकल्पों के लिए कोई नामस्थान नहीं।

बेशक, वहाँ फायदे हैं:

• Kbuild विकल्पों के बीच निर्भरता को निर्दिष्ट करने का समर्थन करता है।
• कई ग्राफिकल (और छद्म ग्राफिकल) कॉन्फ़िगरेशन टूल हैं।
• सतत विकास और सामुदायिक समर्थन।

एक रास्ता या दूसरा, उस समय हमें यह लग रहा था कि इस तरह की प्रणाली अपेक्षाकृत छोटी परियोजना के लिए बहुत जटिल थी। इसके अलावा, हमारे पास पहले से ही छोटे विकास थे, और इसलिए यह आवश्यकताओं को तैयार करने और हमारी विधानसभा प्रणाली को लागू करने का प्रयास करने का निर्णय लिया गया था।

तो, हम चाहते हैं:

• अनुप्रयोग मॉड्यूल को सरल, सहज भाषा में वर्णित किया गया था, अधिमानतः उपलब्ध कॉन्फ़िगरेशन विकल्पों के साथ।
• मॉड्यूल विवरण, यदि संभव हो तो, इसके आगे के उपयोग के लिए सभी आवश्यक जानकारी शामिल है, जिसमें उपयोगकर्ता प्रलेखन, उपलब्ध इकाई परीक्षण और इतने पर शामिल हैं।
• निर्माण प्रणाली ने पायथन दुभाषिया या जावा मशीन जैसी बहुत सारी निर्भरता को बाहर नहीं निकाला।

चूंकि हमने नियमित मेकफाइल्स के साथ शुरुआत की थी, जिसके परिणामस्वरूप निर्माण प्रणाली शुद्ध GNU मेक में लिखी गई है।

कार्यान्वयन के बारे में थोड़ा

"शुद्ध जीएनयू मेक" पर, मैं थोड़ा चालाक था। यदि आपने कभी मैनुअल से उदाहरणों की तुलना में कुछ अधिक जटिल लिखने की कोशिश की, तो आपने शायद अंतर्निहित भाषा की गरीबी की ओर भी ध्यान आकर्षित किया। इसलिए, पहली बात जो हमने शुरू की, वह भाषा की विकटता के खिलाफ लड़ाई है। सामान्य तौर पर, यह विषय "असामान्य प्रोग्रामिंग" हब में एक अलग लेख का हकदार है, यहां मैं केवल मुख्य बिंदुओं पर स्पर्श करूंगा (शायद कोई मेरी परियोजनाओं में काम आएगा)।

वाक्य रचना में सुधार

भाषा बनाओ लाइन-आधारित है, इसलिए कई लाइनों में जटिल कार्यों को लिखते समय, बैकस्लैश का उपयोग किया जाता है। इस तथ्य के अलावा कि यह बस असुविधाजनक है, यह फ़ंक्शन के अंदर टिप्पणियों के उपयोग को रोकता है, क्योंकि मेक में केवल एकल-लाइन टिप्पणियां हैं (ग्रिड के साथ शुरू और लाइन के अंत तक मान्य)।

इस प्रतिबंध को निर्धारित करने के बाद, हम अब बैकस्लैश के बिना मल्टीलाइन फ़ंक्शन लिख सकते हैं, फ़ंक्शन और कोड इंडेंटेशन (टैब या रिक्त स्थान में) के अंदर टिप्पणियों का उपयोग कर सकते हैं। इसके अलावा, हमने लैम्बडा एक्सप्रेशन, इनलाइन सिंपल फंक्शन, और अन्य जैसे फीचर्स को भाषा में जोड़ा। यहां बताया गया है कि अब आप कैसे फिर से लिख सकते हैं, उदाहरण के लिए, सूची को मोड़ने का कार्य:

यह था	बन गया है
reverse = \ $(call fold,,$1,__reverse_fold) # Called with the following args: # 1. An already reversed list part. # 2. Next element. __reverse_fold = \ $2 $1	define reverse # Start from the empty list. $(fold ,$1, # Prepend each new element ($2) to # the result of previous computations. $(lambda $2 $1)) endef

OOP जोड़ें

अब जब आप अधिक या कम पठनीय कोड लिख सकते हैं, तो एक और बन्स जोड़ें। मेक में कोई टाइपिंग नहीं है, किसी भी डेटा को एक स्ट्रिंग के रूप में दर्शाया गया है। हालांकि, किसी भी एप्लिकेशन में डेटा को संरचना करने की आवश्यकता होती है, इसलिए हमने मैक्रोज़ का एक सेट लागू किया जो हमें कक्षाओं को परिभाषित करने की अनुमति देता है, साथ ही ऑब्जेक्ट बनाने के लिए फ़ंक्शन, कॉलिंग के तरीके आदि। उदाहरण के लिए, ग्रीटिंग फ़ंक्शन को कॉल करते समय निम्न कोड "Privet, Habrahabr" प्रदर्शित करता है।

 define class-Greeter $(field greeting, $(or $(value 1),Hello)) # Arg 1: who to greet. $(method sayHello, $(info $(get-field greeting), $1!)) endef define greet $(for greeter <- $(new Greeter,Privet), $(invoke greeter->sayHello,Habrahabr) $(greeter))# <- Return the instance. endef 

इन दो सुधारों के बाद, विकास बहुत तेजी से आगे बढ़ा, जिससे हमें निर्माण प्रणाली के तर्क से निपटने की अनुमति मिली।

वाक्य-विन्यास के बारे में सोचना

पहले आपको मॉड्यूल और कॉन्फ़िगरेशन के विवरण के लिए भाषा निर्धारित करने की आवश्यकता है। एक नियम के रूप में, एक आंतरिक या बाहरी डीएसएल का उपयोग नई भाषा के लिए किया जाता है। एक आंतरिक डीएसएल कुछ सामान्य-प्रयोजन भाषा का एक सबसेट है, आमतौर पर एक जिसे आप व्याख्या के लिए उपयोग करने की योजना बनाते हैं। जीएनयू मेक और इसकी अनाड़ी भाषा के मामले में, यह बिल्कुल भी विकल्प नहीं है, और केवल बाहरी डीएसएल ही रहता है, अर्थात् विधानसभा का वर्णन करने के लिए एक स्वतंत्र भाषा है।

मैं झाड़ी के आसपास नहीं मारूंगा और तुरंत कहूंगा कि परिणामस्वरूप भाषा जावा के समान है। व्यक्तिगत रूप से, मुझे जावा सिंटैक्स पसंद है, हालांकि यह क्रिया है, लेकिन कई मायनों में सरल और सीधा है। जावा की तरह, Mybuild DSL में पैकेज और आयात होते हैं, और मॉड्यूल विवरण वर्ग विवरण के समान होता है। इस भाषा में लिखी गई फाइलें, हम मेरी-फाइलें (उनके विस्तार से) कहते हैं।

 /* Our first example */ module HelloWorld { source "hello.c" } 

भाषा पार्सर का निर्माण

अब आपको इस भाषा के पार्सर को लागू करने की आवश्यकता है। कई विकल्प भी हैं, जो एक स्व-लिखित पार्सर से लेकर हैं, उदाहरण के लिए, विभिन्न पार्सर जनरेटर के लिए पुनरावर्ती वंश विधि या किसी प्रकार के कॉम्बिनेटरियल लाइब्रेरी का उपयोग करता है। कई प्रयोगों के परिणामस्वरूप, हम बाद के विकल्प पर बसे, सबसे सामान्य के रूप में, और इसलिए विकास के लिए सुविधाजनक, विशेष रूप से भाषा के सक्रिय विकास के चरण में। हमने स्वर्ण पार्सर बिल्डर (http://goldparser.org/) को एक जनरेटर के रूप में लिया, यह एक सरल व्याकरण विवरण भाषा का उपयोग करता है, इसमें एक अंतर्निर्मित डीबगर होता है, और सबसे महत्वपूर्ण बात यह है कि यह उत्पन्न पार्सर (हमारे मामले में) को लचीले ढंग से कॉन्फ़िगर करने की क्षमता रखता है, इसे मेक पर भी लागू किया जाता है। )।

तोते का परिणाम एक पेड़ है।

ऑब्जेक्ट मॉडल का निर्माण

इसलिए, मैं अपनी फाइलों से अधिक से अधिक जानकारी निकालना चाहता हूं, साथ ही विधानसभा के सभी चरणों में इसकी आसान पहुंच भी है। यह स्पष्ट है कि आपको किसी प्रकार के आंतरिक प्रतिनिधित्व की आवश्यकता है। यही है, अब आपको पार्स ट्री को अर्थमेटिक मॉडल में बदलना होगा।

उसी चरण के बारे में, हमने एक साथ एक आईडीई से भाषा समर्थन के बारे में सोचा। हमारे मामले में, यह ग्रहण है, क्योंकि परियोजना के आधे से अधिक डेवलपर्स इस विशेष वातावरण का उपयोग करते हैं। प्लगइन को विकसित करने के लिए, हमने एक्सटेक्स्ट फ्रेमवर्क का उपयोग किया, जो व्याकरण सिंटैक्स हाइलाइटिंग, ऑटो-पूरा करने और आधुनिक आईडीई के अन्य खुशियों के साथ एक पूर्ण संपादक उत्पन्न कर सकता है। यहां यह कहने योग्य है कि एक्सटेक्स स्वयं ईएमएफ पर आधारित है, जो एक प्रसिद्ध मॉडलिंग फ्रेमवर्क है। इसने विधानसभा प्रणाली को विकसित करने के लिए EMF तकनीक का उपयोग करने के विचार को प्रेरित किया।

इस प्रकार, हमें एक ईएमएफ मॉडल मिलता है जो हमारे डीएसएल की संरचना का वर्णन करता है (हम कृपया एक्सटेक्स द्वारा उत्पन्न किए गए थे)। अब आपको मॉडल को मेक पर कक्षाओं में बदलने की आवश्यकता है। यहां Xpand प्रोजेक्ट हमारी सहायता के लिए आता है (इसे उसी कंपनी द्वारा Xtext के रूप में विकसित किया गया है), जो हमें टेम्पलेट का उपयोग करके मॉडल से पाठ उत्पन्न करने की अनुमति देता है।

अंतिम चरण एक गोंद-कोड लिखना है जो पार्स ट्री के आवश्यक नोड्स के लिए मॉडल ऑब्जेक्ट बनाता है।

आवश्यकताओं पर वापस

पर निर्भर करता है

हमारी आवश्यकताओं में पहले बिंदुओं में से एक अंतर-मॉड्यूल निर्भरता को परिभाषित करने की क्षमता थी। सबसे पहले, उपयोगकर्ता द्वारा अंतिम एप्लिकेशन के कॉन्फ़िगरेशन को सरल करना आवश्यक है।

मेरी फ़ाइल में, निर्भरता निम्नानुसार निर्दिष्ट है।

 module Foo { depends Bar, Baz } 

अब जब हमारे पास परियोजना में वर्णित सभी मॉड्यूलों का पूरा ग्राफ है, तो आवश्यक मॉड्यूलों के सबग्राफ को बंद करना काफी सरल है।

विकास में आसानी के लिए, Mybuild, ग्राफ़विज़ का उपयोग करके मॉड्यूल के एक ग्राफ की कल्पना कर सकता है । और एक उदाहरण के रूप में, यहां सरल एमबॉक्स कॉन्फ़िगरेशन में से एक के लिए मॉड्यूल का एक ग्राफ़ विज़ुअलाइज़ेशन है।

रनटाइम बूट ऑर्डर

सिस्टम मॉड्यूल और उनके बीच निर्भरता की पूरी समझ रखने के बाद, इस ज्ञान का उपयोग परियोजना की वास्तविक विधानसभा के अलावा और कुछ के लिए क्यों नहीं किया जाता है? उदाहरण के लिए, इस जानकारी के आधार पर, आप उस क्रम को निर्धारित कर सकते हैं जिसमें सिस्टम निष्पादन के दौरान मॉड्यूल लोड किए जाते हैं। दरअसल, एक नियम के रूप में, एक मॉड्यूल को लोड करना केवल इसकी निर्भरता के सभी लोड करने के बाद समझ में आता है।

ऐसा करने के लिए, सी में एक विशेष रूप से उत्पन्न स्रोत कोड को विधानसभा में शामिल किया गया है, जिसमें निर्भरता ग्राफ के नोड्स और किनारों को सांख्यिकीय रूप से परिभाषित किया गया है। मॉड्यूल को स्वयं संकलित करते समय, मॉड्यूल को इसके आरंभीकरण फ़ंक्शन के साथ जोड़ना संभव है, जिसे सभी निर्भरता को हल करने के बाद बूटलोडर प्रबंधक द्वारा बुलाया जाएगा।

विकल्प और विकल्प बनाएँ

अगला कार्य जो हमने तय किया, वह विशिष्ट मॉड्यूल के मापदंडों को निर्दिष्ट करना था। विकल्प का निर्माण पैरामीटर का वर्णन करने के लिए किया जाता है, और पैरामीटर मूल्य तक पहुंच एक विशेष मैक्रो का उपयोग करके, संकलन समय पर प्राप्त की जा सकती है।

module HelloWorld { source "hello.c" option string greeting = "Hello, world!" }

int main(void) { printf("%s\n", OPTION_STRING_GET(greeting)); return 0; }

और यद्यपि यह विकल्प अभी भी बहुत सुखद नहीं है, अभी आप मॉड्यूल के लिए आवश्यक पैरामीटर सेट कर सकते हैं, उनका डिफ़ॉल्ट मान और कॉन्फ़िगरेशन के दौरान इन मानों को ओवरराइड कर सकते हैं।

 configuration Main { include HelloWorld(greeting = "Hello, Habrahabr!") } 

लिंकर स्क्रिप्ट प्रसंस्करण

अगली समस्या, परियोजना के लिए कुछ हद तक विशिष्ट थी, कि हम न केवल स्रोत कोड (सी और असेंबलर भाषाओं में) और हेडर फ़ाइलों को संसाधित करना चाहते थे, बल्कि अन्य संसाधन भी, उदाहरण के लिए, विशेष लिंकर स्क्रिप्ट। बिल्ड सिस्टम के पिछले संस्करण में असेंबली में प्रीप्रोसेसिंग और एक अतिरिक्त लिंकर स्क्रिप्ट सहित मेकफाइल निम्नलिखित था (इसके अलावा, इस तरह के कोड को प्रत्येक विशेष लिंकर स्क्रिप्ट के लिए लिखा जाना था)।

 $(IMAGE): $($_heap_lds) $($_heap_lds): $($_SELFDIR)/heap.lds.S $(AUTOCONF_DIR)/config.lds.h @$(MKDIR) $(@D) \ && $(CPP) -P -undef $(CPPFLAGS) \ -imacros $(AUTOCONF_DIR)/config.lds.h \ -MMD -MT $@ -MF $@.d -o $@ $< -include $($_heap_lds).d 

अब यह इस तरह दिखता है, और निर्माण प्रणाली खुद के लिए तय करती है कि "heap.lds.S" फ़ाइल के साथ क्या करना है:

 module HeapAlloc { source "heap.lds.S" } 

अन्य संसाधनों का प्रसंस्करण

पिछले उदाहरण में, स्रोत में निर्दिष्ट फ़ाइल के प्रकार की परिभाषा इसके विस्तार (.ories.S) द्वारा हुई। कभी-कभी कुछ फ़ाइलों को चिह्नित करना आवश्यक होता है ताकि उन्हें एक विशेष तरीके से संसाधित किया जा सके। उदाहरण के लिए, हमारी परियोजना में, ये फाइलें हैं जिनकी सामग्री रनटाइम पर उपलब्ध होनी चाहिए।

यहां हमने एनोटेशन मैकेनिज्म का इस्तेमाल किया, जावा से फिर से उधार लिया। पहली बात जो हमने उनकी मदद से लागू की, वह है रूट फाइल सिस्टम के साथ एक फोल्डर को कॉपी करने के लिए संसाधन को चिह्नित करने की क्षमता।

 module Httpd { @ InitFS source "index.html" } 

हमारे सिस्टम में किसी भी प्रकार की वस्तुओं के लिए एनोटेशन सेट किया जा सकता है, चाहे वह मॉड्यूल हो, उनकी निर्भरता हो, सोर्स कोड या पैरामीटर्स के साथ-साथ अन्य एनोटेशन भी हों। इस प्रकार, हम आशा करते हैं कि भाषा के विस्तार के लिए अच्छे अवसर हैं।

वंशानुक्रम और सार मॉड्यूल

और अंत में, मैं एक बहुत ही दिलचस्प वर्णन करूंगा, मेरी राय में, ऐसी सुविधा जो हमने अन्य समान परियोजनाओं में नहीं देखी है, अर्थात् इंटरफेस और उनके कार्यान्वयन को निर्दिष्ट करने की क्षमता।

चूँकि हमारे पास एक उच्च विन्यास योग्य ओएस है, इसलिए हमें इस तरह के सिस्टम एल्गोरिदम को बदलने के लिए एक सरल अवसर की आवश्यकता है, उदाहरण के लिए, एक योजना रणनीति। शेड्यूलिंग नीति जो प्रत्येक प्रक्रिया के लिए SCHED_FIFO या SCHED_OTHER का उपयोग करने के लिए निर्धारित है, लेकिन एल्गोरिथ्म जिसके द्वारा शेड्यूलर सभी थ्रेड्स को नियंत्रित करता है (संभवतः नीति पर विचार कर रहा है)। उदाहरण के लिए, अब परियोजना तीन नियोजन रणनीतियों को लागू करती है। सरलतम प्रणालियों के लिए, आप एक आदिम अनुसूचक का उपयोग कर सकते हैं जो प्राथमिकताओं या अन्य प्रवाह विशेषताओं को ध्यान में नहीं रखता है। और एक रणनीति है जो प्राथमिकताओं का उपयोग करती है और ध्यान में रखती है कि धागा कितने समय से चल रहा है।

यह एक छोटा सा विषयांतर था। इसलिए, कम से कम सरल विरासत की आवश्यकता थी, ताकि आप इंटरफेस का उपयोग करके सिस्टम के लिए आवश्यकताओं का वर्णन कर सकें, और उनके कार्यान्वयन का उपयोग करके इसके विशिष्ट गुणों का निर्धारण कर सकें। खैर, जब से एक जरूरत थी, हमने इसे इस तरह से तय किया:

 @ DefaultImpl(TrivialSchedStrategy) abstract module SchedStrategy { } module TrivialSchedStrategy extends SchedStrategy { source "trivial.c", "trivial.h" } module PriorityBasedSchedStrategy extends SchedStrategy { source "priority_based.c", "priority_based.h" } 

जैसा कि आप देख सकते हैं, एनोटेशन ( @DefaultImpl ) भी @DefaultImpl नहीं @DefaultImpl , इस मामले में, यदि कॉन्फ़िगरेशन स्पष्ट रूप से मॉड्यूल को निर्दिष्ट नहीं करता है जो SchedStrategy लागू SchedStrategy , तो सामान्य रूप से TrivialSchedStrategy मॉड्यूल का उपयोग किया जाता है।

निष्कर्ष

बेशक, यह हमारे सिस्टम की सभी क्षमताएं नहीं हैं, उदाहरण के लिए, आप अभी भी एक मॉड्यूल के लिए विशिष्ट संकलन झंडे निर्दिष्ट कर सकते हैं, इसके साथ इकाई परीक्षणों के एक सेट को जोड़ सकते हैं, और इसी तरह। लेकिन मुझे डर है कि लेख वैसे भी अतिभारित हो गया था, इसलिए जो कोई भी Mybuild के बारे में अधिक जानने में रुचि रखता है, शायद इसे अपने हाथों से महसूस करें या यहां तक ​​कि कोड को देखें, उन्हें प्रोजेक्ट विकी पर अधिक जानकारी मिल सकती है।

बेशक, बहुत कुछ महसूस किया और पॉलिश किया जाना है। कम से कम, हमने अभी तक मूल Embox परियोजना से Mybuild को हटाने की कोशिश नहीं की है, कुछ टुकड़ों में पर्याप्त दस्तावेज और इतने पर नहीं है।

संदर्भ

• Embox प्रोजेक्ट
• पेज बनाएँ
• ग्रहण के लिए प्लगिन

अंत तक पढ़ने के लिए धन्यवाद, मुझे टिप्पणियों में आपके सवालों और सुझावों का जवाब देने में खुशी होगी।