एक DevOps इंजीनियर के रूप में, मैं अक्सर विभिन्न वातावरणों में विभिन्न आईटी प्रणालियों की स्थापना और कॉन्फ़िगरेशन को स्वचालित करने पर काम करता हूं: कंटेनरों से बादल तक। मुझे जावा स्टैक पर आधारित कई प्रणालियों के साथ काम करना पड़ा: छोटे (जैसे टॉमकैट) से लेकर बड़े पैमाने पर (हडोप, कैसेंड्रा, आदि)।

इसके अलावा, लगभग हर ऐसी प्रणाली, यहां तक ​​कि सबसे सरल भी, किसी कारण के लिए एक जटिल अनूठी लॉन्च प्रणाली थी। कम से कम, ये मल्टी-लाइन शेल स्क्रिप्ट थे, जैसे कि टेडकैट , और यहां तक ​​कि पूरे ढांचे, जैसे कि हडोप में । इस श्रृंखला में मेरा वर्तमान "रोगी", जिसने मुझे इस लेख को लिखने के लिए प्रेरित किया, नेक्सस ओएसएस 3 विरूपण साक्ष्य भंडार है, जिसका लॉन्च स्क्रिप्ट कोड की ~ 400 लाइनें लेता है।

स्टार्टअप स्क्रिप्ट्स की अस्पष्टता, अतिरेक और जटिलता स्थानीय प्रणाली पर एक घटक को मैन्युअल रूप से स्थापित करने पर भी समस्याएँ पैदा करती हैं। अब कल्पना करें कि आपको डॉकटर कंटेनर में ऐसे घटकों और सेवाओं का एक सेट पैक करने की आवश्यकता है, पर्याप्त ऑर्केस्ट्रेशन की तर्ज पर अमूर्त की एक और परत लिखें, इसे कुबेरनेट्स क्लस्टर में तैनात करें और इस प्रक्रिया को सीआई या सीडी पाइपलाइन के रूप में लागू करें ...

संक्षेप में, चलिए उल्लेखित नेक्सस 3 के उदाहरण को देखते हैं, शेल लिपियों के चक्रव्यूह से कैसे java -jar <program.jar> कुछ और अधिक java -jar <program.jar> समान है, जो कि सुविधाजनक आधुनिक डेवप्स टूल्स की उपलब्धता को देखते हुए।

यह जटिलता कहां से आती है?

संक्षेप में, प्राचीन समय में, जब यूनिक्स का उल्लेख करते समय नहीं कहा गया था: "लिनक्स के अर्थ में?", कोई सिस्टमड और डॉकर आदि नहीं था, पोर्टेबल शेल स्क्रिप्ट (इनिट स्क्रिप्ट) और पीआईडी- का उपयोग प्रक्रियाओं को नियंत्रित करने के लिए किया गया था। फ़ाइलें। इनिट स्क्रिप्ट्स ने आवश्यक पर्यावरण सेटिंग्स को सेट किया, जो अलग-अलग यूनिक्स में अलग थे, और, तर्कों के आधार पर, पीआईडी ​​फ़ाइल से आईडी का उपयोग करके प्रक्रिया को फिर से शुरू या फिर से शुरू / बंद कर दिया। दृष्टिकोण सरल और स्पष्ट है, लेकिन इन लिपियों को हर असामान्य स्थिति में काम करना बंद हो गया, मैनुअल हस्तक्षेप की आवश्यकता होती है, आपको प्रक्रिया की कई प्रतियां चलाने की अनुमति नहीं थी ... लेकिन बात नहीं।

इसलिए, यदि आप जावा प्रोजेक्ट्स में ऊपर उल्लिखित स्टार्टअप स्क्रिप्ट्स को करीब से देखते हैं, तो आप इस प्रागैतिहासिक दृष्टिकोण के स्पष्ट संकेत देख सकते हैं, जिसमें SunOS, HP-UX और अन्य UNIX s का उल्लेख भी शामिल है। आमतौर पर, ऐसी स्क्रिप्ट कुछ ऐसा करती हैं:

• UNIX / Linux पोर्टेबिलिटी के लिए अपनी सभी बैसाखियों के साथ POSIX शेल सिंटैक्स का उपयोग करें
• OS संस्करण निर्धारित करें और uname , /etc/*release , आदि के माध्यम से /etc/*release ।
• वे JRE / JDK को फ़ाइल सिस्टम के नुक्कड़ों में खोजते हैं और चतुर नियमों के अनुसार सबसे "उपयुक्त" संस्करण का चयन करते हैं, कभी-कभी प्रत्येक OS के लिए भी विशिष्ट होता है
• जेवीएम संख्यात्मक मापदंडों की गणना की जाती है, उदाहरण के लिए, स्मृति आकार ( -Xms , -Xms ), जीसी धागे की संख्या, आदि।
• JRE / JDK के चयनित संस्करण की बारीकियों को ध्यान में रखते हुए JVM को -XX पैरामीटर्स के माध्यम से अनुकूलित करें
• उनके घटकों, पुस्तकालयों, आसपास की निर्देशिकाओं, कॉन्फ़िगरेशन फ़ाइलों आदि में उनके लिए मार्ग खोजें।
• पर्यावरण को अनुकूलित करें: ulimits, पर्यावरण चर, आदि।
• एक पाश के साथ CLASSPATH उत्पन्न करें: for f in $path/*.jar; do CLASSPATH="${CLASSPATH}:$f"; done for f in $path/*.jar; do CLASSPATH="${CLASSPATH}:$f"; done
• पार्स कमांड कमांड तर्क: start|stop|restart|reload|status|...
• जावा कमांड को संकलित करें जिसे आपको अंततः ऊपर से निष्पादित करने की आवश्यकता है
• और अंत में इस जावा कमांड को निष्पादित करें । अक्सर, पिछली शताब्दी के समान कुख्यात PID फाइलें, & , nohup , विशेष TCP पोर्ट और अन्य ट्रिक स्पष्ट रूप से या अंतर्निहित रूप से उपयोग किए जाते हैं ( Karaf से उदाहरण देखें)

उल्लेखित नेक्सस 3 लॉन्च स्क्रिप्ट इस तरह की स्क्रिप्ट का एक उपयुक्त उदाहरण है।

वास्तव में, ऊपर सूचीबद्ध सभी स्क्रिप्ट तर्क, जैसा कि सिस्टम प्रशासक को बदलने की कोशिश कर रहा है, जो शुरुआत से अंत तक एक विशिष्ट प्रणाली के लिए मैन्युअल रूप से सब कुछ स्थापित और कॉन्फ़िगर करेगा। लेकिन सामान्य तौर पर, सबसे विविध प्रणालियों की किसी भी आवश्यकताओं को ध्यान में रखना असंभव है। इसलिए, यह पता चला है, इसके विपरीत, एक सिरदर्द, दोनों डेवलपर्स के लिए जिन्हें इन लिपियों का समर्थन करने की आवश्यकता है, और सिस्टम इंजीनियरों के लिए जिन्हें बाद में इन लिपियों को समझने की आवश्यकता है। मेरे दृष्टिकोण से, एक सिस्टम इंजीनियर के लिए जेवीएम मापदंडों को एक बार समझना और इसे कॉन्फ़िगर करना उतना ही आसान है जितना कि एक नई प्रणाली को स्थापित करने से पहले इसकी स्टार्टअप स्क्रिप्ट की पेचीदगियों को समझना।

क्या करें?

मैं - के बारे में - Schat! KISS और YAGNI हमारे हाथ। इसके अलावा, वर्ष 2018 यार्ड में है, जिसका अर्थ है कि:

• बहुत कम अपवादों के साथ, UNIX == लिनक्स
• प्रक्रिया नियंत्रण समस्या को एक अलग सर्वर ( Systemd , Docker ), और समूहों ( Kubernette , आदि) के लिए हल किया जाता है।
• सुविधाजनक कॉन्फ़िगरेशन प्रबंधन उपकरण ( Ansible , आदि) का एक गुच्छा है
• कुल स्वचालन प्रशासन में आ गया है और पहले से ही खुद को पूरी तरह से ठोस कर लिया है: मैन्युअल रूप से नाजुक अद्वितीय "स्नोफ्लेक सर्वर" स्थापित करने के बजाय , अब उपर्युक्त Ansible और Docker सहित कई सुविधाजनक उपकरणों का उपयोग करके स्वचालित रूप से एकीकृत प्रतिलिपि प्रस्तुत करने योग्य आभासी मशीनों और कंटेनरों को इकट्ठा करना संभव है।
• रनटाइम आँकड़े एकत्र करने के लिए उपकरण व्यापक रूप से उपयोग किए जाते हैं, दोनों जेवीएम खुद के लिए ( उदाहरण ) और जावा एप्लिकेशन के लिए ( उदाहरण )
• और, सबसे महत्वपूर्ण बात, विशेषज्ञ दिखाई दिए: सिस्टम और DevOps इंजीनियर, जो ऊपर सूचीबद्ध तकनीकों का उपयोग कर सकते हैं और समझ सकते हैं कि किसी विशिष्ट सिस्टम पर JVM को ठीक से कैसे स्थापित किया जाए और बाद में एकत्रित रनटाइम आँकड़ों के आधार पर इसे समायोजित करें

तो चलिए स्टार्टअप स्क्रिप्ट की कार्यक्षमता के माध्यम से फिर से चलते हैं, ऊपर सूचीबद्ध बिंदुओं को ध्यान में रखते हुए, सिस्टम इंजीनियर के लिए काम करने की कोशिश किए बिना, और वहां से सभी "अनावश्यक" लोगों को हटा दें।

• POSIX शेल सिंटैक्स ⇒ /bin/bash
• ओएस संस्करण का पता लगाने ⇒ UNIX == लिनक्स, यदि ओएस-विशिष्ट पैरामीटर हैं, तो आप उन्हें प्रलेखन में वर्णन कर सकते हैं
• JRE / JDK खोज ⇒ हमारे पास एकमात्र संस्करण है, और यह OpenJDK (अच्छी तरह से, या Oracle JDK, यदि आपको वास्तव में इसकी आवश्यकता है), java और कंपनी मानक प्रणाली पथ में हैं
• संख्यात्मक मापदंडों की गणना जेवीएम, ट्यूनिंग जेवीएम ⇒ यह एप्लिकेशन स्केलिंग प्रलेखन में वर्णित किया जा सकता है
• अपने घटकों और पुस्तकालयों की खोज करें ⇒ आवेदन की संरचना का वर्णन करें और इसे प्रलेखन में कैसे कॉन्फ़िगर करें
• पर्यावरण की स्थापना ⇒ प्रलेखन में आवश्यकताओं और सुविधाओं का वर्णन करें
• CLASSPATH पीढ़ी ⇒ -cp path/to/my/jars/* या सम, सामान्य रूप से, Uber-JAR
• पार्सिंग कमांड लाइन तर्क ⇒ कोई तर्क नहीं होगा, क्योंकि प्रक्रिया प्रबंधक लॉन्च को छोड़कर हर चीज का ध्यान रखेगा
• जावा कमांड असेंबली
• जावा कमांड निष्पादन

नतीजतन, हमें बस चयनित प्रक्रिया प्रबंधक (सिस्टमड, डॉकर, आदि) का उपयोग करके फॉर्म java <opts> -jar <program.jar> जावा कमांड को चुनने की आवश्यकता है java <opts> -jar <program.jar> । सभी पैरामीटर और विकल्प ( <opts> ) सिस्टम इंजीनियर के विवेक पर छोड़ दिए जाते हैं, जो उन्हें एक विशिष्ट वातावरण में समायोजित करेंगे। यदि विकल्पों की सूची <opts> काफी लंबी है, तो आप फिर से एक स्टार्टअप स्क्रिप्ट के विचार पर लौट सकते हैं, लेकिन, इस मामले में, जितना संभव हो उतना कॉम्पैक्ट और घोषणात्मक। कोई सॉफ्टवेयर लॉजिक नहीं।

उदाहरण

एक उदाहरण के रूप में, आइए देखें कि आप नेक्सस 3 स्टार्टअप स्क्रिप्ट को कैसे सरल बना सकते हैं।

सबसे आसान विकल्प, इसलिए इस स्क्रिप्ट के जंगल में नहीं आने के लिए - बस इसे वास्तविक परिस्थितियों में ./nexus start (( ./nexus start ) और परिणाम देखें। उदाहरण के लिए, आप इसके निष्पादन की पूरी प्रक्रिया का निरीक्षण करने के लिए प्रक्रिया तालिका ( ps -ef ) के माध्यम से चल रहे आवेदन की तर्कों की पूरी सूची ( ps -ef माध्यम से) या स्क्रिप्ट को डिबग मोड ( bash -x ./nexus start ) में पा सकते हैं।

 /usr/java/jdk1.8.0_171-amd64/bin/java -server -Dinstall4j.jvmDir=/usr/java/jdk1.8.0_171-amd64 -Dexe4j.moduleName=/home/nexus/nexus-3.12.1-01/bin/nexus -XX:+UnlockDiagnosticVMOptions -Dinstall4j.launcherId=245 -Dinstall4j.swt=false -Di4jv=0 -Di4jv=0 -Di4jv=0 -Di4jv=0 -Di4jv=0 -Xms1200M -Xmx1200M -XX:MaxDirectMemorySize=2G -XX:+UnlockDiagnosticVMOptions -XX:+UnsyncloadClass -XX:+LogVMOutput -XX:LogFile=../sonatype-work/nexus3/log/jvm.log -XX:-OmitStackTraceInFastThrow -Djava.net.preferIPv4Stack=true -Dkaraf.home=. -Dkaraf.base=. -Dkaraf.etc=etc/karaf -Djava.util.logging.config.file=etc/karaf/java.util.logging.properties -Dkaraf.data=../sonatype-work/nexus3 -Djava.io.tmpdir=../sonatype-work/nexus3/tmp -Dkaraf.startLocalConsole=false -Di4j.vpt=true -classpath /home/nexus/nexus-3.12.1-01/.install4j/i4jruntime.jar:/home/nexus/nexus-3.12.1-01/lib/boot/nexus-main.jar:/home/nexus/nexus-3.12.1-01/lib/boot/org.apache.karaf.main-4.0.9.jar:/home/nexus/nexus-3.12.1-01/lib/boot/org.osgi.core-6.0.0.jar:/home/nexus/nexus-3.12.1-01/lib/boot/org.apache.karaf.diagnostic.boot-4.0.9.jar:/home/nexus/nexus-3.12.1-01/lib/boot/org.apache.karaf.jaas.boot-4.0.9.jar com.install4j.runtime.launcher.UnixLauncher start 9d17dc87 '' '' org.sonatype.nexus.karaf.NexusMain 

सबसे पहले, सरल चाल के एक जोड़े को लागू करें:

• परिवर्तन /the/long/and/winding/road/to/my/java से java , क्योंकि यह सिस्टम पथ में है
• जावा पैरामीटर की सूची को एक अलग सरणी में रखें , इसे क्रमबद्ध करें और डुप्लिकेट हटा दें

 JAVA_OPTS = ( '-server' '-Dexe4j.moduleName=/home/nexus/nexus-3.12.1-01/bin/nexus' '-Di4j.vpt=true' '-Di4jv=0' '-Dinstall4j.jvmDir=/usr/java/jdk1.8.0_171-amd64' '-Dinstall4j.launcherId=245' '-Dinstall4j.swt=false' '-Djava.io.tmpdir=../sonatype-work/nexus3/tmp' '-Djava.net.preferIPv4Stack=true' '-Djava.util.logging.config.file=etc/karaf/java.util.logging.properties' '-Dkaraf.base=.' '-Dkaraf.data=../sonatype-work/nexus3' '-Dkaraf.etc=etc/karaf' '-Dkaraf.home=.' '-Dkaraf.startLocalConsole=false' '-XX:+LogVMOutput' '-XX:+UnlockDiagnosticVMOptions' '-XX:+UnlockDiagnosticVMOptions' '-XX:+UnsyncloadClass' '-XX:-OmitStackTraceInFastThrow' '-XX:LogFile=../sonatype-work/nexus3/log/jvm.log' '-XX:MaxDirectMemorySize=2G' '-Xms1200M' '-Xmx1200M' '-classpath /home/nexus/nexus-3.12.1-01/.install4j/i4jruntime.jar:/home/nexus/nexus-3.12.1-01/lib/boot/nexus-main.jar:/home/nexus/nexus-3.12.1-01/lib/boot/org.apache.karaf.main-4.0.9.jar:/home/nexus/nexus-3.12.1-01/lib/boot/org.osgi.core-6.0.0.jar:/home/nexus/nexus-3.12.1-01/lib/boot/org.apache.karaf.diagnostic.boot-4.0.9.jar:/home/nexus/nexus-3.12.1-01/lib/boot/' ) java ${JAVA_OPTS[*]} com.install4j.runtime.launcher.UnixLauncher start 9d17dc87 '' '' org.sonatype.nexus.karaf.NexusMain 

अब तुम गहरे जा सकते हो।

Install4j एक ऐसा ग्राफिकल जावा इंस्टॉलर है। यह सिस्टम की प्रारंभिक स्थापना के लिए उपयोग किया जाता है। हमें सर्वर पर इसकी आवश्यकता नहीं है, हम इसे हटा देते हैं।

हम Nexus सिस्टम और फ़ाइल सिस्टम पर डेटा के प्लेसमेंट पर सहमत हैं:

• एप्लिकेशन को /opt/nexus-<version> में ही /opt/nexus-<version>
• सुविधा के लिए, एक प्रतीकात्मक लिंक /opt/nexus -> /opt/nexus-<version> बनाएं /opt/nexus -> /opt/nexus-<version>
• स्क्रिप्ट को मूल के बजाय /opt/nexus/bin/nexus बजाय रखें
• हमारे नेक्सस के सभी डेटा /data/nexus रूप में माउंट किए गए एक अलग फ़ाइल सिस्टम पर झूठ होंगे

निर्देशिकाओं और लिंक का बहुत निर्माण विन्यास प्रबंधन प्रणालियों की नियति है (सभी के बारे में सब कुछ के लिए (Ansible में 5-10 लाइनों के लिए), तो चलिए इस कार्य को सिस्टम इंजीनियरों के लिए छोड़ देते हैं।

स्टार्टअप पर हमारी स्क्रिप्ट कार्यशील निर्देशिका को /opt/nexus बदल देती है - फिर हम नेक्सस घटकों के पथों को रिश्तेदार को बदल सकते हैं।

फॉर्म का विकल्प -Dkaraf.* Apache Karaf , OSGi कंटेनर जिसमें हमारे Nexus स्पष्ट रूप से "पैक" के लिए सेटिंग्स हैं। घटकों के स्थान के अनुसार karaf.home , karaf.base , karaf.etc और karaf.data बदलें, यदि संभव हो तो रिश्तेदार रास्तों का उपयोग करें।

यह देखते हुए कि CLASSPATH में जार फ़ाइलों की एक सूची होती है जो एक ही lib/ निर्देशिका में set -o noglob , इस पूरी सूची को lib/* बदलें (आपको set -o noglob साथ वाइल्डकार्ड विस्तार बंद करना set -o noglob )।

java को exec java करने के लिए java बदलें ताकि हमारी स्क्रिप्ट एक बच्चे की प्रक्रिया के रूप में java शुरू न करें (प्रक्रिया प्रबंधक इस बच्चे की प्रक्रिया को नहीं देखेगा), लेकिन खुद को java ( निष्पादन का विवरण ) के साथ बदल दें।

आइए देखें क्या हुआ:

 #!/bin/bash JAVA_OPTS=( '-Xms1200M' '-Xmx1200M' '-XX:+UnlockDiagnosticVMOptions' '-XX:+LogVMOutput' '-XX:+UnsyncloadClass' '-XX:LogFile=/data/nexus/log/jvm.log' '-XX:MaxDirectMemorySize=2G' '-XX:-OmitStackTraceInFastThrow' '-Djava.io.tmpdir=/data/nexus/tmp' '-Djava.net.preferIPv4Stack=true' '-Djava.util.logging.config.file=etc/karaf/java.util.logging.properties' '-Dkaraf.home=.' '-Dkaraf.base=.' '-Dkaraf.etc=etc/karaf' '-Dkaraf.data=/data/nexus/data' '-Dkaraf.startLocalConsole=false' '-server' '-cp lib/boot/*' ) set -o noglob cd /opt/nexus \ && exec java ${JAVA_OPTS[*]} org.sonatype.nexus.karaf.NexusMain 

> 400, पारदर्शी, स्पष्ट, घोषणात्मक, कोई अनावश्यक तर्क के बजाय कुल 27 लाइनें। यदि आवश्यक हो, तो इस स्क्रिप्ट को आसानी से Ansible / Puppet / Chef के लिए टेम्पलेट में बदल दिया जा सकता है और केवल उस तर्क को जोड़ सकते हैं जो किसी विशिष्ट स्थिति के लिए आवश्यक है।

इस स्क्रिप्ट को एक डॉकरीफाइल में एक एन्ट्रीपाइंट के रूप में इस्तेमाल किया जा सकता है या सिस्टमड यूनिट-फाइल में बुलाया जा सकता है, साथ ही इसमें उल्टी और अन्य सिस्टम मापदंडों को ट्यूनिंग किया जाता है, उदाहरण के लिए:

 [Unit] Description=Nexus After=network.target [Service] Type=simple LimitNOFILE=1048576 ExecStart=/opt/nexus/bin/nexus User=nexus Restart=on-abort [Install] WantedBy=multi-user.target 

निष्कर्ष

इस लेख से क्या निष्कर्ष निकाला जा सकता है? सिद्धांत रूप में, यह कुछ बिंदुओं पर आता है:

1. प्रत्येक प्रणाली का अपना उद्देश्य होता है, अर्थात्, माइक्रोस्कोप के साथ नाखूनों में हथौड़ा करना आवश्यक नहीं है।
2. सादगी (KISS, YAGNI) टैक्सियों - बस महसूस करने के लिए आप इस विशेष स्थिति के लिए क्या जरूरत है।
3. और सबसे महत्वपूर्ण: यह अच्छा है कि विभिन्न प्रोफाइल के आईटी-विशेषज्ञ हैं। चलो बातचीत करते हैं और हमारे आईटी सिस्टम को सरल, स्पष्ट और बेहतर बनाते हैं! :)

आपका ध्यान के लिए धन्यवाद! मुझे टिप्पणियों में प्रतिक्रिया और रचनात्मक चर्चा करने में खुशी होगी।