👼🏿 🌙 👩🏽‍🚀 एक खरगोश छेद में गिर रहा है: एक वार्निश रिबूट त्रुटि के बारे में एक कहानी

भूतिनशंका , पिछले 20 मिनट के लिए बटन को जोर से दबाया , जैसे कि उसका जीवन इस पर निर्भर था, उसकी आँखों में एक अर्ध-जंगली अभिव्यक्ति और एक धूर्त मुस्कराहट के साथ मेरे पास जाता है - "यार, मुझे लगता है कि मैं समझता हूं।"

"यहाँ पर देखो" - कहते हैं, स्क्रीन पर प्रतीकों में से एक की ओर इशारा करते हुए - "मैंने अपनी लाल टोपी पर शर्त लगाई है कि अगर हम यहाँ जोड़ते हैं जो मैंने अभी आपको भेजा है" - कोड के दूसरे टुकड़े की ओर इशारा करते हुए - "त्रुटि अब नहीं है प्रदर्शित किया जाएगा। ”

थोड़ा हैरान और थका हुआ, मैं उन sed अभिव्यक्ति को बदल देता हूं जो हम कुछ समय से काम कर रहे हैं, फ़ाइल को बचाएं और systemctl varnish reload । त्रुटि संदेश गायब हो गया है ...

"मैं उम्मीदवार के साथ आदान-प्रदान करता हूं," मेरे सहयोगी ने जारी रखा, जबकि उसकी मुस्कराहट खुशी से भरी वास्तविक मुस्कान में बदल जाती है, "यह अचानक मुझ पर हावी हो गया कि यह वास्तव में एक ही समस्या है!"

यह सब कैसे शुरू हुआ

यह आलेख समझ में आता है कि कैसे कामचोर, आवारा, सेड और सिस्टमड काम करते हैं। वार्निश का ज्ञान स्वागत योग्य है लेकिन आवश्यक नहीं है।
स्निपेट टाइमस्टैम्प बदल गया।
भूतिनशंका के साथ लिखा।
यह पाठ दो सप्ताह पहले अंग्रेजी में प्रकाशित मूल का अनुवाद है; boikoden अनुवाद।

सूरज एक और गर्म शरद ऋतु की सुबह मनोरम खिड़कियों के माध्यम से चमकता है, ताजा तैयार कैफीनयुक्त पेय का प्याला कीबोर्ड से दूर रहता है, हेडफोन में ध्वनियों की पसंदीदा सिम्फनी, यांत्रिक कीबोर्ड की सरसराहट को ओवरलैप करती है, और भाग्यपूर्ण शीर्षक "इनवेस्टिग वार्निश" चंचलता से कन्नन बोर्ड पर बैकलॉग टिकट सूची में पहली प्रविष्टि को चमकता है। sh: इको: स्टेजिंग में I / O त्रुटि "(" वार्निशरोड sh: इको: I / O त्रुटि "चरण में देखें)। जब वार्निश की बात आती है, तो कोई त्रुटि नहीं होती है और कोई जगह नहीं हो सकती है, भले ही वे किसी भी समस्या में अनुवाद न करें, जैसा कि इस मामले में है।

वार्निश लोड के साथ अपरिचित लोगों के लिए, यह एक सरल शेल स्क्रिप्ट है जिसका उपयोग वार्निश कॉन्फ़िगरेशन को पुनः लोड करने के लिए किया जाता है - जिसे वीसीएल भी कहा जाता है।

जैसा कि टिकट का नाम बताता है, मंच पर सर्वर में से एक पर एक त्रुटि हुई, और जब से मुझे यकीन था कि मंच पर वार्निश रूटिंग सही ढंग से काम करता है, मैंने मान लिया कि यह एक छोटी सी त्रुटि होगी। तो, बस एक संदेश जो पहले से ही बंद आउटपुट स्ट्रीम में मिला है। मैं अपने आप को टिकट देता हूं, पूरे विश्वास में कि मैं इसे 30 मिनट से कम समय में तैयार होने के लिए चिह्नित करूंगा, अगले कूड़ेदान से बोर्ड को साफ करने और अधिक महत्वपूर्ण मामलों में लौटने के लिए खुद को कंधे पर थपथपाऊंगा।

200 किमी / घंटा की गति से एक दीवार में दुर्घटनाग्रस्त

varnishreload फ़ाइल को खोलने के बाद, डेबियन स्ट्रेच को चलाने वाले सर्वरों में से एक पर, मैंने 200 से कम लाइनों की लंबाई के साथ एक शेल स्क्रिप्ट देखी।

स्क्रिप्ट के माध्यम से चलने के बाद, मुझे ऐसा कुछ भी नज़र नहीं आया, जिसके परिणामस्वरूप समस्याओं को टर्मिनल से सीधे कई बार चलाया जा सके।

अंत में, यह एक चरण है, भले ही यह टूट जाए, कोई शिकायत नहीं करेगा, ठीक है ... बहुत ज्यादा नहीं। मैं स्क्रिप्ट चलाता हूं और देखता हूं कि टर्मिनल को क्या लिखा जाएगा, लेकिन मैं कोई त्रुटि नहीं देख सकता।

एक जोड़े को यह सुनिश्चित करना शुरू हो जाता है कि मैं बिना किसी अतिरिक्त प्रयास के त्रुटि को पुन: पेश नहीं कर सकता हूं, और मैं यह पता लगाना शुरू कर देता हूं कि इस स्क्रिप्ट को कैसे बदलना है और इसे अभी भी एक त्रुटि देना है।

क्या कोई स्क्रिप्ट STDOUT ( > &- का उपयोग करके) को ओवरराइड कर सकती है? या STDERR? परिणामस्वरूप किसी ने काम नहीं किया।

जाहिर है, सिस्टमड किसी तरह स्टार्टअप वातावरण को संशोधित करता है, लेकिन कैसे, और क्यों?
मैं विम को काटता हूं और varnishreload संपादित करता varnishreload , set -x सीधे varnishreload नीचे जोड़ता varnishreload , उम्मीद करता varnishreload कि डिबग स्क्रिप्ट आउटपुट थोड़ा प्रकाश बहाएगा।

फ़ाइल तय हो गई है, इसलिए मैं वार्निश को पुनरारंभ करता हूं और देखता हूं कि परिवर्तन ने पूरी तरह से सब कुछ तोड़ दिया ... निकास एक पूर्ण गड़बड़ है, जिसमें टन जैसे सी-कोड हैं। यहां तक कि टर्मिनल में स्क्रॉल करना यह खोजने के लिए पर्याप्त नहीं है कि यह कहां से शुरू होता है। मैं पूरी तरह से भ्रमित हूँ। क्या डिबग मोड स्क्रिप्ट में लॉन्च किए गए कार्यक्रमों के काम को प्रभावित कर सकता है? नहीं, बकवास। खोल में एक बग? कई संभावित परिदृश्य मेरे सिर के माध्यम से भागते हैं जैसे विभिन्न दिशाओं में तिलचट्टे। एक कप कैफीन-पूर्ण पेय तुरंत खाली कर दिया, स्टॉक को फिर से भरने के लिए रसोई की एक त्वरित यात्रा और ... चलो चलें। मैं स्क्रिप्ट खोलता हूं और शेबंग को देखता हूं: #!/bin/sh ।

/bin/sh बस बैश सिमिलिंक है, इसलिए स्क्रिप्ट की व्याख्या POSIX- संगत मोड में की जाती है, है ना? वहाँ यह था! डेबियन में डिफ़ॉल्ट शेल पानी का छींटा है, और यही वास्तव में /bin/sh संदर्भित है ।

 # ls -l /bin/sh lrwxrwxrwx 1 root root 4 Jan 24 2017 /bin/sh -> dash

मुकदमे के लिए, मैंने शेबंग को #!/bin/bash में बदल दिया, set -x हटा दिया और फिर से कोशिश की। अंत में, वार्निश के बाद के रिबूट के दौरान, आउटपुट में एक सहनीय त्रुटि दिखाई दी:

 Jan 01 12:00:00 hostname varnishreload[32604]: /usr/sbin/varnishreload: line 124: echo: write error: Broken pipe Jan 01 12:00:00 hostname varnishreload[32604]: VCL 'reload_20190101_120000_32604' compiled

रेखा १२४, वहाँ यह है!

 114 find_vcl_file() { 115 VCL_SHOW=$(varnishadm vcl.show -v "$VCL_NAME" 2>&1) || : 116 VCL_FILE=$( 117 echo "$VCL_SHOW" | 118 awk '$1 == "//" && $2 == "VCL.SHOW" {print; exit}' | { 119 # all this ceremony to handle blanks in FILE 120 read -r DELIM VCL_SHOW INDEX SIZE FILE 121 echo "$FILE" 122 } 123 ) || : 124 125 if [ -z "$VCL_FILE" ] 126 then 127 echo "$VCL_SHOW" >&2 128 fail "failed to get the VCL file name" 129 fi 130 131 echo "$VCL_FILE" 132 }

लेकिन जैसा कि यह निकला, लाइन 124 काफी खाली है और कोई दिलचस्पी नहीं है। मैं केवल यह मान सकता था कि लाइन ११६ पर शुरू होने वाली मल्टी-लाइन के हिस्से के रूप में त्रुटि उत्पन्न हुई।
उपर्युक्त उप-शेल के निष्पादन के परिणामस्वरूप VCL_FILE चर को आखिर क्या लिखा जाता है?

शुरुआत में, यह पाइप के माध्यम से अगले कमांड पर लाइन 115 पर बनाए गए VLC_SHOW चर की सामग्री भेजता है। और फिर तब क्या होता है?

सबसे पहले, यह वार्निश अधिष्ठापन पैकेज का हिस्सा है, जो वार्निश को पुनरारंभ किए बिना वार्निश को कॉन्फ़िगर करने के लिए उपयोग करता है।

vcl.show -v उपयोग STDOUT में ${VCL_NAME} में निर्दिष्ट संपूर्ण VCL कॉन्फ़िगरेशन को आउटपुट करने के लिए किया जाता है।

वर्तमान सक्रिय VCL कॉन्फ़िगरेशन, साथ ही वार्निश रूटिंग कॉन्फ़िगरेशन के कई पिछले संस्करण प्रदर्शित करने के लिए जो अभी भी मेमोरी में हैं, आप varnishadm vcl.list उपयोग कर सकते हैं, जिसका आउटपुट नीचे दिए गए के समान होगा:

 discarded cold/busy 1 reload_20190101_120000_11903 discarded cold/busy 2 reload_20190101_120000_12068 discarded cold/busy 16 reload_20190101_120000_12259 discarded cold/busy 16 reload_20190101_120000_12299 discarded cold/busy 28 reload_20190101_120000_12357 active auto/warm 32 reload_20190101_120000_12397 available auto/warm 0 reload_20190101_120000_12587

चर ${VCL_NAME} varnishreload स्क्रिप्ट के किसी अन्य भाग में वर्तमान में सक्रिय VCL, यदि कोई हो, के नाम पर सेट किया गया है। इस मामले में, यह "reload_20190101_120000_12397" होगा।

महान, चर ${VCL_SHOW} में वार्निश के लिए पूर्ण कॉन्फ़िगरेशन शामिल है, अब तक यह स्पष्ट है। अब, मैं अंत में समझ गया था कि set -x साथ डैश आउटपुट इतना टूट गया था - इसमें परिणामी कॉन्फ़िगरेशन की सामग्री शामिल थी।

यह समझना महत्वपूर्ण है कि एक पूर्ण वीसीएल कॉन्फ़िगरेशन को अक्सर कई फाइलों से एक साथ जोड़ा जा सकता है। C शैली टिप्पणियों का उपयोग यह निर्धारित करने के लिए किया जाता है कि कुछ कॉन्फ़िगरेशन फ़ाइलों को दूसरों में शामिल किया गया था, और यह वही है जो नीचे दिए गए कोड स्निपेट की पूरी पंक्ति के बारे में है।
शामिल फ़ाइलों का वर्णन करने वाली टिप्पणियों के सिंटैक्स में निम्न प्रारूप है:

 // VCL.SHOW <NUM> <NUM> <FILENAME>

इस संदर्भ में नंबर महत्वपूर्ण नहीं हैं, हम फ़ाइल नाम में रुचि रखते हैं।

तो लाइन 116 पर शुरू होने वाली टीमों के दलदल में क्या चल रहा है?
चलिए इसका पता लगाते हैं।
टीम में चार भाग होते हैं:

एक साधारण echo जो चर ${VCL_SHOW} के मूल्य को प्रदर्शित करता है
```
 echo "$VCL_SHOW" 
```
awk , जो एक लाइन (रिकॉर्ड) की तलाश में है, जहां पाठ को तोड़ने के बाद पहला क्षेत्र "//" और दूसरा "VCL.SHOW" होगा।
Awk इन पैटर्नों से मेल खाते हुए पहली पंक्ति लिखेंगे, और फिर तुरंत प्रसंस्करण बंद कर देंगे।
```
 awk '$1 == "//" && $2 == "VCL.SHOW" {print; exit}' 
```
कोड का एक खंड जो रिक्त स्थान द्वारा अलग किए गए पांच चर क्षेत्र मूल्यों में संग्रहीत करता है। पांचवें File वैरिएबल को बाकी स्ट्रिंग मिलती है। अंत में, अंतिम गूंज चर ${FILE} की सामग्री को लिखता है।
```
 { read -r DELIM VCL_SHOW INDEX SIZE FILE; echo "$FILE" } 
```
चूंकि सभी चरण 1 से 3 एक उप-शेल में संलग्न हैं, $FILE मूल्य $FILE का आउटपुट वेरिएबल VCL_FILE लिए लिखा जाएगा।

लाइन 119 पर टिप्पणी के अनुसार, यह एक उद्देश्य प्रदान करता है: उन मामलों को मज़बूती से संभालने के लिए जहां वीसीएल नाम के स्थान के साथ फ़ाइलों का उल्लेख करेगा।

मैंने ${VCL_FILE} लिए मूल प्रसंस्करण तर्क पर टिप्पणी की और कमांड के अनुक्रम को बदलने की कोशिश की, लेकिन इससे कुछ भी नहीं हुआ। मेरे लिए सब कुछ सफाई से काम किया, और सेवा शुरू करने के मामले में, यह एक त्रुटि दी।

ऐसा लगता है कि जब आप स्क्रिप्ट को मैन्युअल रूप से चलाते हैं, तो त्रुटि केवल प्रतिलिपि प्रस्तुत करने योग्य नहीं होती है, जबकि अपेक्षित 30 मिनट पहले ही छह बार समाप्त हो चुके होते हैं, और परिशिष्ट में, एक उच्च प्राथमिकता वाला कार्य दिखाई देता है, बाकी मामलों को एक तरफ धकेल देता है। सप्ताह के बाकी हिस्सों को विभिन्न प्रकार के कार्यों के साथ पैक किया गया था और केवल सीड पर एक रिपोर्ट और उम्मीदवार के साथ एक साक्षात्कार के साथ थोड़ा पतला था। varnishreload साथ समस्या समय की रेत में खो गई थी।

अपने तथाकथित sed- फू ... वास्तव में ... बकवास

अगला हफ्ता एक दिन बहुत ख़राब हो गया, इसलिए फिर से मैंने इस टिकट को लेने का फैसला किया। मैं उम्मीद कर रहा था कि मेरे दिमाग में, इस समय कुछ पृष्ठभूमि प्रक्रिया इस समस्या के समाधान की तलाश में थी, और इस बार मैं निश्चित रूप से समझता हूं कि यह क्या है।

चूंकि पिछली बार एक साधारण कोड परिवर्तन ने मदद नहीं की थी, इसलिए मैंने इसे 116 वीं पंक्ति से शुरू करने के लिए फिर से लिखने का फैसला किया। किसी भी मामले में, मौजूदा कोड घटिया था। और इसमें read लिए उपयोग करने की बिल्कुल आवश्यकता नहीं read ।

फिर से त्रुटि को देखते हुए:
sh: echo: broken pipe - इस कमांड में इको दो जगहों पर होती है, लेकिन मुझे संदेह है कि पहले अधिक संभावित अपराधी है (अच्छी तरह से, या कम से कम एक साथी)। अवाक भी विश्वसनीय नहीं है। और मामले में यह वास्तव में awk | {read; echo} awk | {read; echo} awk | {read; echo} निर्माण इन सभी समस्याओं की ओर जाता है, इसे प्रतिस्थापित क्यों नहीं किया जाता है? यह एक-पंक्ति कमांड awk की सभी विशेषताओं का उपयोग नहीं करता है, और यहां तक कि उपांग में भी यह अतिरिक्त read जाता है।

चूँकि पिछले हफ्ते sed पर एक रिपोर्ट आई थी, मैं अपने नए अधिग्रहीत कौशल को आज़माना चाहता था और echo | awk | { read; echo} सरल बनाना चाहता था echo | awk | { read; echo} echo | awk | { read; echo} अधिक समझ में आने वाली echo | sed echo | sed । हालांकि यह निश्चित रूप से एक त्रुटि का पता लगाने के लिए सबसे अच्छा तरीका नहीं है, मैंने सोचा कि कम से कम मैं अपने सेड-फू की कोशिश करूंगा और शायद समस्या के बारे में कुछ नया सीखूं। इस प्रक्रिया में, मैंने अपने सहयोगी, सीड पर रिपोर्ट के लेखक से पूछा, जिससे मुझे अधिक प्रभावी सेड स्क्रिप्ट के साथ आने में मदद मिल सके।

मैंने varnishadm vcl.show -v "$VCL_NAME" सामग्री को फ़ाइल में varnishadm vcl.show -v "$VCL_NAME" कर दिया है, इसलिए मैं सेवा को पुनः लोड करने से जुड़ी किसी भी परेशानी के बिना एक सिड स्क्रिप्ट लिखने पर ध्यान केंद्रित कर सकता हूं।

अपने जीएनयू मैनुअल में इनपुट को कैसे हैंडल किया जाता है, इसका संक्षिप्त विवरण। Sed स्रोतों में, \n वर्ण स्पष्ट रूप से एक लाइन विभाजक के रूप में निर्दिष्ट होता है।

कई पासों में और मेरे सहयोगी की सिफारिशों के साथ, हमने एक सीड स्क्रिप्ट लिखी, जिसने पूरे सोर्स लाइन 116 के समान परिणाम दिया।

निम्नलिखित एक नमूना इनपुट फ़ाइल है:

 > cat vcl-example.vcl Text // VCL.SHOW 0 1578 file with 3 spaces.vcl More text // VCL.SHOW 0 1578 file.vcl Even more text // VCL.SHOW 0 1578 file with TWOspaces.vcl Final text

यह उपरोक्त विवरण से स्पष्ट नहीं हो सकता है, लेकिन हम केवल पहली टिप्पणी // VCL.SHOW में रुचि रखते हैं, और इनपुट में उनमें से कई हो सकते हैं। यही कारण है कि मूल awk पहले मैच के बाद अपना काम खत्म कर देता है।

 #  ,      #   sed,  -    '\#'    '/',           #    “// VCL.SHOW”,       #  -n   ,  sed     ,       (.  ) # -E      > cat vcl-processor-1.sed \#// VCL.SHOW#p > sed -En -f vcl-processor-1.sed vcl-example.vcl // VCL.SHOW 0 1578 file with 3 spaces.vcl // VCL.SHOW 0 1578 file.vcl // VCL.SHOW 0 1578 file with TWOspaces.vcl #  ,     #   “substitute”,     ,    a #      ,    > cat vcl-processor-2.sed \#// VCL.SHOW# { s#.* [0-9]+ [0-9]+ (.*)$#\1# p } > sed -En -f vcl-processor-2.sed vcl-example.vcl file with 3 spaces.vcl file.vcl file with TWOspaces.vcl #  ,      #      awk,         > cat vcl-processor-3.sed \#// VCL.SHOW# { s#.* [0-9]+ [0-9]+ (.*)$#\1# p q } > sed -En -f vcl-processor-3.sed vcl-example.vcl file with 3 spaces.vcl #  ,    ,      > sed -En -e '\#// VCL.SHOW#{s#.* [0-9]+ [0-9]+ (.*)$#\1#p;q;}' vcl-example.vcl file with 3 spaces.vcl

तो, वार्निश लोड स्क्रिप्ट की सामग्री कुछ इस तरह दिखाई देगी:

 VCL_FILE="$(echo "$VCL_SHOW" | sed -En '\#// VCL.SHOW#{s#.*[0-9]+ [0-9]+ (.*)$#\1#p;q;};')"

उपरोक्त तर्क को संक्षेप में प्रस्तुत किया जा सकता है:
यदि रेखा नियमित अभिव्यक्ति // VCL.SHOW से मेल खाती है, तो लालच से उस पाठ को खाएं जिसमें इस पंक्ति में दोनों संख्याएं शामिल हैं और इस ऑपरेशन के बाद बनी हुई सभी चीज़ों को सहेज लें। सहेजे गए मान दें और प्रोग्राम समाप्त करें।

सरल, सही?

हम सीड स्क्रिप्ट और इस तथ्य से प्रसन्न थे कि यह सभी मूल कोड को बदल देता है। मेरे सभी परीक्षणों ने वांछित परिणाम दिए, इसलिए मैंने सर्वर पर " systemctl reload varnish " को बदल दिया और फिर से व्यवस्थित रूप से systemctl reload varnish चलाया। गंदी त्रुटि echo: write error: Broken pipe हमारे चेहरे पर फिर से हँसा। विंकिंग कर्सर टर्मिनल के अंधेरे खालीपन में एक नई कमांड के प्रवेश की प्रतीक्षा कर रहा था ...

एक खरगोश छेद में गिर रहा है: एक वार्निश रिबूट त्रुटि के बारे में एक कहानी - भाग 1

यह सब कैसे शुरू हुआ

200 किमी / घंटा की गति से एक दीवार में दुर्घटनाग्रस्त

अपने तथाकथित sed- फू ... वास्तव में ... बकवास

More articles: