🍑 🍓 🛌🏾 एक वितरित php एप्लिकेशन में लॉगिंग 🧑 ‼️ 🦋

आलेख लॉगिंग के लाभों पर चर्चा करेगा। मैं PSR पर लॉग के बारे में बताऊंगा। मैं लॉग इवेंट के स्तर, संदेश और संदर्भ के साथ काम करने पर कुछ व्यक्तिगत सिफारिशें जोड़ूंगा। एक उदाहरण दिया जाएगा कि कैसे लारवेल में लिखे गए आवेदन में ईएलके का उपयोग करके लॉगिंग और निगरानी को व्यवस्थित किया जाए और कई उदाहरणों पर डॉकर के माध्यम से लॉन्च किया जाए। मैं चेतावनी प्रणाली के एक महत्वपूर्ण नियम पर हस्ताक्षर करूंगा। मैं एक स्क्रिप्ट का एक उदाहरण दूंगा जो एक कमांड के साथ पूरे मॉनिटरिंग स्टैक को उठाता है।

लॉगिंग का लाभ

अच्छी तरह से व्यवस्थित लॉगिंग कम से कम निम्नलिखित की अनुमति देता है:

यह जानने के लिए कि कुछ इरादा नहीं है (त्रुटियाँ हैं)
त्रुटि के विवरण को जानें, जो यह बताने में मदद करेगा कि त्रुटि कहां और कहां हुई, और एक दोहराने से रोकें
यह जानने के लिए कि सब कुछ योजना के अनुसार हो रहा है (access.log, debug-, info-level)

स्वयं लॉग इन करना यह सब आपको नहीं बताएगा, लेकिन लॉग्स की मदद से घटनाओं का विवरण अपने आप पता लगाना या लॉग मॉनिटरिंग सिस्टम को कॉन्फ़िगर करना संभव होगा जो समस्याओं की सूचना देने में सक्षम होगा। यदि लॉग में संदेश पर्याप्त मात्रा में संदर्भ के साथ हैं, तो यह डीबगिंग को बहुत सरल करता है, क्योंकि आपके पास उस स्थिति के बारे में अधिक डेटा तक पहुंच होगी जिसमें घटना हुई थी।

क्या लिखना है और क्या लिखना है

Php समुदाय के हिस्से ने कुछ कोड लेखन कार्यों के लिए सिफारिशें विकसित की हैं। ऐसी ही एक सिफारिश PSR-3 लकड़हारा इंटरफ़ेस है । यह सिर्फ यह बताता है कि आपको लॉग इन करने की क्या आवश्यकता है। इसके लिए, "psr / log" पैकेज का Psr\Log\LoggerInterface विकसित किया गया है। इसका उपयोग करते समय, आपको घटना के तीन घटकों के बारे में जानना होगा:

स्तर - घटना महत्व
संदेश - घटना का वर्णन करने वाला पाठ
प्रसंग - घटना के बारे में अतिरिक्त जानकारी की एक सरणी

PSR-3 इवेंट लेवल

स्तर RFC 5424 से उधार लिए गए हैं - Syslog प्रोटोकॉल, उनका अनुमानित विवरण निम्नानुसार है:

डीबग - डिबगिंग के लिए विवरण
जानकारी - दिलचस्प घटनाएँ
सूचना - सामग्री की घटनाएं, लेकिन त्रुटियां नहीं
चेतावनी - असाधारण मामले, लेकिन त्रुटियां नहीं
त्रुटि - निष्पादन की त्रुटियां जिन्हें क्षणिक हस्तक्षेप की आवश्यकता नहीं है
आलोचनात्मक - गंभीर परिस्थितियाँ (सिस्टम घटक अनुपलब्ध, अप्रत्याशित अपवाद है)
चेतावनी - कार्रवाई के लिए तत्काल हस्तक्षेप की आवश्यकता है
आपातकाल - प्रणाली काम नहीं कर रही है

एक वर्णन है, लेकिन कुछ घटनाओं के महत्व को निर्धारित करने में कठिनाई के कारण इसका पालन करना हमेशा आसान नहीं होता है। उदाहरण के लिए, एकल अनुरोध के संदर्भ में, कनेक्टेड संसाधन तक पहुँच संभव नहीं था। इस घटना को रिकॉर्ड करते समय, हमें नहीं पता कि ऐसा कोई अनुरोध विफल हुआ, या शायद केवल एक उपयोगकर्ता विफल हो गया। यह इस पर निर्भर करता है कि क्या तत्काल हस्तक्षेप की आवश्यकता है या यदि यह एक दुर्लभ मामला है, तो यह इंतजार कर सकता है या यहां तक कि अनदेखा भी किया जा सकता है। इस तरह के मुद्दों को निगरानी लॉग के ढांचे में हल किया जाता है। लेकिन आपको अभी भी स्तर निर्धारित करने की आवश्यकता है। इसलिए, टीम में लॉगिंग स्तरों पर सहमति हो सकती है। एक उदाहरण:

आपातकालीन बाहरी प्रणालियों का स्तर है जो आपके सिस्टम को देख सकता है और यह सुनिश्चित करने के लिए निर्धारित करता है कि यह पूरी तरह से काम नहीं कर रहा है, या इसका स्व-निदान काम नहीं कर रहा है।
चेतावनी - सिस्टम स्वयं अपने राज्य का निदान कर सकता है, उदाहरण के लिए, एक निर्धारित कार्य के साथ, और परिणामस्वरूप इस स्तर के साथ एक घटना रिकॉर्ड करता है। यह जुड़े संसाधनों या कुछ विशिष्ट की जांच हो सकती है, उदाहरण के लिए, उपयोग किए गए बाहरी संसाधन के खाते पर एक संतुलन।
महत्वपूर्ण - एक घटना जब एक विफलता एक प्रणाली घटक देती है जो बहुत महत्वपूर्ण है और हमेशा काम करना चाहिए। यह पहले से ही बहुत कुछ निर्भर करता है कि सिस्टम क्या करता है। उन घटनाओं के लिए उपयुक्त है जो जल्दी से पता लगाने के लिए महत्वपूर्ण हैं, भले ही यह केवल एक बार हुआ हो।
त्रुटि - एक ऐसी घटना हुई है, जिसके बारे में जल्द ही दोहराते समय, आपको रिपोर्ट करने की आवश्यकता है। कार्रवाई को पूरा करने में विफल, जिसे निष्पादित किया जाना चाहिए, लेकिन यह कार्रवाई महत्वपूर्ण के विवरण के अंतर्गत नहीं आती है। उदाहरण के लिए, उपयोगकर्ता के प्रोफ़ाइल चित्र को उसके अनुरोध पर सहेजना संभव नहीं था, लेकिन सिस्टम एक प्रोफ़ाइल चित्र सेवा नहीं है, बल्कि एक चैट प्रणाली है।
चेतावनी - घटनाओं, जिनमें से तत्काल अधिसूचना के लिए आपको समय की एक महत्वपूर्ण संख्या डायल करने की आवश्यकता होती है। एक कार्रवाई करने में विफल, जिसकी विफलता कुछ भी गंभीर नहीं तोड़ती है। ये अभी भी त्रुटियां हैं, लेकिन इनमें से सुधार कार्य अनुसूची के लिए इंतजार कर सकते हैं। उदाहरण के लिए, उपयोगकर्ता के अवतार को सहेजना संभव नहीं था, और सिस्टम एक ऑनलाइन स्टोर था। अचानक विसंगतियों के बारे में जानने के लिए उनके बारे में अधिसूचना (उच्च आवृत्ति पर) आवश्यक है, क्योंकि वे अधिक गंभीर समस्याओं के लक्षण हो सकते हैं।
नोटिस - ये ऐसी घटनाएं हैं जो सिस्टम द्वारा प्रदान किए गए विचलन की रिपोर्ट करती हैं जो सिस्टम के सामान्य कामकाज का हिस्सा हैं। उदाहरण के लिए, उपयोगकर्ता ने प्रवेश द्वार पर गलत पासवर्ड निर्दिष्ट किया, उपयोगकर्ता ने मध्य नाम नहीं भरा, लेकिन यह आवश्यक नहीं है, उपयोगकर्ता ने 0 रूबल के लिए ऑर्डर खरीदा, लेकिन यह आपके लिए दुर्लभ मामलों में प्रदान किया गया है। उच्च आवृत्ति पर उन पर एक अधिसूचना भी आवश्यक है, क्योंकि विचलन की संख्या में तेज वृद्धि एक गलती का परिणाम हो सकती है जिसे तत्काल ठीक करने की आवश्यकता है।
जानकारी - घटनाओं, की घटना जो सिस्टम के सामान्य कामकाज की रिपोर्ट करती है। उदाहरण के लिए, एक उपयोगकर्ता ने पंजीकरण किया है, एक उपयोगकर्ता ने एक उत्पाद खरीदा है, एक उपयोगकर्ता ने प्रतिक्रिया छोड़ दी है। ऐसी घटनाओं के लिए अधिसूचना को विपरीत तरीके से कॉन्फ़िगर करने की आवश्यकता है: यदि इस तरह की घटनाओं की अपर्याप्त संख्या समय के साथ हुई है, तो आपको सूचित करने की आवश्यकता है, क्योंकि उनकी कमी त्रुटि के परिणामस्वरूप हो सकती है।
डिबग - सिस्टम पर किसी प्रक्रिया को डीबग करने के लिए ईवेंट। जब आप घटना के संदर्भ में पर्याप्त डेटा जोड़ते हैं, तो आप समस्या का निदान कर सकते हैं, या यह निष्कर्ष निकाल सकते हैं कि सिस्टम में प्रक्रिया ठीक से काम कर रही है। उदाहरण के लिए, एक उपयोगकर्ता ने एक उत्पाद पृष्ठ खोला और सिफारिशों की एक सूची प्राप्त की। महत्वपूर्ण रूप से भेजी गई घटनाओं की संख्या में वृद्धि होती है, इसलिए थोड़ी देर के बाद ऐसी घटनाओं के लॉगिंग को हटाने की अनुमति है। नतीजतन, सामान्य ऑपरेशन में ऐसी घटनाओं की संख्या परिवर्तनीय होगी, फिर उन पर अधिसूचना के लिए निगरानी को छोड़ा जा सकता है।

घटना संदेश

PSR-3 द्वारा, संदेश को __toString() विधि के साथ एक स्ट्रिंग या ऑब्जेक्ट होना चाहिए। इसके अलावा, PSR-3 के अनुसार, संदेश पंक्ति में ”User {username} created” गए फ़ॉर्म के प्लेसहोल्डर हो सकते हैं, जिन्हें संदर्भ सरणी से मान द्वारा प्रतिस्थापित किया जा सकता है। मॉनिटरिंग के लिए एलियस्टैकिसर्च और किबाना का उपयोग करते समय, मैं प्लेसहोल्डर्स का उपयोग नहीं करने की सलाह देता हूं, लेकिन फिक्स्ड लाइनें लिखना, क्योंकि यह इवेंट फ़िल्टरिंग को सरल करेगा, और संदर्भ हमेशा रहेगा। इसके अलावा, मैं संदेश के लिए अतिरिक्त आवश्यकताओं पर ध्यान देने का प्रस्ताव करता हूं:

पाठ छोटा लेकिन सार्थक होना चाहिए। यह वह है जो अलर्ट में आएगा, और उन घटनाओं की सूची में होगा जो घटित हुई हैं।
कार्यक्रम के विभिन्न हिस्सों के लिए पाठ अद्वितीय होना बेहतर है। यह बिना किसी संदर्भ में देखे, यह समझने के लिए कि घटना किस भाग में हुई है, अलर्ट से संभव होगी।

घटना का संदर्भ

PSR-3 के लिए घटना का संदर्भ चर मानों का एक सरणी (संभवतः नेस्टेड) है, उदाहरण के लिए, इकाई आईडी। यदि संदेश ईवेंट के बारे में स्पष्ट है तो संदर्भ को खाली छोड़ा जा सकता है। एक अपवाद लॉगिंग के मामले में, आपको पूरे अपवाद को पास करना चाहिए, न कि केवल getMessage() । NormalizerFormatter के माध्यम से मोनोलॉग का उपयोग करते समय , उपयोगी डेटा स्वचालित रूप से अपवाद से निकाला जाएगा और स्टैक ट्रेस सहित ईवेंट संदर्भ में जोड़ा जाएगा। यानी आपको इसके बदले जरूरत है

 [ 'exception' => $exception->getMessage(), ]

उपयोग करने के लिए

 [ 'exception' => $exception, ]

लारवेल में, आप स्वचालित रूप से घटनाओं में घटनाओं के लिए डेटा दर्ज कर सकते हैं। यह ग्लोबल लॉग कॉनटेक्स्ट (केवल असफल अपवादों के लिए या report() ) के माध्यम से, या लॉगफ़ॉर्मर (सभी घटनाओं के लिए) के माध्यम से किया जा सकता है। आमतौर पर, सूचना को वर्तमान उपयोगकर्ता की आईडी के साथ जोड़ा जाता है, URI, IP, UUID और इस तरह का अनुरोध करें।

जब एक लॉग रिपॉजिटरी के रूप में एलिटिक्स खोज का उपयोग करते हैं, तो याद रखें कि यह निश्चित डेटा प्रकारों का उपयोग करता है। यही है, यदि आपने किसी संख्या के संदर्भ में customer_id पारित किया है, तो जब आप किसी ईवेंट को किसी भिन्न प्रकार से सहेजने का प्रयास करते हैं, उदाहरण के लिए, एक स्ट्रिंग (uuid), तो ऐसा संदेश नहीं लिखा जाएगा। सूचकांक में प्रकार तब तय किए जाते हैं जब मूल्य पहले प्राप्त होता है। यदि हर दिन अनुक्रमित किए जाते हैं, तो नए प्रकार को केवल अगले दिन दर्ज किया जाएगा। लेकिन यहां तक कि यह सभी समस्याओं का समाधान नहीं करेगा, क्योंकि किबना के लिए प्रकार मिश्रित होंगे और प्रकार से जुड़े कुछ संचालन तब तक उपलब्ध नहीं होंगे जब तक कि मिश्रित सूचकांक नहीं होंगे।

इस समस्या को रोकने के लिए, मेरा सुझाव है कि आप नियमों का पालन करें:

बहुत सामान्य कुंजी नामों का उपयोग न करें, जो विभिन्न प्रकार के हो सकते हैं
यदि आप इसके प्रकार के बारे में सुनिश्चित नहीं हैं, तो एक मूल्य प्रकार की स्पष्ट ढलाई करें

उदाहरण: इसके बजाय

 [ 'response' => $response->all(), 'customer_id' => $id, 'value' => $someValue, ]

उपयोग करने के लिए

 [ 'smsc_response_data' => json_encode($response->all()), 'customer_id' => (string) $customer_id, 'smsc_request_some_value' => (string) $someValue, ]

कोड से एक लकड़हारा बुला रहा है

लॉग में किसी घटना को जल्दी से रिकॉर्ड करने के लिए, आप कई विकल्पों के साथ आ सकते हैं। आइए उनमें से कुछ पर विचार करें।

वैश्विक फ़ंक्शन log() घोषणा करें और इसे कार्यक्रम के विभिन्न हिस्सों से कॉल करें। इस दृष्टिकोण के कई नुकसान हैं। उदाहरण के लिए, उन कक्षाओं में जहां हम इस फ़ंक्शन का उपयोग करते हैं, एक अंतर्निहित निर्भरता बनती है। इससे बचना चाहिए। इसके अलावा, इस तरह के एक लकड़हारा को कॉन्फ़िगर करना मुश्किल है जब सिस्टम को कई अलग-अलग होने की आवश्यकता होती है। एक और दोष, अगर हम लारवेल के साथ काम करने के बारे में बात कर रहे हैं, तो यह है कि हम इस समस्या को हल करने के लिए रूपरेखा द्वारा प्रदान की गई सुविधाओं का उपयोग नहीं करते हैं।
Laravel facade \ Log का उपयोग करें। इस दृष्टिकोण के साथ, इस पहलू तक पहुँचने वाले सिस्टम के कुछ हिस्सों की रूपरेखा पर निर्भर होना शुरू हो जाता है। सिस्टम के कुछ हिस्सों में जिन्हें हम फ्रेमवर्क से हटाने नहीं जा रहे हैं, ऐसा समाधान काफी उपयुक्त है। उदाहरण के लिए, कंसोल कमांड, बैकग्राउंड टास्क, कंट्रोलर के कुछ उदाहरणों से लिखें। या जब पहले से ही सेवाओं की जटिल संरचना है, और एक लकड़हारा का उदाहरण फेंकना इतना सरल नहीं है।
app() और resolve() ढांचे के सहायकों के माध्यम से लकड़हारा निर्भरता को resolve() । दृष्टिकोण का उपयोग करने के समान ही नुकसान है, लेकिन आपको थोड़ा और कोड लिखने की आवश्यकता है।
वर्ग के निर्माता में लकड़हारा पर निर्भरता निर्दिष्ट करें जो यह लकड़हारा उपयोग करेगा। उसी समय, डीआईपी के अनुपालन के लिए उसी LoggerInterface को प्रकार के रूप में निर्दिष्ट किया जाना चाहिए। ऑटोवेयरिंग फ्रेमवर्क के लिए धन्यवाद, निर्भरताएं अपने घोषित सार के कार्यान्वयन में स्वचालित रूप से हल हो जाएंगी। लारवेल में, कुछ निर्भरता वर्गों को एक अलग विधि में निर्दिष्ट किया जा सकता है, इसके बजाय पूरे वर्ग के निर्माता में निर्दिष्ट किया जा सकता है।

कोड में जहां लकड़हारा को बुलाने के लिए

परियोजना में कोड को व्यवस्थित करते समय, यह सवाल उठ सकता है कि मुझे किस वर्ग में लॉग को लिखना चाहिए। क्या यह एक सेवा होनी चाहिए? या यह किया जाना चाहिए जहां सेवा को कहा जाता है: नियंत्रक, पृष्ठभूमि कार्य, कंसोल कमांड? या प्रत्येक अपवाद को यह तय करना चाहिए कि अपनी report (लारवेल) विधि का उपयोग करके लॉग को क्या लिखना है? एक साथ सभी प्रश्नों का सरल उत्तर नहीं है।

लारवेल द्वारा दिए गए अवसर पर विचार करें कि अपवाद वर्ग को स्वयं लॉग इन करने का कार्य सौंपें। एक अपवाद यह नहीं जान सकता है कि सिस्टम के लिए किसी घटना के स्तर को निर्धारित करना कितना महत्वपूर्ण है। इसके अलावा, एक अपवाद के संदर्भ तक पहुंच नहीं है जब तक कि यह विशेष रूप से जोड़ा नहीं जाता है जब यह अपवाद कहा जाता है। एक अपवाद पर render विधि को कॉल करने के render , आपको या तो अपवाद को नहीं पकड़ना चाहिए (वैश्विक ErrorHandler का उपयोग किया जाएगा), या report() पकड़ने और report() वैश्विक सहायक report() उपयोग करें। यह विधि हमें हर बार PSR-3 लकड़हारा को कॉल न करने की अनुमति देती है जहां हम इस अपवाद को पकड़ सकते हैं। लेकिन मुझे नहीं लगता कि यह इस तरह की जिम्मेदारी देने के लायक है।

ऐसा लग सकता है कि हम हमेशा केवल सेवाओं में ही लॉग इन कर सकते हैं। दरअसल, कुछ सेवाओं में आप लॉगिंग कर सकते हैं। लेकिन एक ऐसी सेवा पर विचार करें जो परियोजना पर निर्भर नहीं करती है और सामान्य तौर पर, हम इसे एक अलग पैकेज में रखने की योजना बनाते हैं। तब यह सेवा परियोजना में इसके महत्व के बारे में नहीं जानती है, और इसलिए, लॉगिंग के स्तर को निर्धारित करने में सक्षम नहीं होगी। उदाहरण के लिए, एक विशिष्ट एसएमएस गेटवे के साथ एक एकीकरण सेवा। यदि हमें एक नेटवर्क त्रुटि मिलती है, तो इसका मतलब यह नहीं है कि यह काफी गंभीर है। शायद सिस्टम में एक अन्य एसएमएस गेटवे के साथ एकीकरण सेवा है, जिसके माध्यम से भेजने का दूसरा प्रयास होगा, फिर पहले से त्रुटि को चेतावनी के रूप में और दूसरे के त्रुटि के रूप में रिपोर्ट किया जा सकता है। केवल अब इन सभी एकीकरणों को किसी अन्य सेवा से कॉल किया जाना चाहिए, जो वास्तव में लॉग इन करेगा। यह पता चला है कि त्रुटि एक सेवा में है, और हम दूसरे में लॉग इन करते हैं। लेकिन कभी-कभी हमारे पास किसी अन्य सेवा पर एक सेवा आवरण नहीं होता है - हम इसे नियंत्रक से सही कहते हैं। इस मामले में, मैं इसे लॉगिंग के लिए सेवा डेकोरेटर लिखने के बजाय नियंत्रक में लॉग को लिखने के लिए अनुमति देना उचित मानता हूं।

एक उदाहरण जो निर्भरता और पासिंग संदर्भ के उपयोग को दर्शाता है:

 <?php namespace App\Console\Commands; use App\Services\ExampleService; use Illuminate\Console\Command; use Psr\Log\LoggerInterface; class Example extends Command { protected $signature = 'example'; public function handle(ExampleService $service, LoggerInterface $logger) { try { $service->example(); } catch (\Exception $exception) { $logger->critical('Example error', [ 'exception' => $exception, ]); } } }

कहां लिखूं?

निम्नलिखित विकल्पों पर विचार करें।

12 फैक्टर एप्लिकेशन और कुछ अन्य सिफारिशों के अनुसार, आपको आवेदन रनटाइम के stdout, stderr में लिखना होगा। ऐसा करने के लिए, आप config लकड़हारा php://stdout * में निर्दिष्ट कर सकते हैं।
12-फैक्टर, डॉक-वे को अनदेखा करें और फाइलों पर लिखें। लारवेल (मोनोलॉग) आपको लॉग रोटेशन को कॉन्फ़िगर करने की अनुमति देता है। फ़ाइलों से आगे के संदेशों को फाइलबीट का उपयोग करके एकत्र किया जा सकता है और विश्लेषण के लिए लॉगस्टैश को भेजा जा सकता है।
आवेदन को सीधे आगे से लॉग भेजें, उदाहरण के लिए, प्रदर्शन को बढ़ाने के लिए यूडीपी के माध्यम से।
घोल मिलाएं। फाइलबीट का उपयोग करते हुए फाइलों को लिखें और लॉगस्टैश में भेजा जाएगा। कंटेनर स्टॉडर में लिखें ताकि docker logs कमांड का उपयोग किया जा सके और कंटेनर ऑर्केस्ट्रेशन वातावरण से लॉग को आसानी से इकट्ठा करने के लिए तैयार रहें। इस मामले में, आप कुछ चैनल केवल स्थानीय रूप से लिख सकते हैं, कुछ नेटवर्क पर भेज सकते हैं।

* Php-fpm 7.2 में, जब stdout में लॉग लिखते हैं, तो हमें "चेतावनी: [पूल www] बच्चे X ने stdout में कहा ...", और लंबे संदेश काटे जाते हैं। इस समस्या का एक समाधान यहाँ है । Php-fpm 7.3 में ऐसी कोई समस्या नहीं है।

रिकॉर्डिंग प्रारूप विकल्प:

मानव-पठनीय (लाइन ब्रेक, इंडेंट आदि)
मशीन पठनीय (आमतौर पर json)
एक ही बार में दोनों प्रारूप: आगे की राउटिंग के लिए मशीन-पठनीय, अचानक मार्ग की समस्याओं और तेज़ डिबगिंग के मामले में मानव-पठनीय

विकल्पों में से कोई भी मानता है कि लॉग रूट किए गए हैं - कम से कम, उन्हें निम्नलिखित कारणों से लॉग के एक एकल प्रसंस्करण सिस्टम (भंडारण) में भेजा जाता है:

लंबे समय तक भंडारण और संग्रह
बड़े पैमाने पर ट्रेंडिंग
लचीली घटना सूचना प्रणाली

डॉकर में लॉग मैनेजर को निर्दिष्ट करने की क्षमता है। डिफ़ॉल्ट json-file है, अर्थात्, डॉकटर होस्ट में कंटेनर से json-file में आउटपुट जोड़ता है। यदि हम एक लॉग मैनेजर का चयन करते हैं जो नेटवर्क पर कहीं रिकॉर्ड भेजेगा, तो हम अब docker logs उपयोग नहीं कर सकते हैं। यदि कंटेनर के stdout / stderr को रिकॉर्डिंग लॉग के लिए एकमात्र स्थान के रूप में चुना गया था, तो नेटवर्क समस्याओं या एकल रिपॉजिटरी के साथ समस्याओं के मामले में, डिबग के लिए रिकॉर्ड को जल्दी से निकालना संभव नहीं हो सकता है।

हम json-file docker और Filebeat का उपयोग कर सकते हैं। हम स्थानीय लॉग और आगे रूटिंग दोनों प्राप्त करेंगे। यहां यह ध्यान देने योग्य है कि डॉकटर की एक और विशेषता है। इवेंट को 16KB से अधिक समय तक रिकॉर्ड करने पर, docker \n प्रतीक के साथ रिकॉर्ड तोड़ता है, जो कई लॉग कलेक्टरों को भ्रमित करता है। इस बारे में एक मुद्दा है। कर्ता की ओर से समस्या को हल नहीं किया जा सकता था, इसलिए इसे कलेक्टरों द्वारा हल किया गया था। कुछ संस्करण के साथ, फाइलबीट इस डॉकटर व्यवहार का समर्थन करता है और सही ढंग से घटनाओं को जोड़ता है।

गंतव्य और रिकॉर्डिंग प्रारूप की सभी संभावनाओं का क्या संयोजन आप अपनी परियोजना के लिए खुद चुन सकते हैं।

Filebeat + ELK + Elastalert का उपयोग करना

संक्षेप में, प्रत्येक सेवा की भूमिका निम्नानुसार बताई जा सकती है:

फाइलबीट - फाइलों और भेजे से घटनाओं को एकत्र करता है
Logstash - घटनाओं और भेज देता है
इलास्टिक्स खोज - संरचित घटनाओं को संग्रहीत करता है
किबाना - घटनाओं (रेखांकन, एकत्रीकरण आदि) को प्रदर्शित करता है
इलास्टलर्ट - अनुरोधों के आधार पर अलर्ट भेजता है

इसके अतिरिक्त, आप कर सकते हैं: zabbix, metricbeat, grafana और बहुत कुछ।

अब प्रत्येक के बारे में अधिक।

Filebeat

आप होस्ट पर एक अलग सेवा के रूप में चला सकते हैं, आप एक अलग डॉकटर कंटेनर का उपयोग कर सकते हैं। /var/lib/docker/containers/*/*.log से घटनाओं की धारा के साथ काम करने के लिए, यह host path /var/lib/docker/containers/*/*.log का उपयोग करता है। फाइलबीट के पास कई प्रकार के विकल्प हैं , जिनके साथ आप विभिन्न स्थितियों में व्यवहार सेट कर सकते हैं (फ़ाइल का नाम बदला गया है, फ़ाइल हटा दी गई है, और इसी तरह)। फ़ाइलबीट ही इवेंट के अंदर जोंस को पार्स कर सकती है, लेकिन जोंस भी इवेंट्स में नहीं जा सकता है, जिससे त्रुटि होगी। सभी इवेंट प्रोसेसिंग एक ही स्थान पर की जाती है।

फाइलबीट 6 के लिए फ्रेगमेंट कॉन्फ़िगरेशन

 filebeat.inputs: - type: docker containers: ids: - "*" processors: - add_docker_metadata: ~

Logstash

कई स्रोतों से घटनाओं को स्वीकार करने में सक्षम, लेकिन यहां हम फाइलबीट पर विचार कर रहे हैं।
हर घटना में, घटना के अलावा stdout / stderr से, मेटाडेटा (होस्ट, कंटेनर, आदि) होता है। कई अंतर्निहित प्रसंस्करण फिल्टर हैं: नियमित अंतराल द्वारा पार्स, पार्स जोंस, संशोधित करें, जोड़ें, फ़ील्ड हटाएं, आदि। किसी भी प्रारूप में आवेदन लॉग और नग्नेक्स एक्सेस दोनों को पार्स करने के लिए उपयुक्त है। डेटा को विभिन्न रिपॉजिटरी में स्थानांतरित करने में सक्षम, लेकिन यहां हम एलिटिक्स खोज पर विचार करते हैं।

Logstash फ़िल्टर कॉन्फ़िगरेशन टुकड़ा

 if [status] { date { match => ["timestamp_nginx_access", "dd/MMM/yyyy:HH:mm:ss Z"] target => "timestamp_nginx" remove_field => ["timestamp_nginx_access"] } mutate { convert => { "bytes_sent" => "integer" "body_bytes_sent" => "integer" "request_length" => "integer" "request_time" => "float" "upstream_response_time" => "float" "upstream_connect_time" => "float" "upstream_header_time" => "float" "status" => "integer" "upstream_status" => "integer" } remove_field => [ "message" ] rename => { "@timestamp" => "event_timestamp" "timestamp_nginx" => "@timestamp" } } }

Elasticsearch

Elasticsearch कार्यों की एक विस्तृत श्रृंखला के लिए एक बहुत शक्तिशाली उपकरण है, लेकिन लॉग की निगरानी के उद्देश्य के लिए इसका उपयोग केवल एक न्यूनतम न्यूनतम जानने के लिए किया जा सकता है।
सहेजे गए ईवेंट एक दस्तावेज़ हैं, दस्तावेज़ अनुक्रमित में संग्रहीत किए जाते हैं।
प्रत्येक सूचकांक एक स्कीमा है जिसमें दस्तावेज़ के प्रत्येक क्षेत्र के लिए एक प्रकार को परिभाषित किया गया है। यदि आप कम से कम एक फ़ील्ड गलत प्रकार का है, तो आप अनुक्रमणिका में किसी ईवेंट को सहेज नहीं सकते।
विभिन्न प्रकार आपको दस्तावेजों के एक समूह पर संख्याओं के लिए अलग-अलग संचालन करने की अनुमति देते हैं (संख्या के लिए - सम, न्यूनतम, अधिकतम, औसत, आदि, स्ट्रिंग्स के लिए - फजी खोज, और इसी तरह)।
लॉग के लिए, प्रबंधन आमतौर पर दैनिक सूचकांक का उपयोग करने की सिफारिश करता है - हर दिन एक नया सूचकांक।

डेटा मात्रा के विकास के साथ एलिटेसर्च के स्थिर संचालन को सुनिश्चित करना इस उपकरण के बारे में गहन ज्ञान की आवश्यकता है। लेकिन स्थिरता की समस्या का एक त्वरित समाधान, आप अप्रचलित डेटा को स्वचालित रूप से हटाने का विकल्प चुन सकते हैं। ऐसा करने के लिए, मैं अलग-अलग सूचकांकों पर लॉगस्टैश में इवेंट स्तर को विभाजित करने का सुझाव देता हूं। यह लंबे समय तक दुर्लभ, लेकिन अधिक महत्वपूर्ण घटनाओं को संग्रहीत करने की अनुमति देगा।

लॉगस्टैश आउटपुट कॉन्फ़िगरेशन स्निपेट

 output { if [fields][log_type] == "app_log" { if [level] in ["DEBUG", "INFO", "NOTICE"] { elasticsearch { hosts => "${ES_HOST}" index => "logstash-app-log-debug-%{+YYYY.MM.dd}" } } else { elasticsearch { hosts => "${ES_HOST}" index => "logstash-app-log-error-%{+YYYY.MM.dd}" } } } }

अप्रचलित अनुक्रमणिका को स्वचालित रूप से निकालने के लिए, मैं इलास्टिक क्यूरेटर के एक कार्यक्रम का उपयोग करने का सुझाव देता हूं। कार्यक्रम के लॉन्च को क्रोन अनुसूची में जोड़ा जाता है, कॉन्फ़िगरेशन को एक अलग फ़ाइल में संग्रहीत किया जा सकता है।

अप्रचलित अनुक्रमित को हटाने के लिए कॉन्फ़िगरेशन का एक टुकड़ा

 action: delete_indices description: logstash-app-log-error options: ignore_empty_list: True filters: - filtertype: pattern kind: prefix value: logstash-app-log-error- - filtertype: age source: name direction: older timestring: '%Y.%m.%d' unit: months unit_count: 6

, Filebeat Logstash, . Elasticsearch -- , , .

Kibana

Kibana . -, Elasticsearch. .

Kibana — Discovery . , Discovery app warning , time, message, exception class, host, client_id.

, Discovery nginx, 404 time, message, request, status.
Kibana , : , , . , ( ).

Elastalert

Elastalert Elasticsearch . , . , .
, (), .

ALERT, EMERGENCY. — 10
CRITICAL. — 30
, N X M
10 INFO 3
nginx 200, 201, 304 75% , 50

 name: Blacklist ALERT, EMERGENCY type: blacklist index: logstash-app-* compare_key: "level" blacklist: - "ALERT" - "EMERGENCY" realert: minutes: 5 alert: - "slack"

— . , , . Kibana.

, , http- 75% , , , , . - , , , .

, , , , Kibana, .

5 . , , , , , .

, . .

Kibana . .

docker-. , , staging- production-, .

, Elastalert, . Elastalert ,
envsubst < /opt/elastalert/config.dist.yaml > /opt/elastalert/config.yaml entrypoint- , .

, , , .

Makefile

 build: docker build -t some-registry/elasticsearch elasticsearch docker build -t some-registry/logstash logstash docker build -t some-registry/kibana kibana docker build -t some-registry/nginx nginx docker build -t some-registry/curator curator docker build -t some-registry/elastalert elastalert push: docker push some-registry/elasticsearch docker push some-registry/logstash docker push some-registry/kibana docker push some-registry/nginx docker push some-registry/curator docker push some-registry/elastalert pull: docker pull some-registry/elasticsearch docker pull some-registry/logstash docker pull some-registry/kibana docker pull some-registry/nginx docker pull some-registry/curator docker pull some-registry/elastalert prepare: docker network create -d bridge elk-network || echo "ok" stop: docker rm -f kibana || true docker rm -f logstash || true docker rm -f elasticsearch || true docker rm -f nginx || true docker rm -f elastalert || true run-logstash: docker rm -f logstash || echo "ok" docker run -d --restart=always --network=elk-network --name=logstash -p 127.0.0.1:5001:5001 -e "LS_JAVA_OPTS=-Xms256m -Xmx256m" -e "ES_HOST=elasticsearch:9200" some-registry/logstash run-kibana: docker rm -f kibana || echo "ok" docker run -d --restart=always --network=elk-network --name=kibana -p 127.0.0.1:5601:5601 --mount source=elk-kibana,target=/usr/share/kibana/optimize some-registry/kibana run-elasticsearch: docker rm -f elasticsearch || echo "ok" docker run -d --restart=always --network=elk-network --name=elasticsearch -e "ES_JAVA_OPTS=-Xms1g -Xmx1g" --mount source=elk-esdata,target=/usr/share/elasticsearch/data some-registry/elasticsearch run-nginx: docker rm -f nginx || echo "ok" docker run -d --restart=always --network=elk-network --name=nginx -p 80:80 -v /root/elk/.htpasswd:/etc/nginx/.htpasswd some-registry/nginx run-elastalert: docker rm -f elastalert || echo "ok" docker run -d --restart=always --network=elk-network --name=elastalert --env-file=./elastalert/.env some-registry/elastalert run: prepare run-elasticsearch run-kibana run-logstash run-elastalert delete-old-indices: docker run --rm --network=elk-network -e "ES_HOST=elasticsearch:9200" some-registry/curator curator --config /curator/curator.yml /curator/actions.yml

80 nginx, basic auth Kibana
Logstash . ssh-
nginx
, docker-
, .env- nginx-
*_JAVA_OPTS , 4GB RAM ( ES).

, xpack-.

docker-compose. , , Dockerfile-, Filebeat, Logstash, , , , , VCS.

. . , ( Laravel scheduler), , 5 . ALERT. , . , , .

निष्कर्ष

, , , . . , - . . , , .

एक वितरित php एप्लिकेशन में लॉगिंग