परिचय

बड़ी संख्या में विभिन्न लॉग को संसाधित करने की आवश्यकता के साथ अगली प्रणाली को तैनात करना। उपकरण के रूप में ईएलके चुना। यह लेख इस स्टैक को ट्यून करने के साथ हमारे अनुभव पर चर्चा करेगा।

हम इसकी सभी संभावनाओं का वर्णन करने के लिए एक लक्ष्य निर्धारित नहीं करते हैं, लेकिन हम व्यावहारिक समस्याओं को हल करने पर ध्यान केंद्रित करना चाहते हैं। यह इस तथ्य के कारण है कि पर्याप्त मात्रा में प्रलेखन और तैयार चित्रों की उपस्थिति में, बहुत अधिक नुकसान हैं, कम से कम हमने उन्हें पाया।

हमने डॉक-कंपोज़ के माध्यम से स्टैक को तैनात किया। इसके अलावा, हमारे पास एक अच्छी तरह से लिखित docker-compose.yml था, जिसने हमें लगभग कोई समस्या नहीं होने के साथ ढेर उठाने की अनुमति दी। और हमें यह लगने लगा कि जीत पहले से ही निकट है, अब हम अपनी आवश्यकताओं और इसे पूरा करने के लिए थोड़ा मोड़ लेंगे।

दुर्भाग्य से, हमारे आवेदन से लॉग को प्राप्त करने और संसाधित करने के लिए सिस्टम को ट्यून करने का प्रयास सफलता के साथ नहीं किया गया था। इसलिए, हमने तय किया कि यह प्रत्येक घटक को अलग से देखने लायक है, और फिर उनके रिश्तों पर वापस लौटें।

इसलिए, हमने लॉगस्टैश के साथ शुरुआत की।

पर्यावरण, परिनियोजन, कंटेनर में लॉगस्टैश लॉन्च करें

तैनाती के लिए हम docker-compose का उपयोग करते हैं, यहाँ वर्णित प्रयोग MacOS और Ubuntu 18.0.4 पर किए गए थे।

लॉगस्टैश छवि जो हमारे साथ मूल docker-compose.yml में पंजीकृत थी docker.elastic.co/logstash/logstash:6.3.2 है

हम इसका प्रयोग प्रयोगों के लिए करेंगे।

लॉगस्टैश को चलाने के लिए, हमने एक अलग डॉकटर-कंपोज़ लिखा है। बेशक, छवि को कमांड लाइन से लॉन्च करना संभव था, लेकिन हमने एक विशिष्ट कार्य को हल किया, जहां डॉकटर-कंपोज से सब कुछ शुरू किया गया है।

कॉन्फ़िगरेशन फ़ाइलों के बारे में संक्षेप में

विवरण के अनुसार, लॉगस्टैश दोनों को एक चैनल के लिए चलाया जा सकता है, इस मामले में, इसे * .conf फ़ाइल या कई चैनलों के लिए स्थानांतरित करने की आवश्यकता है, इस मामले में इसे पाइपलाइनों को स्थानांतरित करने की आवश्यकता है। फ़ाइल, जो बदले में, फ़ाइलों से लिंक होगी। प्रत्येक चैनल के लिए .conf।
हम दूसरे रास्ते से गए। यह हमें अधिक सार्वभौमिक और स्केलेबल लग रहा था। इसलिए, हमने पाइपलाइन.आईएमएल बनाया, और पाइपलाइन निर्देशिका बनाई जिसमें हम प्रत्येक चैनल के लिए .conf फाइलें डालेंगे।

कंटेनर के अंदर एक और कॉन्फ़िगरेशन फ़ाइल है - logstash.yml। हम इसे स्पर्श नहीं करते हैं, जैसा है उसका उपयोग करते हैं।

तो, हमारी निर्देशिकाओं की संरचना:

इनपुट प्राप्त करने के लिए, अब के लिए, हम मानते हैं कि यह पोर्ट 5046 पर tcp है, और आउटपुट के लिए हम stdout का उपयोग करेंगे।

यहाँ पहले रन के लिए इस तरह के एक सरल विन्यास है। चूंकि प्रारंभिक कार्य लॉन्च करना है।

तो, हमारे पास यह docker-compose.yml है

version: '3' networks: elk: volumes: elasticsearch: driver: local services: logstash: container_name: logstash_one_channel image: docker.elastic.co/logstash/logstash:6.3.2 networks: - elk ports: - 5046:5046 volumes: - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro - ./config/pipelines:/usr/share/logstash/config/pipelines:ro

हम यहाँ क्या देखते हैं?

नेटवर्क्स और वॉल्यूम को मूल docker-compose.yml (पूरी स्टैक लॉन्च किया गया है) से लिया गया था और मुझे लगता है कि वे यहाँ समग्र तस्वीर को महत्वपूर्ण रूप से प्रभावित नहीं करते हैं।
हम docker.elastic.co/logstash/logstash:6.3.2 छवि से एक लॉगस्टैश सेवा बनाते हैं और इसे logstash_one_channel नाम देते हैं।
हम उसी आंतरिक पोर्ट में कंटेनर के अंदर पोर्ट 5046 को अग्रेषित करते हैं।
हम कंटेनर के अंदर अपनी चैनल सेटिंग फ़ाइल ./config/pipelines.yml, कंटेनर के अंदर /usr/share/logstash/config/pipelines.yml में मैप करते हैं, जहां लॉगस्टैश इसे उठाएगा और केवल केस में ही रीड-ओनली बना देगा।
हम ./config/pipelines निर्देशिका प्रदर्शित करते हैं, जहां हमारे पास / usr / share / logstash / config / पाइपलाइन निर्देशिका में चैनल सेटिंग्स फ़ाइलें हैं, और इसे केवल पढ़ने के लिए भी बनाते हैं।

पाइपलाइन। फ़ाइल

 - pipeline.id: HABR pipeline.workers: 1 pipeline.batch.size: 1 path.config: "./config/pipelines/habr_pipeline.conf"

यहां, एचएबीआर पहचानकर्ता के साथ एक चैनल और इसकी कॉन्फ़िगरेशन फ़ाइल का पथ वर्णित है।

और अंत में फाइल "./config/pipelines/habr_pipeline.conf"

 input { tcp { port => "5046" } } filter { mutate { add_field => [ "habra_field", "Hello Habr" ] } } output { stdout { } }

आइए अब उसके विवरण में न जाएं, चलाने का प्रयास करें:

 docker-compose up

हम क्या देखते हैं?

कंटेनर स्टार्ट हुआ। हम इसके संचालन की जाँच कर सकते हैं:

 echo '13123123123123123123123213123213' | nc localhost 5046

और हम कंटेनर कंसोल में उत्तर देखते हैं:

लेकिन एक ही समय में, हम यह भी देखते हैं:

logstash_one_channel | [2019-04-29T11: 28: 59,790] [ERROR] [logstash.licensechecker.licctoreader] लाइसेंस सर्वर से लाइसेंस की जानकारी प्राप्त करने में असमर्थ {: संदेश => "एलियस्टिक्स खोज अनुपलब्ध: [http: // elasticsearch: 9200 /] [Manticore :: रिज़ॉल्यूशन फेलियर] इलास्टिक्सर्च ", ...

logstash_one_channel | [2019-04-29T11: 28: 59,894] [INFO] [logstash.pipeline] पाइपलाइन सफलतापूर्वक शुरू हुई {: पाइपलाइन_आईडी => "। मॉनिटरिंग-लॉगस्टैश",: धागा => "# <थ्रेड: 0x119abb86 रन>"}}।

logstash_one_channel | [2019-04-29T11: 28: 59,988] [INFO] [logstash.agent] पाइपलाइनें चल रही हैं {: count => 2 ,: चल रही_पिप्लीन => [: HABR ,: "। मॉनिटरिंग-लॉगशैश"],: non_running_pipelines => []। ]}
logstash_one_channel | [2019-04-29T11: 29: 00,015] [ERROR] [logstash.inputs.metrics] X- पैक लॉगस्टैश पर स्थापित है, लेकिन एलिस्टिक्स खोज पर नहीं। मॉनिटरिंग सुविधा का उपयोग करने के लिए कृपया Elasticsearch पर X-Pack स्थापित करें। अन्य सुविधाएँ उपलब्ध हो सकती हैं।
logstash_one_channel | [2019-04-29T11: 29: 00,526] [INFO] [logstash.agent] सफलतापूर्वक लॉगस्टैश API समापन बिंदु {: पोर्ट => 9600} शुरू किया
logstash_one_channel | [2019-04-29T11: 29: 04,478] [INFO] [logstash.outputs.elasticsearch] यह देखने के लिए स्वास्थ्य जांच चल रही है कि क्या कोई इलास्टिक्स खोज कनेक्शन काम कर रहा है {: healthcheck_url => http: elasticsearch: 9200 / ,: path => "/"}
l ogstash_one_channel | [2019-04-29T11: 29: 04,487] [WARN] [logstash.outputs.elasticsearch] मृत ईएस उदाहरण के संबंध को फिर से जीवित करने का प्रयास किया गया, लेकिन एक त्रुटि मिली। {= url => " elasticsearch : 9200 /", error_type => LogStash :: आउटपुट :: ElasticSearch :: HttpClient :: Pool :: HostUnreachableError ,: error => Elasticsearch खोज योग्य: [http: // elasticsearch: 9200/9 ] [मटियोर :: रेज़ोल्यूशन फेल्योर] इलास्टिसर्च "}
logstash_one_channel | [2019-04-29TT11: 29: 04,704] [INFO] [logstash.licensechecker.licraneeader] यह देखने के लिए स्वास्थ्य जांच चल रही है कि क्या कोई इलास्टिक्स खोज कनेक्शन काम कर रहा है {: healthcheck_url>> http: // elasticsearch: 9200 / :: path => "/"}
logstash_one_channel | [2019-04-29T11: 29: 04,710] [WARN] [logstash.licensechecker.licraneeader] मृत ईएस उदाहरण के संबंध को फिर से जीवित करने का प्रयास किया गया, लेकिन एक त्रुटि मिली। {= url => " elasticsearch : 9200 /", error_type => LogStash :: आउटपुट :: ElasticSearch :: HttpClient :: Pool :: HostUnreachableError ,: error => Elasticsearch खोज योग्य: [http: // elasticsearch: 9200/9 ] [मटियोर :: रेज़ोल्यूशन फेल्योर] इलास्टिसर्च "}

और हमारा लॉग हर समय रेंगता रहता है।

यहां मैंने हरे रंग के संदेश पर प्रकाश डाला कि पाइपलाइन सफलतापूर्वक शुरू हुई, लाल - एक त्रुटि संदेश और पीला - एक तस्वीर जो मायावी खोज से संपर्क करने के प्रयास के बारे में है: 9200।
ऐसा इसलिए होता है क्योंकि छवि में शामिल logstash.conf के पास इलास्टिक्स खोज उपलब्धता के लिए एक चेक होता है। सब के बाद, लॉगस्टैश मानता है कि यह एल्क स्टैक के हिस्से के रूप में काम करता है, और हमने इसे अलग कर दिया।

आप काम कर सकते हैं, लेकिन सुविधाजनक नहीं।

समाधान इस चेक को XPACK_MONITORING_ENABLED पर्यावरण चर के माध्यम से अक्षम करना है।

Docker-compose.yml में परिवर्तन करें और इसे फिर से चलाएँ:

 version: '3' networks: elk: volumes: elasticsearch: driver: local services: logstash: container_name: logstash_one_channel image: docker.elastic.co/logstash/logstash:6.3.2 networks: - elk environment: XPACK_MONITORING_ENABLED: "false" ports: - 5046:5046 volumes: - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro - ./config/pipelines:/usr/share/logstash/config/pipelines:ro

अब, सब कुछ ठीक है। कंटेनर प्रयोग के लिए तैयार है।

हम फिर से अगले कंसोल में टाइप कर सकते हैं:

 echo '13123123123123123123123213123213' | nc localhost 5046

और देखें:

 logstash_one_channel | { logstash_one_channel | "message" => "13123123123123123123123213123213", logstash_one_channel | "@timestamp" => 2019-04-29T11:43:44.582Z, logstash_one_channel | "@version" => "1", logstash_one_channel | "habra_field" => "Hello Habr", logstash_one_channel | "host" => "gateway", logstash_one_channel | "port" => 49418 logstash_one_channel | }

एक चैनल के भीतर काम करें

तो, हमने शुरुआत की। अब आप वास्तव में लॉगस्टैश को सीधे कॉन्फ़िगर करने के लिए समय ले सकते हैं। हम अभी के लिए पाइपलाइनों को स्पर्श नहीं करेंगे। हम एक चैनल के साथ काम करके आप देख सकते हैं।

मुझे कहना होगा कि चैनल कॉन्फ़िगरेशन फ़ाइल के साथ काम करने का सामान्य सिद्धांत आधिकारिक गाइड में अच्छी तरह से वर्णित है, यहां
यदि आप रूसी में पढ़ना चाहते हैं, तो हमने यहां इस लेख का उपयोग किया (लेकिन क्वेरी सिंटैक्स पुराना है, हमें इसे ध्यान में रखना चाहिए)।

चलो इनपुट सेक्शन से क्रमिक रूप से चलते हैं। हमने पहले ही tcp पर काम देखा। यहाँ और क्या दिलचस्पी हो सकती है?

दिल की धड़कन का उपयोग करके परीक्षण संदेश

स्वचालित परीक्षण संदेश उत्पन्न करने के लिए इस तरह का एक दिलचस्प अवसर है।
ऐसा करने के लिए, आपको इनपुट अनुभाग में हार्टबीन प्लगइन को शामिल करना होगा।

 input { heartbeat { message => "HeartBeat!" } }

चालू करें, प्राप्त करने के लिए एक मिनट शुरू करें

 logstash_one_channel | { logstash_one_channel | "@timestamp" => 2019-04-29T13:52:04.567Z, logstash_one_channel | "habra_field" => "Hello Habr", logstash_one_channel | "message" => "HeartBeat!", logstash_one_channel | "@version" => "1", logstash_one_channel | "host" => "a0667e5c57ec" logstash_one_channel | }

हम अधिक बार प्राप्त करना चाहते हैं, हमें अंतराल पैरामीटर को जोड़ने की आवश्यकता है।
इस तरह हम हर 10 सेकंड में एक संदेश प्राप्त करेंगे।

 input { heartbeat { message => "HeartBeat!" interval => 10 } }

किसी फ़ाइल से डेटा पुनर्प्राप्त करना

हमने फ़ाइल मोड देखने का भी निर्णय लिया। यदि यह फ़ाइल के साथ सामान्य रूप से काम करता है, तो यह संभव है कि किसी भी एजेंट की आवश्यकता नहीं होगी, ठीक है, कम से कम स्थानीय उपयोग के लिए।

विवरण के अनुसार, ऑपरेटिंग मोड पूंछ-एफ के समान होना चाहिए, अर्थात। नई लाइनों को पढ़ता है या, एक विकल्प के रूप में, पूरी फाइल को पढ़ता है।

तो हम क्या पाना चाहते हैं:

हम उन लाइनों को प्राप्त करना चाहते हैं जो एक लॉग फ़ाइल में संलग्न हैं।
हम वह डेटा प्राप्त करना चाहते हैं जो कई लॉग फ़ाइलों को लिखा गया है, जबकि जो कुछ भी आया उसे साझा करने में सक्षम है।
हम यह जांचना चाहते हैं कि लॉगस्टैश को पुनरारंभ करने पर यह डेटा फिर से प्राप्त नहीं करेगा।
हम यह जांचना चाहते हैं कि यदि लॉगस्टैश अक्षम है, और डेटा फ़ाइलों पर लिखा जाना जारी है, तो जब हम इसे चलाते हैं, तो हमें यह डेटा मिलेगा।

प्रयोग का संचालन करने के लिए, docker-compose.yml में एक और लाइन जोड़ें, उस डायरेक्टरी को खोलें जिसमें हम फाइलें डालते हैं।

 version: '3' networks: elk: volumes: elasticsearch: driver: local services: logstash: container_name: logstash_one_channel image: docker.elastic.co/logstash/logstash:6.3.2 networks: - elk environment: XPACK_MONITORING_ENABLED: "false" ports: - 5046:5046 volumes: - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro - ./config/pipelines:/usr/share/logstash/config/pipelines:ro - ./logs:/usr/share/logstash/input

और habr_pipeline.conf में इनपुट सेक्शन को बदलें

 input { file { path => "/usr/share/logstash/input/*.log" } }

हम शुरू करते हैं:

 docker-compose up

लॉग फाइल बनाने और रिकॉर्ड करने के लिए, हम कमांड का उपयोग करेंगे:

  echo '1' >> logs/number1.log

 { logstash_one_channel | "host" => "ac2d4e3ef70f", logstash_one_channel | "habra_field" => "Hello Habr", logstash_one_channel | "@timestamp" => 2019-04-29T14:28:53.876Z, logstash_one_channel | "@version" => "1", logstash_one_channel | "message" => "1", logstash_one_channel | "path" => "/usr/share/logstash/input/number1.log" logstash_one_channel | }

हाँ, यह काम करता है!

उसी समय, हम देखते हैं कि हमने स्वचालित रूप से पथ फ़ील्ड जोड़ा है। इसलिए भविष्य में, हम इसके द्वारा रिकॉर्ड फ़िल्टर कर सकते हैं।

आइए फिर से कोशिश करें:

 echo '2' >> logs/number1.log

 { logstash_one_channel | "host" => "ac2d4e3ef70f", logstash_one_channel | "habra_field" => "Hello Habr", logstash_one_channel | "@timestamp" => 2019-04-29T14:28:59.906Z, logstash_one_channel | "@version" => "1", logstash_one_channel | "message" => "2", logstash_one_channel | "path" => "/usr/share/logstash/input/number1.log" logstash_one_channel | }

और अब दूसरी फाइल में:

  echo '1' >> logs/number2.log

 { logstash_one_channel | "host" => "ac2d4e3ef70f", logstash_one_channel | "habra_field" => "Hello Habr", logstash_one_channel | "@timestamp" => 2019-04-29T14:29:26.061Z, logstash_one_channel | "@version" => "1", logstash_one_channel | "message" => "1", logstash_one_channel | "path" => "/usr/share/logstash/input/number2.log" logstash_one_channel | }

बहुत बढ़िया! फ़ाइल को उठाया गया था, पथ सही था, सब कुछ ठीक है।

लॉगस्टैश बंद करें और पुनरारंभ करें। चलिए इंतजार करते हैं। मौन। यानी हमें ये रिकॉर्ड दोबारा नहीं मिले।

और अब सबसे साहसी प्रयोग।

हम logstash डालते हैं और निष्पादित करते हैं:

 echo '3' >> logs/number2.log echo '4' >> logs/number1.log

लॉगस्टैश को फिर से चलाएँ और देखें:

 logstash_one_channel | { logstash_one_channel | "host" => "ac2d4e3ef70f", logstash_one_channel | "habra_field" => "Hello Habr", logstash_one_channel | "message" => "3", logstash_one_channel | "@version" => "1", logstash_one_channel | "path" => "/usr/share/logstash/input/number2.log", logstash_one_channel | "@timestamp" => 2019-04-29T14:48:50.589Z logstash_one_channel | } logstash_one_channel | { logstash_one_channel | "host" => "ac2d4e3ef70f", logstash_one_channel | "habra_field" => "Hello Habr", logstash_one_channel | "message" => "4", logstash_one_channel | "@version" => "1", logstash_one_channel | "path" => "/usr/share/logstash/input/number1.log", logstash_one_channel | "@timestamp" => 2019-04-29T14:48:50.856Z logstash_one_channel | }

हुर्रे! सब कुछ उठा लिया गया था।

लेकिन, हमें निम्नलिखित के बारे में चेतावनी देनी चाहिए। यदि लॉगस्टैश वाला कंटेनर हटा दिया गया है (docker stop logstash_one_channel && docker rm logstash_one_channel), तो कुछ भी नहीं उठाया जाएगा। कंटेनर के अंदर, जिस फ़ाइल स्थिति को पढ़ा गया था, वह सहेज ली गई थी। यदि खरोंच से चलाया जाता है, तो यह केवल नई लाइनों को स्वीकार करेगा।

मौजूदा फ़ाइलों को पढ़ें

माना कि हम पहली बार लॉगस्टैश चलाते हैं, लेकिन हमारे पास पहले से ही लॉग हैं और हम उन्हें प्रोसेस करना चाहते हैं।
यदि हम उपर्युक्त इनपुट अनुभाग के साथ लॉगस्टैश चलाते हैं, तो हमें कुछ भी नहीं मिलेगा। लॉगस्टैश द्वारा केवल नई सूचियों को संसाधित किया जाएगा।

मौजूदा फ़ाइलों से लाइनें खींचने के लिए, इनपुट अनुभाग में एक अतिरिक्त रेखा जोड़ें:

 input { file { start_position => "beginning" path => "/usr/share/logstash/input/*.log" } }

इसके अलावा, एक अति सूक्ष्म अंतर है, यह केवल नई फ़ाइलों को प्रभावित करता है जो लॉगस्टैश ने अभी तक नहीं देखा है। समान फ़ाइलों के लिए जो पहले से ही लॉगस्टैश के दृश्य के क्षेत्र में गिर गए थे, उन्होंने पहले से ही अपने आकार को याद किया और अब केवल नई प्रविष्टियां लेंगे।

आइए हम इनपुट सेक्शन के अध्ययन पर ध्यान केंद्रित करते हैं। कई और विकल्प हैं, लेकिन हमारे लिए, अभी के लिए और प्रयोगों के लिए पर्याप्त है।

रूटिंग और डेटा रूपांतरण

आइए निम्न समस्या को हल करने का प्रयास करें, मान लें कि हमारे पास एक चैनल से संदेश हैं, उनमें से कुछ सूचनात्मक हैं, और आंशिक रूप से एक त्रुटि संदेश है। टैग में अंतर। कुछ जानकारी, दूसरों को गलत।

हमें उन्हें आउटपुट पर अलग करने की आवश्यकता है। यानी हम एक चैनल में सूचनात्मक संदेश लिखते हैं, और दूसरे में त्रुटि संदेश।

ऐसा करने के लिए, इनपुट अनुभाग से फ़िल्टर और आउटपुट पर जाएं।

फ़िल्टर सेक्शन का उपयोग करते हुए, हम आने वाले संदेश को पार्स करेंगे, इससे हैश (की-वैल्यू पेयर) प्राप्त होगा, जिसे आप पहले से ही काम कर सकते हैं, अर्थात्। शर्तों द्वारा जुदा। और आउटपुट सेक्शन में, हम संदेशों का चयन करते हैं और प्रत्येक को हमारे चैनल पर भेजते हैं।

खांचे का उपयोग करके एक संदेश पार्स करना

टेक्स्ट स्ट्रिंग्स को पार्स करने और उनसे फ़ील्ड्स का एक सेट प्राप्त करने के लिए, फ़िल्टर सेक्शन में एक विशेष प्लगइन है - ग्रॉक।

यहां विस्तृत विवरण देने का लक्ष्य नहीं है (इसके लिए मैं आधिकारिक दस्तावेज का उल्लेख करता हूं), मैं अपना सरल उदाहरण दूंगा।

ऐसा करने के लिए, आपको इनपुट लाइनों के प्रारूप पर निर्णय लेने की आवश्यकता है। मैंने उन्हें:

1 जानकारी 1 संदेश
2 त्रुटि संदेश 2

यानी पहचानकर्ता पहले आता है, फिर INFO / ERROR, फिर कुछ शब्द बिना रिक्त स्थान के।
मुश्किल नहीं है, लेकिन यह समझने के लिए पर्याप्त है कि यह कैसे काम करता है।

तो, फ़िल्टर सेक्शन में, grok plugin में, हमें अपनी लाइनों को पार्स करने के लिए एक पैटर्न को परिभाषित करने की आवश्यकता है।

यह इस तरह दिखेगा:

 filter { grok { match => { "message" => ["%{INT:message_id} %{LOGLEVEL:message_type} %{WORD:message_text}"] } } }

यह अनिवार्य रूप से एक नियमित अभिव्यक्ति है। रेडी-मेड पैटर्न का उपयोग किया जाता है, जैसे INT, LOGLEVEL, WORD। उनका वर्णन, साथ ही साथ अन्य पैटर्न भी यहां देखे जा सकते हैं।

अब, इस फ़िल्टर से गुजरते हुए, हमारा स्ट्रिंग तीन फ़ील्ड के हैश में बदल जाएगा: message_id, message_type, message_text।

उन्हें आउटपुट सेक्शन में प्रदर्शित किया जाएगा।

यदि आउटपुट कमांड में संदेश का उपयोग करते हैं तो

आउटपुट सेक्शन में, जैसा कि हम याद करते हैं, हम संदेशों को दो धाराओं में विभाजित करने जा रहे थे। कुछ - जो कि iNFO, हम कंसोल में आउटपुट करेंगे, और त्रुटियों के साथ, हम एक फाइल पर आउटपुट करेंगे।

हम इन पदों को कैसे विभाजित करते हैं? समस्या की स्थिति पहले से ही समाधान का संकेत देती है - हमारे पास पहले से ही चयनित message_type फ़ील्ड है, जो केवल दो मान INFO और ERROR ले सकता है। यह उसके लिए है कि हम यदि कथन का उपयोग करते हुए चुनाव करेंगे।

 if [message_type] == "ERROR" { #     } else { #    stdout }

खेतों और ऑपरेटरों के साथ काम करने का विवरण आधिकारिक मैनुअल के इस खंड में पाया जा सकता है।

अब, वास्तविक निष्कर्ष के बारे में ही।

कंसोल को आउटपुट, सब कुछ यहाँ स्पष्ट है - stdout {}

और यहां फ़ाइल का आउटपुट है - याद रखें कि हम इसे कंटेनर से चलाते हैं और ताकि जिस फ़ाइल में हम परिणाम लिखते हैं वह बाहर से सुलभ हो, हमें इस निर्देशिका को docker-compose.yml में खोलने की आवश्यकता है।

कुल:

हमारी फ़ाइल का आउटपुट खंड इस तरह दिखता है:

  output { if [message_type] == "ERROR" { file { path => "/usr/share/logstash/output/test.log" codec => line { format => "custom format: %{message}"} } } else {stdout { } } }

Docker-compose.yml में आउटपुट में एक और वॉल्यूम जोड़ें:

 version: '3' networks: elk: volumes: elasticsearch: driver: local services: logstash: container_name: logstash_one_channel image: docker.elastic.co/logstash/logstash:6.3.2 networks: - elk environment: XPACK_MONITORING_ENABLED: "false" ports: - 5046:5046 volumes: - ./config/pipelines.yml:/usr/share/logstash/config/pipelines.yml:ro - ./config/pipelines:/usr/share/logstash/config/pipelines:ro - ./logs:/usr/share/logstash/input - ./output:/usr/share/logstash/output

हम शुरू करते हैं, हम कोशिश करते हैं, हम विभाजन को दो प्रवाह में देखते हैं।

ईएलके का व्यावहारिक अनुप्रयोग। लॉगस्टैश कॉन्फ़िगर करें