🐙 ♊️ 👩🏿‍🎨 सिस्टम लॉगर के रूप में डॉक में स्प्लिट यूनिवर्सल फारवर्डर 🍨 👋🏽 🦑

स्प्लंक लॉग को इकट्ठा करने और विश्लेषण करने के लिए सबसे अधिक मान्यता प्राप्त वाणिज्यिक उत्पादों में से एक है। अब भी, जब रूस में बिक्री अब नहीं की जाती है, तो इस उत्पाद पर निर्देश / कैसे-कैसे नहीं लिखना एक कारण नहीं है।

कार्य : मेजबान कॉन्फ़िगरेशन को बदलने के बिना स्पंक में डॉक नोड्स से सिस्टम लॉग को इकट्ठा करें

मैं एक आधिकारिक दृष्टिकोण के साथ शुरुआत करना चाहूंगा, जो डॉकटर का उपयोग करते समय अजीब लगता है।
डॉकटर हब से लिंक
हमारे पास क्या है:

1. पुलिम छवि

$ docker pull splunk/universalforwarder:latest

2. हम आवश्यक मापदंडों के साथ कंटेनर शुरू करते हैं

 $ docker run -d -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=<password>' splunk/universalforwarder:latest

3. हम कंटेनर में जाते हैं

 docker exec -it <container-id> /bin/bash

अगला, हमें प्रलेखन में ~~ज्ञात पते~~ पर जाने ~~के लिए कहा जाता है~~ ।

और कंटेनर को शुरू होने के बाद कॉन्फ़िगर करें:

 ./splunk add forward-server <host name or ip address>:<listening port> ./splunk add monitor /var/log ./splunk restart

एक पल रुकिए। क्या?

लेकिन आश्चर्य यहीं खत्म नहीं होता। यदि आप कन्टैंट मोड से कन्टेनर मोड से कन्टेनर चलाते हैं, तो आप निम्नलिखित देखेंगे:

थोड़ी निराशा हुई

 $ docker run -it -p 9997:9997 -e 'SPLUNK_START_ARGS=--accept-license' -e 'SPLUNK_PASSWORD=password' splunk/universalforwarder:latest PLAY [Run default Splunk provisioning] ******************************************************************************************************************************************************************************************************* Tuesday 09 April 2019 13:40:38 +0000 (0:00:00.096) 0:00:00.096 ********* TASK [Gathering Facts] *********************************************************************************************************************************************************************************************************************** ok: [localhost] Tuesday 09 April 2019 13:40:39 +0000 (0:00:01.520) 0:00:01.616 ********* TASK [Get actual hostname] ******************************************************************************************************************************************************************************************************************* changed: [localhost] Tuesday 09 April 2019 13:40:40 +0000 (0:00:00.599) 0:00:02.215 ********* Tuesday 09 April 2019 13:40:40 +0000 (0:00:00.054) 0:00:02.270 ********* TASK [set_fact] ****************************************************************************************************************************************************************************************************************************** ok: [localhost] Tuesday 09 April 2019 13:40:40 +0000 (0:00:00.075) 0:00:02.346 ********* Tuesday 09 April 2019 13:40:40 +0000 (0:00:00.067) 0:00:02.413 ********* Tuesday 09 April 2019 13:40:40 +0000 (0:00:00.060) 0:00:02.473 ********* Tuesday 09 April 2019 13:40:40 +0000 (0:00:00.051) 0:00:02.525 ********* Tuesday 09 April 2019 13:40:40 +0000 (0:00:00.056) 0:00:02.582 ********* Tuesday 09 April 2019 13:40:41 +0000 (0:00:00.216) 0:00:02.798 ********* included: /opt/ansible/roles/splunk_common/tasks/change_splunk_directory_owner.yml for localhost Tuesday 09 April 2019 13:40:41 +0000 (0:00:00.087) 0:00:02.886 ********* TASK [splunk_common : Update Splunk directory owner] ***************************************************************************************************************************************************************************************** ok: [localhost] Tuesday 09 April 2019 13:40:41 +0000 (0:00:00.324) 0:00:03.210 ********* included: /opt/ansible/roles/splunk_common/tasks/get_facts.yml for localhost Tuesday 09 April 2019 13:40:41 +0000 (0:00:00.094) 0:00:03.305 *********    ...

बहुत बढ़िया। छवि में एक कलाकृति भी नहीं है। यही है, हर बार जब आप शुरू करते हैं, तो संग्रह को बायनेरी, अनपैक के साथ डाउनलोड करने और कॉन्फ़िगर करने में समय लगेगा।
लेकिन डॉकटर-वे और उस सब के बारे में क्या?

कोई धन्यवाद नहीं। हम दूसरे रास्ते से जाएंगे। यदि हम विधानसभा चरण में ये सभी कार्य करते हैं तो क्या होगा? तो फिर चलिए!

लंबे समय तक खींचने के लिए नहीं, मैं तुरंत अंतिम छवि दिखाऊंगा:

Dockerfile

 #      FROM centos:7 #  ,         ENV SPLUNK_HOME /splunkforwarder ENV SPLUNK_ROLE splunk_heavy_forwarder ENV SPLUNK_PASSWORD changeme ENV SPLUNK_START_ARGS --accept-license #   # wget -    # expect -     Splunk    # jq -   ,     RUN yum install -y epel-release \ && yum install -y wget expect jq # , ,  RUN wget -O splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz 'https://www.splunk.com/bin/splunk/DownloadActivityServlet?architecture=x86_64&platform=linux&version=7.2.4&product=universalforwarder&filename=splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz&wget=true' \ && wget -O docker-18.09.3.tgz 'https://download.docker.com/linux/static/stable/x86_64/docker-18.09.3.tgz' \ && tar -xvf splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz \ && tar -xvf docker-18.09.3.tgz \ && rm -f splunkforwarder-7.2.4-8a94541dcfac-Linux-x86_64.tgz \ && rm -f docker-18.09.3.tgz #  shell   ,   inputs.conf, splunkclouduf.spl  first_start.sh   .     source . COPY [ "inputs.conf", "docker-stats/props.conf", "/splunkforwarder/etc/system/local/" ] COPY [ "docker-stats/docker_events.sh", "docker-stats/docker_inspect.sh", "docker-stats/docker_stats.sh", "docker-stats/docker_top.sh", "/splunkforwarder/bin/scripts/" ] COPY splunkclouduf.spl /splunkclouduf.spl COPY first_start.sh /splunkforwarder/bin/ #    ,       RUN chmod +x /splunkforwarder/bin/scripts/*.sh \ && groupadd -r splunk \ && useradd -r -m -g splunk splunk \ && echo "%sudo ALL=NOPASSWD:ALL" >> /etc/sudoers \ && chown -R splunk:splunk $SPLUNK_HOME \ && /splunkforwarder/bin/first_start.sh \ && /splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme \ && /splunkforwarder/bin/splunk restart #    COPY [ "init/entrypoint.sh", "init/checkstate.sh", "/sbin/" ] #  .     /,  . VOLUME [ "/splunkforwarder/etc", "/splunkforwarder/var" ] HEALTHCHECK --interval=30s --timeout=30s --start-period=3m --retries=5 CMD /sbin/checkstate.sh || exit 1 ENTRYPOINT [ "/sbin/entrypoint.sh" ] CMD [ "start-service" ]

और इसलिए, क्या निहित है

first_start.sh

 #!/usr/bin/expect -f set timeout -1 spawn /splunkforwarder/bin/splunk start --accept-license expect "Please enter an administrator username: " send -- "admin\r" expect "Please enter a new password: " send -- "changeme\r" expect "Please confirm new password: " send -- "changeme\r" expect eof

पहली शुरुआत में, स्प्लंक एक उपयोगकर्ता नाम / पासवर्ड के लिए पूछता है, लेकिन इस डेटा का उपयोग केवल इस विशेष स्थापना के लिए प्रशासनिक कमांड निष्पादित करने के लिए किया जाता है, अर्थात कंटेनर के अंदर। हमारे मामले में, हम बस कंटेनर लॉन्च करना चाहते हैं ताकि सब कुछ काम करे और लॉग पानी की तरह बह जाए। बेशक, यह हार्डकोड है, लेकिन मुझे अन्य तरीके नहीं मिले हैं।

आगे स्क्रिप्ट पर अमल किया जाता है

 /splunkforwarder/bin/splunk install app /splunkclouduf.spl -auth admin:changeme

splunkclouduf.spl - यह स्प्लंक यूनिवर्सल फारवर्डर के लिए एक क्रेडिट फ़ाइल है, जिसे वेब इंटरफ़ेस से डाउनलोड किया जा सकता है।

डाउनलोड करने के लिए कहाँ क्लिक करें (तस्वीरों में)

यह एक नियमित संग्रह है जिसे आप अनज़िप कर सकते हैं। अंदर - हमारे इनपुट उदाहरणों की एक सूची के साथ हमारे SplunkCloud और outputs.conf से कनेक्ट करने के लिए प्रमाण पत्र और पासवर्ड। यह फ़ाइल तब तक प्रासंगिक रहेगी जब तक आप अपनी स्प्लंक स्थापना को पुनर्स्थापित नहीं करते हैं या यदि इंस्टॉलेशन ऑन-प्रिमाइसेस है तो इनपुट नोड जोड़ें। इसलिए, कंटेनर के अंदर इसे जोड़ना ठीक है।

और सबसे आखिरी में पुनः आरंभ होता है। हां, परिवर्तनों को लागू करने के लिए, आपको इसे पुनः आरंभ करने की आवश्यकता है।

हमारे inputs.conf में हम वे लॉग्स जोड़ते हैं जिन्हें हम स्प्लंक को भेजना चाहते हैं। इस फ़ाइल को छवि में जोड़ना आवश्यक नहीं है यदि, उदाहरण के लिए, आप कठपुतली के माध्यम से कॉन्फ़िगर करते हैं। मुख्य बात यह है कि फारवर्डर कॉन्फ़िगर करता है जब डेमॉन शुरू होता है, अन्यथा ।/splunk पुनरारंभ की आवश्यकता होगी।

स्क्रिप्ट के आँकड़े क्या हैं? गितुब का आउटकोल्डमैन से पुराना समाधान है, लिपियों को वहां से ले जाया जाता है और डॉकटर (सी -17। *) और स्पंक (7. *) के वर्तमान संस्करणों के साथ काम करने के लिए अंतिम रूप दिया जाता है।

प्राप्त आंकड़ों के साथ, आप ऐसे निर्माण कर सकते हैं

डैशबोर्ड: (चित्रों के एक जोड़े)

लेख के अंत में दर्शाए गए शलजम में रेगिस्तान का स्रोत कोड निहित है। कृपया ध्यान दें कि 2 चुनिंदा क्षेत्र हैं: 1 - सूचकांक का चयन करें (मुखौटा द्वारा खोजा गया), मेजबान / कंटेनर का चयन करें। आपको संभवतः आपके द्वारा उपयोग किए जाने वाले नामों के आधार पर इंडेक्स मास्क को अपडेट करना होगा।

अंत में, मैं प्रारंभ () फ़ंक्शन में ध्यान देना चाहता हूं

entrypoint.sh

 start() { trap teardown EXIT if [ -z $SPLUNK_INDEX ]; then echo "'SPLUNK_INDEX' env variable is empty or not defined. Should be 'dev' or 'prd'." >&2 exit 1 else sed -e "s/@index@/$SPLUNK_INDEX/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf fi sed -e "s/@hostname@/$(cat /etc/hostname)/" -i ${SPLUNK_HOME}/etc/system/local/inputs.conf sh -c "echo 'starting' > /tmp/splunk-container.state" ${SPLUNK_HOME}/bin/splunk start watch_for_failure }

मेरे मामले में, प्रत्येक पर्यावरण और प्रत्येक व्यक्ति इकाई के लिए, चाहे वह एक कंटेनर या एक मेजबान मशीन में एक अनुप्रयोग हो, हम एक अलग सूचकांक का उपयोग करते हैं। तो खोज गति डेटा के एक महत्वपूर्ण संचय के साथ ग्रस्त नहीं होगी। इंडेक्स को नाम देने के लिए एक सरल नियम का उपयोग किया जाता है: <environment_name> _ <सेवा / एप्लिकेशन / आदि> । इसलिए, कंटेनर को सार्वभौमिक बनाने के लिए, सीधे डेमॉन शुरू करने से पहले, हम पर्यावरण नाम के साथ sed वाइल्डकार्ड को प्रतिस्थापित करते हैं। एक पर्यावरण नाम के साथ एक चर पर्यावरण चर के माध्यम से पारित किया है। यह अजीब लगता है।

यह भी ध्यान देने योग्य है कि किसी कारण से, Splunk docker hostname पैरामीटर से प्रभावित नहीं है। वैसे भी, वह अपने कंटेनर की आईडी से लगातार मेजबान क्षेत्र में लॉग भेजेगा। समाधान के रूप में, आप होस्ट मशीन से / etc / hostname माउंट कर सकते हैं और, स्टार्टअप पर, इंडेक्स नामों के समान एक प्रतिस्थापन कर सकते हैं।

डॉकटर-कम्पोज़.इम्ल उदाहरण

 version: '2' services: splunk-forwarder: image: "${IMAGE_REPO}/docker-stats-splunk-forwarder:${IMAGE_VERSION}" environment: SPLUNK_INDEX: ${ENVIRONMENT} volumes: - /etc/hostname:/etc/hostname:ro - /var/log:/var/log - /var/run/docker.sock:/var/run/docker.sock:ro

परिणाम

हां, शायद समाधान सही नहीं है और निश्चित रूप से सभी के लिए सार्वभौमिक नहीं है, क्योंकि "हार्डकोड" का एक बहुत कुछ है। लेकिन इसके आधार पर, हर कोई अपनी खुद की छवि को इकट्ठा कर सकता है और इसे अपनी निजी कलाकृतियों में डाल सकता है, यदि ऐसा हुआ, तो आपको डॉकटर में स्प्लंक फारवर्डर की आवश्यकता है।

संदर्भ:

लेख से समाधान
आउटकोल्डमैन के समाधान ने कार्यक्षमता के भाग का पुन: उपयोग करने के लिए प्रेरित किया
के। यूनिवर्सल फारवर्डर सेटअप प्रलेखन

सिस्टम लॉगर के रूप में डॉक में स्प्लिट यूनिवर्सल फारवर्डर

More articles: