Django एप्लिकेशन लॉग को संग्रहीत करने के लिए ELK स्टैक

प्रोटोटाइप चरण को पार करने वाली परियोजनाओं में से प्रत्येक को लॉगिंग को व्यवस्थित करने की आवश्यकता है। उचित लॉगिंग बहुत सारी समस्याओं को हल करती है और परियोजना की स्थिति को समझने में मदद करती है। प्रारंभिक चरण में, एक फ़ाइल में लॉगिंग करना मेरे लिए अनुकूल था जब तक कि परियोजना नहीं बढ़ी और लॉग द्वारा खोज में समय लगना शुरू नहीं हुआ।

समाधान लॉग और खोज के एकत्रीकरण के साथ एक केंद्रीकृत लॉग रिपॉजिटरी बनाना था। चुनाव ELK स्टैक पर गिर गया। ELK तीन ओपनसोर्स प्रोजेक्ट्स का एक संयोजन है: इलास्टिकसर्च, लॉगस्टैश और किबाना। ELK स्टोर लॉग्स बनाता है, ग्राफ़ बनाता है, और फ़िल्टर के साथ पूर्ण-पाठ खोज के लिए समर्थन है। लेख में Django एप्लिकेशन लॉग को संग्रहीत करने के लिए ELK स्टैक स्थापित करने की प्रक्रिया का वर्णन किया गया है।

ELK स्थापना

डॉकटर का उपयोग डॉक-एल्क रिपॉजिटरी के आधार पर ईएलके स्टैक को स्थापित करने के लिए किया जाएगा। Logstash सेटिंग बदलें, nginx लॉग के मिलान के लिए GROK पैटर्न जोड़ें और आउटपुट सेक्शन को बदलें ताकि Django एप्लिकेशन लॉग और nginx लॉग अलग-अलग ElasticSearch इंडेक्स में संग्रहीत हों। परिणामस्वरूप, logstash.conf इस तरह दिखता है:

input { beats { port => 5000 host => "0.0.0.0" } } filter { if [type] == "nginx" { grok { match => { "message" => "%{IPORHOST:remote_ip} - %{DATA:user_name} \[%{HTTPDATE:access_time}\] \"%{WORD:http_method} %{DATA:url} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:body_sent_bytes} \"%{DATA:referrer}\" \"%{DATA:agent}\"" } } } } output { if [type] == "nginx" { elasticsearch { hosts => "elasticsearch:9200" index => "nginx-%{+YYYY.MM.dd}" } } else if [type] == "django" { elasticsearch { hosts => "elasticsearch:9200" index => "django-%{+YYYY.MM.dd}" } } else { elasticsearch { hosts => "elasticsearch:9200" index => "unknown_messages" } } } 

परिवर्तन करने के बाद, स्टैक चलाएँ:

 docker-compose up 

शुरू करने के बाद, स्टैक निम्नलिखित बंदरगाहों पर सुनता है:

• 5000: लॉगस्टैश टीसीपी इनपुट।
• 9200: एलिस्टिक्स खोज HTTP
• 9300: इलास्टिसर्च टीसीपी परिवहन
• 5601: किबाना

लॉगिंग आर्किटेक्चर

एक Django आवेदन की लॉगिंग वास्तुकला पर विचार करें।

जैसा कि आप आरेख से देख सकते हैं, एप्लिकेशन में सेवाएँ शामिल हैं: nginx, django अनुप्रयोग, अजवाइन कार्यकर्ता। सेवाओं में से प्रत्येक ELK स्टैक में लॉग भेजता है। प्रत्येक सेवा को व्यक्तिगत रूप से कॉन्फ़िगर करने पर विचार करें।

लेखन नग्नेक्स लॉग्स को ईएलके

नगीनक्स लॉग के साथ काम करने के लिए, एक अतिरिक्त फ़ाइलबीट सेवा की आवश्यकता होती है। फाइलबीट के लिए स्थापना प्रक्रिया को आधिकारिक वेबसाइट पर विस्तार से वर्णित किया गया है। एक Ubuntu सर्वर पर फ़ाइलबीट सेवा स्थापित करने का उदाहरण:

 curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-amd64.deb sudo dpkg -i filebeat-6.4.0-amd64.deb 

फाइलबीट फाइल से लॉग पढ़ेगा और लॉगस्टैश को भेजेगा। कॉन्फ़िगरेशन उदाहरण:

 filebeat.inputs: - type: log enabled: true paths: - /var/log/nginx/access.log fields: type: nginx fields_under_root: true scan_frequency: 5s output.logstash: hosts: ["logstash:5000"] 

हम अपनी फ़ाइलबीट सेवा लॉन्च करते हैं और किबाना में लॉग की उपस्थिति का निरीक्षण करते हैं।

ELK में Django लॉग्स लिखना

Django के लिए Logstash सेवा के साथ बातचीत करने के लिए, वैकल्पिक Python-logstash पैकेज स्थापित करें।

 pip install python-logstash 

चलिए Django एप्लिकेशन की सेटिंग्स को बदलते हैं ताकि लॉग को लॉगस्टैश सेवा में भेजा जाए।

 LOGGING = { 'version': 1, 'disable_existing_loggers': False, 'formatters': { 'simple': { 'format': 'velname)s %(message)s' }, }, 'handlers': { 'console': { 'level': 'INFO', 'class': 'logging.StreamHandler', 'formatter': 'simple' }, 'logstash': { 'level': 'INFO', 'class': 'logstash.TCPLogstashHandler', 'host': 'logstash', 'port': 5000, 'version': 1, 'message_type': 'django', # 'type'   logstash . 'fqdn': False, 'tags': ['django'], #  . }, }, 'loggers': { 'django.request': { 'handlers': ['logstash'], 'level': 'INFO', 'propagate': True, }, ... } } 

उसके बाद, आवेदन लॉगस्टैश में लॉग भेज देगा। उपयोग उदाहरण:

 import logging logger = logging.getLogger(__name__) def test_view(request, arg1, arg): ... if is_error: #    logger.error('Something went wrong!') 

उसके बाद, आवश्यक जानकारी प्रदर्शित करने के लिए अपने लिए किबना को कॉन्फ़िगर करें। अपनी स्वयं की सेटिंग्स के उदाहरण स्क्रीनशॉट:

सिस्टम सेवा लॉग एकत्र करता है, आपको आसानी से उनके लिए खोज करने, ग्राफ़ और विज़ुअलाइज़ेशन बनाने, आपको जल्दी से समस्याओं का पता लगाने और ठीक करने की अनुमति देता है।