अपने लॉग की मात्रा कैसे निर्धारित करें?

शुभ दोपहर

आज हम एक सामान्य प्रश्न पर विचार करेंगे कि हर कोई जो लॉग करता है या करने जा रहा है उसका सामना करना पड़ता है और अब प्रसंस्करण और भंडारण के विभिन्न समाधानों पर विचार कर रहा है। प्रति दिन / सप्ताह / माह में लॉग की कितनी मात्रा हम विभिन्न प्रणालियों से प्राप्त करेंगे और हमें किन संग्रहण संसाधनों का उपयोग करना चाहिए?
यह सुनिश्चित करने के लिए कहना काफी मुश्किल है, लेकिन हम आपको हमारे अनुभव के आधार पर अनुमानित मात्रा का अनुमान लगाने में मदद करने की कोशिश करेंगे।

हमारी मूल्यांकन पद्धति विभिन्न स्रोतों में लॉग की संख्या पर सांख्यिकीय जानकारी के उपयोग पर आधारित है, नीचे दिए गए सभी मान विभिन्न लॉग संग्रह परियोजनाओं पर काम के परिणामों के औसत मूल्य हैं।

उदाहरण के लिए, कुछ सामान्य स्रोत लें:

• विंडोज इवेंट लॉग
• विंडोज डोमेन
• सिस्को एएसए
• सिस्को ईएसए
• सिस्को IPS
• सिस्को IOS
• पालो अल्टो
• * निक्स-सिसलॉग
• MSExchange मेल

लॉग संग्रह

पहले, हमने प्रत्येक स्रोत में एक घटना में बाइट्स की औसत संख्या को मापा। फिर हमने प्रति दिन लगभग घटनाओं की संख्या की गणना की, जो एक स्रोत पर आते हैं और गणना करते हैं कि प्रत्येक उपकरण से जीबी में कितने लॉग एकत्र किए जाएंगे।

WinEventLog
~ घटना में बाइट = 1150
बुध प्रति दिन की घटनाओं की संख्या (भाग्य) = 25 000
जीबी / दिन (भाग्य।) = 1150 * 25 000/1024 ^ 3 ( 0.03

विंडोज डोमेन
~ घटना में बाइट = 1150
बुध प्रति दिन घटनाओं की संख्या (भाग्य) = 250 000
जीबी / दिन (भाग्य।) = 1150 * 250 000/1024 ^ 3 ( 0.3

सिस्को एएसए
~ घटना बाइट = २४०
बुध प्रति दिन घटनाओं की संख्या (भाग्य) = 1 600 000
जीबी / दिन (भाग्य।) = 240 * 1 600 000/1024 ^ 3। 0.35

सिस्को ईएसए
~ घटना में बाइट = 100
बुध प्रति दिन की घटनाओं की संख्या (भाग्य) = 200 000
जीबी / दिन (भाग्य।) = 100 * 200 000/1024 ^ 3 ( 0.02

सिस्को IPS
~ घटना में बाइट = 1200
बुध प्रति दिन घटनाओं की संख्या (भाग्य) = 500 000
जीबी / दिन (भाग्य।) = 1200 * 500 000/1024 ^ 3। 0.6

सिस्को IOS
~ घटना में बाइट = 150
बुध प्रति दिन की घटनाओं की संख्या (भाग्य।) = 20 000
जीबी / दिन (भाग्य।) = 150 * 20 000/1024 ^ 3। 0.003

पालो अल्टो
~ घटना में बाइट = 400
बुध प्रति दिन घटनाओं की संख्या (भाग्य) = 500 000
जीबी / दिन (भाग्य।) = 400 * 500 000/1024 ^ 3 ( 0.2

* निक्स-सिसलॉग
~ घटना में बाइट = 100
बुध प्रति दिन की घटनाओं की संख्या (भाग्य) = 50 000
जीबी / दिन (भाग्य।) = 100 * 50 000/1024 ^ 3। 0.005

MSExchange मेल
~ घटना में बाइट = 300
बुध प्रति दिन घटनाओं की संख्या (भाग्य) = 100 000
जीबी / दिन (भाग्य।) = 300 * 100 000/1024 ^ 3। 0.03

इसके अलावा, सभी लॉग की मात्रा निर्धारित करने के लिए, यह निर्धारित करना आवश्यक है कि हम कितने उपकरणों को इकट्ठा करना चाहते हैं और उनसे जानकारी संग्रहीत करना चाहते हैं। उदाहरण के लिए, इस मामले पर विचार करें कि क्या हमारे पास विनएवेंटलॉग जनरेट करने वाले 30 डिवाइस हैं, प्रत्येक डिवाइस - विंडोज डोमेन, सिस्को ईएसए, सिस्को आईपीएस, पालो ऑल्टो।

1150 * 25 000 * 30 + 1150 * 250 000 + 100 * 200 000 + 1200 * 500 000 + 400 * 500 000 = 1 970 000 बाइट्स / दिन = 1.8347 GB / दिन .4 12.4 GB / सप्ताह GB 55 GB / महीना

बेशक, गणना की इस पद्धति का उपयोग करते समय, एक महत्वपूर्ण त्रुटि हो सकती है, क्योंकि प्रति दिन लॉग की संख्या कई कारकों पर निर्भर करती है, उदाहरण के लिए:

• उपयोगकर्ताओं की संख्या और उनकी भूमिका
• लेखा परीक्षा सेवाएँ शामिल हैं
• आवश्यक गंभीरता स्तर
• और भी बहुत कुछ

इस पद्धति का एक महत्वपूर्ण प्लस यह है कि यदि आंकड़े हैं, तो एक नैपकिन पर भी लॉग की अनुमानित मात्रा की गणना की जा सकती है। माइनस एक संभावित बड़ी त्रुटि है। यदि महत्वपूर्ण विचलन अस्वीकार्य हैं, तो आप सभी स्रोतों से डेटा डाउनलोड को परीक्षण प्रणाली में कॉन्फ़िगर कर सकते हैं, उदाहरण के लिए, स्प्लंक बड़ी संख्या में स्रोतों का परीक्षण करने के लिए पर्याप्त संसाधनों के साथ एक परीक्षण लाइसेंस प्रदान करता है। यह विधि एक सटीक परिणाम देती है, लेकिन किसी भी परीक्षण प्रणाली की तैनाती के लिए समय, श्रम और तकनीकी संसाधनों की आवश्यकता होगी।

डेटा भंडारण

हम लॉग के विषय पर एक और सवाल पर संक्षेप में स्पर्श करते हैं: उन्हें संग्रहीत करने के लिए कितने संसाधनों की आवश्यकता होगी।

इस प्रश्न का उत्तर देने के लिए, सबसे पहले, आपको यह समझने की आवश्यकता है कि आपका लॉग प्रसंस्करण उपकरण किस रूप में डेटा संग्रहीत करता है। उदाहरण के लिए, ईएलके , लॉग के साथ, चयनित क्षेत्रों के बारे में भी जानकारी संग्रहीत करता है, जो एक घटना की मात्रा को 3 गुना तक बढ़ा सकता है, और स्प्लंक डेटा को केवल कच्चे रूप में संग्रहीत करता है, इसके अलावा उन्हें संपीड़ित करता है, और मेटाडेटा को घटनाओं के लिए अलग से संग्रहीत किया जाता है।

फिर, आपको यह समझने की आवश्यकता है कि आपको किस ऐतिहासिक डेटा को संग्रहीत करने की आवश्यकता है, डेटा का "तापमान" , RAID आदि। इस लिंक पर एक सुविधाजनक कैलकुलेटर पाया जा सकता है।

निष्कर्ष

सामयिक मुद्दों में से एक, जिसके कारण हमने लॉग वॉल्यूम के विषय पर छुआ, यह है कि स्प्लंक लाइसेंस प्रति दिन अनुक्रमित डेटा की मात्रा पर निर्भर करता है। यदि आप अपने लॉग को संसाधित करने के लिए स्पंक का उपयोग करना चाहते हैं, तो अनुमानित मात्रा की गणना करने के बाद, आप आवश्यक लाइसेंस की लागत का अनुमान लगा सकते हैं। लाइसेंस कैलकुलेटर यहां पाया जा सकता है ।

आप अपने लॉग की मात्रा का मूल्यांकन कैसे करते हैं? टिप्पणियों में अपने अनुभव, उपकरण, दिलचस्प मामले साझा करें।