स्प्लंक में डेटा लोड हो रहा है: यूनिवर्सल फारवर्डर बनाम हैवी फारवर्डर। अंतर क्या है?

आज हम एजेंटों (अग्रदूतों) के बारे में स्प्लंक डेटा अपलोड करने की बात करेंगे। लेख में हम संक्षेप में बात करेंगे कि यह क्या है, किस प्रकार के हैं, उनके बीच क्या अंतर है और किन स्थितियों में एक या किसी अन्य फारवर्डर का उपयोग करना बेहतर है।

सही डेटा लोडिंग किसी भी डेटा सिस्टम में सबसे समस्याग्रस्त मुद्दा है। डेटा ट्रांसफर को विभिन्न तरीकों से किया जा सकता है, लेकिन उनमें से सबसे आम है फॉरवर्डर्स का उपयोग।

Splunk फारवर्डर के कई फायदे हैं:

• मेटाडेटा (स्रोत, स्रोत प्रकार और होस्ट) लेबल करना
• कस्टम बफरिंग
• डेटा संपीड़न
• एसएसएल
• किसी भी उपलब्ध नेटवर्क पोर्ट का उपयोग करना

आपके द्वारा यह तय करने के बाद कि आप फ़ॉर्वर्ड का उपयोग करके डेटा अग्रेषित करेंगे, निम्नलिखित प्रश्न उठता है: कौन सा फ़ॉर्वर्ड उपयोग करने के लिए सबसे अच्छा है?

फारवर्डर के 2 प्रकार हैं :

1. यूनिवर्सल फारवर्डर , जिसमें केवल वे घटक शामिल हैं जो डेटा ट्रांसफर के लिए आवश्यक हैं।
2. हैवी फारवर्डर , जो एक पूर्ण-स्प्लैंक एंटरप्राइज़ है, जो डेटा संचारित करने के अलावा, खोज क्वेरी कर सकता है, और डेटा को संशोधित कर सकता है।

यूनिवर्सल फारवर्डर

हैवी फारवर्डर के उपयोग से यूनिवर्सल फारवर्डर के कई फायदे हैं। और इसलिए, अक्सर इसका उपयोग करने की सिफारिश की जाती है यदि हेवी फारवर्डर का उपयोग करने के लिए कोई विशेष शर्त नहीं है, जिसे हम बाद में चर्चा करेंगे।

सबसे उल्लेखनीय लाभ यह है कि यूनिवर्सल फारवर्डर अन्य स्पंक सॉफ्टवेयर उत्पादों की तुलना में काफी कम हार्डवेयर संसाधनों का उपयोग करता है। यह कम सीपीयू लोड करता है, कम मेमोरी का उपयोग करता है और डिस्क स्थान कम लेता है। यह अन्य स्प्लंक उत्पादों की तुलना में भी अधिक स्केलेबल है, क्योंकि आप एक हजार से अधिक उदाहरण स्थापित कर सकते हैं जो नेटवर्क और होस्ट प्रदर्शन को बहुत प्रभावित नहीं करेंगे।

एक और लाभ कई अलग-अलग प्लेटफार्मों पर स्थापना के लिए इसकी उपलब्धता है। इसे न केवल विंडोज, लिनक्स और मैक ओएस पर, स्प्लंक एंटरप्राइज की तरह, बल्कि सोलारिस, फ्रीबीएसडी और एआईएक्स पर भी स्थापित किया जा सकता है।

यूनिवर्सल फ़ॉर्वर्डर एक अलग इंस्टॉलेशन पैकेज के रूप में उपलब्ध है और इसमें स्प्लंक प्लेटफ़ॉर्म के अन्य उदाहरणों में डेटा भेजने के लिए आवश्यक आवश्यक घटक शामिल हैं। हालाँकि इसमें एक वेब इंटरफ़ेस नहीं है, फिर भी इसे कॉन्फ़िगरेशन फ़ाइलों को संपादित करके अनुकूलित, प्रबंधित और स्केल किया जा सकता है।

बेहतर प्रदर्शन प्राप्त करने के लिए, यूनिवर्सल फारवर्डर की कई सीमाएँ हैं:

• स्थानीय रूप से अनुक्रमण और खोज क्वेरी नहीं कर सकता।
• आप अलर्ट सेट नहीं कर सकते।
• आप आने वाले डेटा स्ट्रीम का विश्लेषण केवल अनुक्रमित करने से पहले कर सकते हैं यदि यह संरचित डेटा है।
• अजगर शामिल नहीं है।

यूनिवर्सल फ़ॉरवर्डर को कैसे संस्थापित और कॉन्फ़िगर किया जा सकता है ।

भारी अग्रगामी

हालांकि यूनिवर्सल फ़ॉर्वर्डर डेटा भेजने का पसंदीदा तरीका है, आपको भारी फ़ॉर्वर्डर की आवश्यकता हो सकती है यदि आपको इसे भेजने से पहले डेटा का विश्लेषण या परिवर्तन करने की आवश्यकता है, या आपको इसकी सामग्री के आधार पर डेटा को नियंत्रित करने की आवश्यकता है।

हैवी फ़ॉरवर्डर के प्रमुख लाभों में से एक यह है कि यह अनचाही डेटा में भी अवांछित घटनाओं को फ़िल्टर कर सकता है, जिससे अनुक्रमण की मात्रा कम हो जाएगी, और लाइसेंस का आकार इस पर निर्भर करता है।

सच है, यह ध्यान दिया जाना चाहिए कि हेवी फारवर्डर के उपयोग से नेटवर्क ट्रैफ़िक, सीपीयू और मेमोरी का उपयोग बढ़ता है। यह इस तथ्य के कारण है कि हेवी फारवर्डर नेटवर्क पर विश्लेषण किए गए डेटा को न केवल कच्ची घटनाओं के साथ, बल्कि उन सभी क्षेत्रों के साथ भेजता है जो अनुक्रमण और अतिरिक्त मेटाडेटा के दौरान हाइलाइट किए जाते हैं।

हेवी और यूनिवर्सल फारवर्डर के प्रदर्शन की तुलना करने के लिए, एक परीक्षण आयोजित किया गया था।
परीक्षण फ़ाइल में 367,463,625 इवेंट थे।

	नेटवर्क ट्रैफ़िक (GB)	औसत बिट दर (केबीपीएस)	औसत अनुक्रमण गति (Kbit / s)	अवधि (सेकंड)
भारी अग्रगामी	38.4	1922	5139	20,998
यूनिवर्सल फारवर्डर	6.4	1015	17466	6662

प्रयोग के परिणाम

यूनिवर्सल फ़ॉरवर्डर का उपयोग करते समय:

• नेटवर्क पर भेजे गए डेटा की मात्रा 6 गुना कम थी।
• प्रति सेकंड अनुक्रमित डेटा की मात्रा लगभग 3 गुना अधिक थी
• डेटा लोडिंग की कुल अवधि 3 गुना तेज थी

सिफारिशें

हेवी फारवर्डर का उपयोग तभी करें जब:

• असंरचित घटनाओं का प्रारंभिक विश्लेषण करके डेटा के एक महत्वपूर्ण हिस्से को फ़िल्टर करना संभव है
• उपयोगकर्ता इंटरफ़ेस या ऐड-ऑन के लिए विशेष आवश्यकताएं हैं, उदाहरण के लिए, DBconnect, चेकपॉइंट, सिस्को IPS
• कॉम्प्लेक्स (ईवेंट सामग्री द्वारा) डेटा रूटिंग

अन्य मामलों में, यूनिवर्सल फ़ॉरवर्डर का उपयोग करना बेहतर है ।

---

यदि आपने अभी भी स्प्लंक की कोशिश नहीं की है, तो शुरू करने का समय है, प्रति दिन 500 एमबी तक का मुफ्त संस्करण सभी के लिए उपलब्ध है । और यदि आपके पास स्प्लंक के साथ प्रश्न या समस्याएं हैं - तो आप उन्हें हमसे पूछ सकते हैं, और हम मदद करेंगे।

हम आधिकारिक प्रीमियर स्पंक संबद्ध हैं ।