नेटफ्लो सस्ता और गुस्सा लाना

TL; DR : लेखक ने GoFlow , Kafka , ClickHouse , Grafana और Go पर एक बैसाखी से एक नेटफ्लो / sFlow कलेक्टर को संकलित किया है।

हैलो, मैं एक शोषक हूं और वास्तव में यह जानना पसंद करता हूं कि बुनियादी ढांचे में क्या हो रहा है। और मुझे अन्य लोगों के मामलों में भी शामिल होना पसंद है, और इस बार मैं नेटवर्क में चढ़ गया।

मान लीजिए कि आपके पास अपने स्वयं के नेटवर्क उपकरण और मोनोलिथ्स, माइक्रोसर्विस और माइक्रोसर्विस के मोनोलिथ्स का एक बैग है जो डेटाबेस, कैश और एफ़टीपी सर्वर के रूप में उनकी निर्भरता के साथ इंटरनेट से चिपके रहते हैं। और कभी-कभी इस बैग के कुछ निवासी एक नेटवर्क में शरारती खेलना शुरू करते हैं।

इस तरह के मज़ाक के कुछ उदाहरण हैं:

• 40 धाराओं में निर्धारित विंडो के बाहर बैकअप;
• कॉन्फ़िगरेशन त्रुटियों में एक डीसी में एक आवेदन दूसरे डीसी के कैश में भेज रहा है;
• उसी कैश पर अगले रैक में आवेदन के प्रश्न "मुझे कैश से यह आधा मेगाबाइट ऑब्जेक्ट दें" प्रति सेकंड दो सौ गुना।

स्विच पोर्ट या वीएम से एसएनएमपी काउंटर केवल जो हो रहा है उसकी अनुमानित समझ देगा, लेकिन मैं सटीकता और समस्या विश्लेषण की गति चाहता हूं। NetFlow / IPFIX और sFlow प्रोटोकॉल बचाव में आते हैं, जो नेटवर्क उपकरणों से सीधे ट्रैफ़िक की समृद्ध जानकारी उत्पन्न करते हैं। यह इसे कहीं न कहीं रख देता है और किसी तरह इसे संसाधित करता है।

उपलब्ध नेटफ्लो कलेक्टरों में से, निम्नलिखित पर विचार किया गया है:

• फ्लो-टूल्स - मैंने फाइलों में स्टोरेज को पसंद नहीं किया (यह घटना की प्रतिक्रिया के दौरान चयन करने के लिए एक लंबे समय तक, विशेष रूप से परिचालन वाले) या MySQL (एक बिलियन पंक्तियों की तालिका होने पर एक बहुत धूमिल विचार जैसा लगता है);
• एलियस्टीसर्च + लॉगस्टैश + किबाना एक बहुत ही संसाधन-गहन गुच्छा है, जो प्रति सेकंड 5000 प्रवाह प्राप्त करने के लिए बुजुर्गों के 6 कोर तक 2.2 गीगाहर्ट्ज सीपीयू है। हालांकि, किबाना आपको ब्राउज़र में किसी भी प्रकार के फिल्टर को छड़ी करने की अनुमति देता है, जो मूल्यवान है;
• vflow - आउटपुट स्वरूप को पसंद नहीं करता था (JSON, जिसे संशोधन के बिना एक ही एलीस्टेक खोज में जोड़ा नहीं जा सकता);
• बॉक्सिंग समाधान - उच्च कीमत या चयनित एक से छोटे अंतर को पसंद नहीं किया।

और इसे RIPE 75 पर लुई पाइग्सिग्नन की प्रस्तुति में वर्णित किया गया था। एक साधारण कलेक्टर की सामान्य योजना इस प्रकार है:

GoFlow नेटफ्लो / sFlow पैकेटों को पार्स करता है और उन्हें एक स्थानीय काफ्का में प्रोटोबोफ़ प्रारूप में डालता है। स्व-लिखित "फावड़ा" goflow2ch काफ्का से संदेश लेता है और अधिक उत्पादकता के लिए उन्हें बैचहाउस में क्लिकहाउस में स्थानांतरित करता है। यह योजना उच्च उपलब्धता के मुद्दे को बिल्कुल भी संबोधित नहीं करती है, लेकिन प्रत्येक घटक के लिए इसे प्रदान करने के लिए या तो नियमित या अधिक या कम सरल बाहरी तरीके हैं।

परीक्षणों से पता चला है कि सीपीयू कोर के एक चौथाई के बारे में प्रति 5000 मेकप को पार्स करने और बनाए रखने के लिए खर्च करता है, और खपत की जाने वाली डिस्क स्थान औसतन 310 बाइट्स पर थोड़ा छोटा प्रवाह है।

जानकारी प्रदर्शित करने के लिए, या तो ClickHouse के लिए वेब UI जिसे Tabix कहा जाता है या ग्राफ्टाना के लिए प्लगइन का उपयोग किया जाता है ।

योजना के लाभ:

• SQL बोली का उपयोग करके नेटवर्क की स्थिति के बारे में मनमाने ढंग से प्रश्न पूछने की क्षमता;
• कम संसाधन आवश्यकताओं और क्षैतिज मापनीयता। पुराने / धीमे प्रोसेसर और चुंबकीय हार्ड ड्राइव करेंगे;
• यदि आवश्यक हो, तो नेटवर्क घटनाओं के विश्लेषण के लिए एक पूर्ण-विकसित डेटा पाइपलाइन एकत्र की जाती है, जिसमें वास्तविक समय में काफ्का धाराओं, फ्लिंक या एनालॉग्स का उपयोग करना शामिल है;
• भंडारण को किसी भी न्यूनतम साधन में बदलने की क्षमता।

Minuses भी सभ्य हैं:

• प्रश्न पूछने के लिए, आपको SQL अच्छी तरह से और इसके ClickHouse बोली को जानने की जरूरत है, कोई तैयार रिपोर्ट और रेखांकन नहीं हैं;
• काफ्का, ज़ुकीपर और क्लिकहाउस के रूप में कई नए चलते हुए भाग। पहले दो जावा में हैं, जो धार्मिक अस्वीकृति का कारण बन सकते हैं। मेरे लिए व्यक्तिगत रूप से, यह कोई समस्या नहीं थी, क्योंकि यह सब पहले से ही किसी तरह संगठन में इस्तेमाल किया गया था;
• कोड लिखना है। या तो "फावड़ा" कफका से क्लिकहाउस में डेटा स्थानांतरित कर रहा है, या GoFlow से सीधे रिकॉर्डिंग के लिए एक एडाप्टर।

मौसम की विशेषताएं:

• काफ्का और क्लिकहाउस में डेटा के आकार के अनुसार रोटेशन को समायोजित करना सुनिश्चित करें, और फिर जांचें कि यह वास्तव में काम करता है। काफ्का में लॉग विभाजन के आकार पर एक सीमा है, और क्लिकहाउस में - एक मनमाना कुंजी द्वारा विभाजन। हर 10 मिनट में एक नया विभाजन और अनावश्यक विभाजन को हटाना परिचालन निगरानी के लिए अच्छी तरह से काम करता है और इसे केवल कुछ पंक्तियों से एक स्क्रिप्ट बनाया जाता है;
• उपभोक्ता समूहों के उपयोग से "फावड़ा" लाभ, आपको पैमाने और दोष सहिष्णुता के लिए और अधिक "फावड़ियों" को जोड़ने की अनुमति देता है;
• जब "फावड़ा" या ClickHouse क्रैश (उदाहरण के लिए, एक भारी अनुरोध और / या गलत तरीके से सीमित संसाधनों) से काफ्का आपको डेटा नहीं खोने देता है, लेकिन डेटाबेस को सावधानीपूर्वक कॉन्फ़िगर करने के लिए, यह बेहतर है;
• यदि आप sFlow एकत्र करेंगे, तो याद रखें कि डिफ़ॉल्ट रूप से कुछ स्विच चलते समय पैकेट का नमूना दर बदल देते हैं, और यह प्रत्येक स्ट्रीम के लिए संकेत दिया जाता है।

परिणामस्वरूप, वास्तविक समय के प्लस या माइनस और ऐतिहासिक परिप्रेक्ष्य में नेटवर्क स्थिति की निगरानी के लिए एक उपकरण, ओपन सोर्स घटकों और ब्लू इलेक्ट्रिकल टेप से प्राप्त किया गया था। अपने घुटने की गहराई के बावजूद, उन्होंने कई बार कई घटनाओं को हल करने के लिए समय कम करने में मदद की है।