EBPF (RHEL 8 Beta) का उपयोग कर एक नेटवर्क को डीबग करना

पिछली छुट्टियों के साथ सभी!

हमने अपने पहले लेख को लिनक्स पर छुट्टियों के बाद, हमारे अद्भुत लिनक्स प्रशासक पाठ्यक्रम के लिए समर्पित करने का फैसला किया, जो कि हमारे पास सबसे अधिक गतिशील पाठ्यक्रम, यानी सबसे अधिक प्रासंगिक सामग्री और प्रथाओं के साथ है। अच्छी तरह से, तदनुसार, हम दिलचस्प लेख और एक खुला सबक प्रदान करते हैं।

मैटो क्रो द्वारा पोस्ट किया गया
मूल शीर्षक: eBPF (RHEL 8 Beta) के साथ नेटवर्क डिबगिंग

परिचय

नेटवर्किंग एक रोमांचक अनुभव है, लेकिन समस्याओं को हमेशा टाला नहीं जाता है। समस्या निवारण मुश्किल हो सकता है, जैसा कि "क्षेत्र में" होने वाले गलत व्यवहार को पुन: पेश करने की कोशिश कर रहा है।

सौभाग्य से, ऐसे उपकरण हैं जो इसके साथ मदद कर सकते हैं: नेटवर्क नेमस्पेस, वर्चुअल मशीन, tc और netfilter । नेटवर्क नेमस्पेस और वीथ डिवाइसेस का उपयोग करके सरल नेटवर्क सेटिंग्स को पुन: पेश किया जा सकता है, जबकि अधिक जटिल सेटिंग्स के लिए एक सॉफ्टवेयर ब्रिज के साथ वर्चुअल मशीन को जोड़ने और मानक नेटवर्क टूल, जैसे कि iptables या tc का उपयोग करने की आवश्यकता होती है, गलत व्यवहार का अनुकरण करने के लिए। यदि SSH सर्वर के iptables -A INPUT -p tcp --dport 22 -j REJECT --reject-with icmp-host-unreachable होने पर उत्पन्न ICMP प्रतिक्रियाओं में कोई समस्या iptables -A INPUT -p tcp --dport 22 -j REJECT --reject-with icmp-host-unreachable , तो iptables -A INPUT -p tcp --dport 22 -j REJECT --reject-with icmp-host-unreachable सही नामस्थान में iptables -A INPUT -p tcp --dport 22 -j REJECT --reject-with icmp-host-unreachable समस्या को हल करने में मदद कर सकता है।

यह आलेख वर्णन करता है कि बर्कले पैकेट फ़िल्टर के उन्नत संस्करण eBPF (विस्तारित BPF) के साथ जटिल नेटवर्क समस्याओं का निवारण कैसे करें। eBPF एक अपेक्षाकृत नई तकनीक है, परियोजना एक प्रारंभिक चरण में है, इसलिए प्रलेखन और एसडीके अभी तक तैयार नहीं हैं। लेकिन चलो सुधार की आशा करते हैं, खासकर जब से Red Hat Enterprise Linux 8 बीटा के साथ XDP (eXpress डेटा पाथ) जहाज, जिसे आप अभी डाउनलोड और चला सकते हैं।

eBPF सभी समस्याओं को हल नहीं करेगा, लेकिन यह अभी भी एक शक्तिशाली नेटवर्क डिबगिंग टूल है जो ध्यान देने योग्य है। मुझे यकीन है कि यह नेटवर्क के भविष्य में वास्तव में महत्वपूर्ण भूमिका निभाएगा।



समस्या

मैंने ओपन vSwitch (OVS) नेटवर्क की समस्या को डीबग किया, जिसमें एक बहुत ही जटिल स्थापना शामिल थी: कुछ टीसीपी पैकेट बिखरे हुए थे और गलत क्रम में वितरित किए गए थे, और आभासी मशीनों की बैंडविड्थ स्थिर 6 जीबी / एस से गिरकर 2-4 जीबी / एस से बह रही थी। विश्लेषण से पता चला कि पीएसएच ध्वज के साथ प्रत्येक कनेक्शन का पहला टीसीपी पैकेट गलत क्रम में भेजा गया था: केवल पहला और केवल एक प्रति कनेक्शन।

मैंने दो वर्चुअल मशीनों के साथ इस सेटिंग को फिर से शुरू करने की कोशिश की, और कई मदद लेखों और खोज प्रश्नों के बाद, मैंने पाया कि न तो iptables और न ही nftables टीसीपी झंडे को हेरफेर कर सकते हैं, जबकि tc कर सकते हैं, लेकिन केवल झंडे को ओवरराइट करके और नए कनेक्शन और टीसीपी को बाधित करके सामान्य तौर पर।

यह संभव है कि समस्या को iptables , संयोजन और tc संयोजन से हल किया conntrack , लेकिन मैंने फैसला किया कि यह eBPF के लिए बहुत अच्छा काम है।

EBPF क्या है?

eBPF बर्कले पैकेट फ़िल्टर का एक उन्नत संस्करण है। वह BPF में बहुत सुधार लाता है। विशेष रूप से, यह आपको स्मृति में लिखने की अनुमति देता है, और न केवल पढ़ने के लिए, इसलिए पैकेजों को न केवल फ़िल्टर किया जा सकता है, बल्कि संपादित भी किया जा सकता है।

अक्सर ईएक्सपीएफ को केवल बीपीएफ कहा जाता है, और बीपीएफ को सीबीपीएफ (क्लासिक (क्लासिक) बीपीएफ) कहा जाता है, इसलिए "बीपीएफ" शब्द का उपयोग दोनों संस्करणों का अर्थ किया जा सकता है, संदर्भ के आधार पर: इस लेख में मैं हमेशा विस्तारित संस्करण के बारे में बात करता हूं।

"हुड के तहत" ईएक्सपीएफ में एक बहुत ही सरल आभासी मशीन है जो बायोटेक्स के छोटे टुकड़ों को निष्पादित कर सकती है और कुछ मेमोरी बफ़र्स को संपादित कर सकती है। EBPF में ऐसी सीमाएँ हैं जो इसे दुर्भावनापूर्ण उपयोग से बचाती हैं:

• चक्र निषिद्ध हैं ताकि कार्यक्रम हमेशा एक विशिष्ट समय पर समाप्त हो जाए;
• यह केवल स्टैक और स्क्रैच बफर के माध्यम से मेमोरी तक पहुंच सकता है;
• केवल अनुमत कर्नेल फ़ंक्शन को ही बुलाया जा सकता है।

डिबगिंग और ट्रेसिंग का उपयोग करके एक प्रोग्राम को कर्नेल में विभिन्न तरीकों से लोड किया जा सकता है। हमारे मामले में, eBPF नेटवर्क सबसिस्टम के साथ काम करने में रुचि रखता है। EBPF प्रोग्राम का उपयोग करने के दो तरीके हैं:

• एक भौतिक या आभासी नेटवर्क कार्ड के आरएक्स पथ की शुरुआत के लिए एक्सडीपी के माध्यम से जुड़ा हुआ;
• इनपुट या आउटपुट में tc से qdisc से जुड़ा।

कनेक्ट करने के लिए एक EBPF प्रोग्राम बनाने के लिए, बस C कोड लिखें और इसे bytecode में बदलें। निम्नलिखित XDP का उपयोग कर एक सरल उदाहरण है:

 SEC("prog") int xdp_main(struct xdp_md *ctx) { void *data_end = (void *)(uintptr_t)ctx->data_end; void *data = (void *)(uintptr_t)ctx->data; struct ethhdr *eth = data; struct iphdr *iph = (struct iphdr *)(eth + 1); struct icmphdr *icmph = (struct icmphdr *)(iph + 1); /* sanity check needed by the eBPF verifier */ if (icmph + 1 > data_end) return XDP_PASS; /* matched a pong packet */ if (eth->h_proto != ntohs(ETH_P_IP) || iph->protocol != IPPROTO_ICMP || icmph->type != ICMP_ECHOREPLY) return XDP_PASS; if (iph->ttl) { /* save the old TTL to recalculate the checksum */ uint16_t *ttlproto = (uint16_t *)&iph->ttl; uint16_t old_ttlproto = *ttlproto; /* set the TTL to a pseudorandom number 1 < x < TTL */ iph->ttl = bpf_get_prandom_u32() % iph->ttl + 1; /* recalculate the checksum; otherwise, the IP stack will drop it */ csum_replace2(&iph->check, old_ttlproto, *ttlproto); } return XDP_PASS; } char _license[] SEC("license") = "GPL"; 

ऊपर दिए गए स्निपेट include अभिव्यक्तियों, सहायकों और वैकल्पिक कोड को include किए बिना, एक XDP प्रोग्राम है जो एक यादृच्छिक संख्या द्वारा प्राप्त ICMP इको रिप्लाई यानी टीटीएल के TTL को बदलता है। मुख्य फ़ंक्शन को xdp_md संरचना xdp_md है, जिसमें पैकेज के आरंभ और अंत में दो xdp_md होते हैं।

हमारे कोड को eBPF बाईटेकोड में संकलित करने के लिए, उपयुक्त समर्थन वाले एक कंपाइलर की आवश्यकता होती है। क्लैंग इसका समर्थन करता है और संकलन समय पर bpf को लक्ष्य बनाकर eBPF बायटेकोड बनाता है:

 $ clang -O2 -target bpf -c xdp_manglepong.c -o xdp_manglepong.o 

ऊपर दिया गया कमांड एक फ़ाइल बनाता है, जो पहली नज़र में, एक सामान्य ऑब्जेक्ट फ़ाइल की तरह लगता है, लेकिन करीब से निरीक्षण करने पर, यह पता चलता है कि निर्दिष्ट प्रकार का कंप्यूटर लिनक्स ईएक्सपीएफ है, न कि ऑपरेटिंग सिस्टम का मूल प्रकार:

 $ readelf -h xdp_manglepong.o ELF Header: Magic: 7f 45 4c 46 02 01 01 00 00 00 00 00 00 00 00 00 Class: ELF64 Data: 2's complement, little endian Version: 1 (current) OS/ABI: UNIX - System V ABI Version: 0 Type: REL (Relocatable file) Machine: Linux BPF <--- HERE [...] 

एक नियमित ऑब्जेक्ट फ़ाइल के आवरण को प्राप्त करने के बाद, EBPF प्रोग्राम XDP के माध्यम से डिवाइस को डाउनलोड करने और कनेक्ट करने के लिए तैयार है। यह निम्नलिखित वाक्य रचना के साथ iproute2 पैकेज से ip का उपयोग करके किया जा सकता है:

 # ip -force link set dev wlan0 xdp object xdp_manglepong.o verbose 

यह कमांड लक्ष्य wlan0 इंटरफ़ेस को निर्दिष्ट करता है और, -force विकल्प के लिए धन्यवाद, पहले से लोड किए गए किसी भी मौजूदा ईपीपीएफ कोड को ओवरराइट करता है। EBPF बाइटकोड लोड करने के बाद, सिस्टम निम्नानुसार व्यवहार करता है:

 $ ping -c10 192.168.85.1 PING 192.168.85.1 (192.168.85.1) 56(84) bytes of data. 64 bytes from 192.168.85.1: icmp_seq=1 ttl=41 time=0.929 ms 64 bytes from 192.168.85.1: icmp_seq=2 ttl=7 time=0.954 ms 64 bytes from 192.168.85.1: icmp_seq=3 ttl=17 time=0.944 ms 64 bytes from 192.168.85.1: icmp_seq=4 ttl=64 time=0.948 ms 64 bytes from 192.168.85.1: icmp_seq=5 ttl=9 time=0.803 ms 64 bytes from 192.168.85.1: icmp_seq=6 ttl=22 time=0.780 ms 64 bytes from 192.168.85.1: icmp_seq=7 ttl=32 time=0.847 ms 64 bytes from 192.168.85.1: icmp_seq=8 ttl=50 time=0.750 ms 64 bytes from 192.168.85.1: icmp_seq=9 ttl=24 time=0.744 ms 64 bytes from 192.168.85.1: icmp_seq=10 ttl=42 time=0.791 ms --- 192.168.85.1 ping statistics --- 10 packets transmitted, 10 received, 0% packet loss, time 125ms rtt min/avg/max/mdev = 0.744/0.849/0.954/0.082 ms 

प्रत्येक पैकेट ईजीपीएफ से गुजरता है, जो अंततः कुछ बदलाव करता है और यह तय करता है कि पैकेट को छोड़ना है या छोड़ना है।

कैसे eBPF मदद कर सकता है

मूल नेटवर्क समस्या पर लौटते हुए, हम याद करते हैं कि कई टीसीपी झंडे, एक प्रति कनेक्शन, और न तो iptables को चिह्नित करना आवश्यक था और न ही tc ऐसा कर सकता था। इस परिदृश्य के लिए कोड लिखना बिल्कुल भी मुश्किल नहीं है: एक ओवीएस ब्रिज से जुड़ी दो आभासी मशीनों को कॉन्फ़िगर करें, और बस वर्चुअल वीएम डिवाइसों में से एक से ईपीपीएफ कनेक्ट करें।

यह एक महान समाधान की तरह लगता है, लेकिन ध्यान रखें कि XDP केवल प्राप्त पैकेटों के प्रसंस्करण का समर्थन करता है, और eBPF को प्राप्त करने वाले वर्चुअल मशीन के rx पथ से कनेक्ट करने से स्विच पर कोई प्रभाव नहीं पड़ेगा।

इस समस्या को हल करने के लिए, EBPF को tc का उपयोग करके लोड किया जाना चाहिए और VM के आउटपुट पथ से जुड़ा होना चाहिए, क्योंकि tc लोड कर सकते हैं और eBPF प्रोग्राम को qdisk से जोड़ सकते हैं। होस्ट छोड़ने वाले पैकेटों को चिह्नित करने के लिए, eBPF को आउटपुट qdisk से जोड़ा जाना चाहिए।

EBPF प्रोग्राम को लोड करते समय, XDP और tc API के बीच कुछ अंतर होते हैं: डिफ़ॉल्ट रूप से, अलग-अलग अनुभाग नाम, मुख्य फ़ंक्शन के तर्क का प्रकार, विभिन्न रिटर्न मान। लेकिन यह कोई समस्या नहीं है। नीचे एक प्रोग्राम का एक स्निपेट दिया गया है जो tc एक्शन में शामिल होने पर TCP को चिह्नित करता है:

 #define RATIO 10 SEC("action") int bpf_main(struct __sk_buff *skb) { void *data = (void *)(uintptr_t)skb->data; void *data_end = (void *)(uintptr_t)skb->data_end; struct ethhdr *eth = data; struct iphdr *iph = (struct iphdr *)(eth + 1); struct tcphdr *tcphdr = (struct tcphdr *)(iph + 1); /* sanity check needed by the eBPF verifier */ if ((void *)(tcphdr + 1) > data_end) return TC_ACT_OK; /* skip non-TCP packets */ if (eth->h_proto != __constant_htons(ETH_P_IP) || iph->protocol != IPPROTO_TCP) return TC_ACT_OK; /* incompatible flags, or PSH already set */ if (tcphdr->syn || tcphdr->fin || tcphdr->rst || tcphdr->psh) return TC_ACT_OK; if (bpf_get_prandom_u32() % RATIO == 0) tcphdr->psh = 1; return TC_ACT_OK; } char _license[] SEC("license") = "GPL"; 

बायटेकोड में संकलन निम्नलिखित के उपयोग से ऊपर XDP उदाहरण में दिखाया गया है:

 clang -O2 -target bpf -c tcp_psh.c -o tcp_psh.o 

लेकिन डाउनलोड अलग है:

 # tc qdisc add dev eth0 clsact # tc filter add dev eth0 egress matchall action bpf object-file tcp_psh.o 

अब eBPF को सही जगह पर लोड किया गया है और VM को छोड़ने वाले पैकेट को चिह्नित किया गया है। दूसरे वीएम में प्राप्त पैकेट की जांच करने के बाद, हम निम्नलिखित देखेंगे:



tcpdump पुष्टि करता है कि नया eBPF कोड काम कर रहा है, और हर 10 TCP पैकेट में से लगभग 1 में PSS फ़्लैग सेट है। वर्चुअल मशीन छोड़ने वाले टीसीपी पैकेटों को चुनने के लिए सी-कोड की केवल 20 लाइनों की आवश्यकता थी, जो "युद्ध में" होने वाली त्रुटि को पुन: उत्पन्न करता है, और सभी पुन: स्थापित या यहां तक ​​कि पुनरारंभ किए बिना! इसने ओपन वीस्विच फिक्स के सत्यापन को बहुत सरल कर दिया , जो अन्य उपकरणों के साथ हासिल करना असंभव था।

निष्कर्ष

eBPF एक काफी नई तकनीक है, और इसके कार्यान्वयन के बारे में समुदाय की स्पष्ट राय है। यह भी ध्यान देने योग्य है कि ईएक्सपीएफ पर आधारित परियोजनाएं, उदाहरण के लिए bpfilter , अधिक लोकप्रिय हो रही हैं, और इसके परिणामस्वरूप, कई उपकरण आपूर्तिकर्ता सीधे नेटवर्क कार्ड में eBPF समर्थन को लागू करने लगे हैं।

eBPF सभी समस्याओं को हल नहीं करेगा, इसलिए इसका दुरुपयोग न करें, लेकिन फिर भी यह नेटवर्क डिबगिंग के लिए एक बहुत शक्तिशाली उपकरण है और ध्यान देने योग्य है। मुझे यकीन है कि यह नेटवर्क के भविष्य में महत्वपूर्ण भूमिका निभाएगा।

अंत

हम यहां आपकी टिप्पणियों की प्रतीक्षा कर रहे हैं, और हम आपको हमारे खुले पाठ की यात्रा के लिए भी आमंत्रित करते हैं, जहां यदि आप प्रश्न पूछ सकते हैं।