नमस्कार, हेब्र! मैं आपका ध्यान आकर्षित करने के लिए eBPF पर ब्रेंडन ग्रेग के एक लेख का अनुवाद करता हूं

लिनक्स प्लंबर सम्मेलन में कम से कम 24 eBPF प्रस्तुतियाँ थीं। यह जल्दी से न केवल एक अमूल्य तकनीक बन गया, बल्कि एक कुशल कौशल भी बन गया। शायद आप नए साल के लिए कुछ लक्ष्य निर्धारित करना चाहते हैं - ईज़ीपीएफ सीखें!

शब्द ईपीपीएफ का अर्थ पर्याप्त होना चाहिए, जैसे वर्चुअल कर्नेल इंस्ट्रक्शन सेट (वीकेआईएस), लेकिन इसका मूल एक विस्तारित बर्कले पैकेट फ़िल्टर है। यह कई क्षेत्रों में लागू होता है, जैसे कि नेटवर्क प्रदर्शन, फायरवॉल, सुरक्षा, ट्रेसिंग और डिवाइस ड्राइवर। उनमें से कुछ के लिए, इंटरनेट पर बहुत सारी स्वतंत्र रूप से उपलब्ध जानकारी है - उदाहरण के लिए, अनुरेखण, लेकिन दूसरों के लिए यह अभी तक नहीं है। शब्द ट्रेस प्रदर्शन विश्लेषण और निगरानी उपकरण को संदर्भित करता है जो प्रत्येक घटना के लिए जानकारी उत्पन्न कर सकता है। आपने पहले से ही एक ट्रेसर का उपयोग किया हो सकता है - tcpdump और स्ट्रेस विशेष ट्रेसर हैं।

इस पोस्ट में, मैं शुरुआती, उन्नत और उन्नत उपयोगकर्ताओं के लिए अनुभागों में समूहीकृत किए गए उद्देश्यों के लिए eBPF के उपयोग की प्रक्रिया का अध्ययन करने जा रहा हूं। संक्षेप में:

शुरुआत: बीसीसी उपकरण लॉन्च करना
अनुभवी: विकासशील bpftrace उपकरण
उन्नत: bcc टूल विकसित करना, bcc और bpftrace में योगदान करना

शुरुआती

1. eBPF, bcc, bpftrace और iovisor क्या हैं?

ईएक्सपीएफ लिनक्स के लिए वैसा ही करता है जैसा कि HTML के लिए जावास्क्रिप्ट करता है। इसलिए, एक स्थिर HTML साइट के बजाय, जावास्क्रिप्ट आपको मिनी-प्रोग्राम को परिभाषित करने की अनुमति देता है जो घटनाओं पर निष्पादित करते हैं - जैसे माउस क्लिक - जो एक ब्राउज़र में एक सुरक्षित आभासी मशीन में चलता है। और eBPF के साथ - कर्नेल के संपादन के बजाय, अब आप मिनी-प्रोग्राम लिख सकते हैं जो डिस्क I / O जैसी घटनाओं पर कर्नेल में एक सुरक्षित वर्चुअल मशीन पर चलते हैं। वास्तव में, eBPF एक v8 वर्चुअल मशीन की तरह है जो जावास्क्रिप्ट को जावास्क्रिप्ट से ही चलाता है। eBPF लिनक्स कर्नेल का हिस्सा है।

सीधे eBPF में प्रोग्रामिंग अविश्वसनीय रूप से कठिन है, ठीक v8 बाईटेकोड की तरह। लेकिन कोई भी v8 में कोडिंग नहीं करता है: हर कोई जावास्क्रिप्ट में लिखता है, या अक्सर जावास्क्रिप्ट (jQuery, कोणीय, प्रतिक्रिया, आदि) के ऊपर एक रूपरेखा में। EBPF के साथ एक ही बात। लोग इसका उपयोग करेंगे, और फ्रेमवर्क के माध्यम से कोड लिखेंगे। ट्रेसिंग के लिए मुख्य हैं bcc और bpftrace । वे कर्नेल कोड बेस में नहीं रहते हैं, वे लिनक्स फाउंडेशन प्रोजेक्ट में एक गॉथब पर बनाते हैं जिसे आईओविज़र कहा जाता है।

2. क्या ईबीपीएफ का उपयोग करके ट्रेस करना संभव है?

यह eBPF- आधारित उपयोगिता अपनी प्रक्रिया ID (PID), कमांड नेम (COMM), भेजे गए बाइट्स (TX_KB, RX_KB), और मिलीसेकंड (MS) में पूरी तरह से स्थापित टीसीपी सत्रों को प्रदर्शित करती है।

# tcplife

 PID COMM LADDR LPORT RADDR RPORT TX_KB RX_KB MS
 22597 रिकॉर्डरोग 127.0.0.1 46644 127.0.0.1 28527 0 0 0.23
 3277 रेडिस-सर्व 127.0.0.1 28527 127.0.0.1 46644 0 0 0.28
 22598 कर्ल 100.66.3.172 61620 52.205.89.26 80 0 1 91.79
 22604 कर्ल 100.66.3.172 44400 52.204.43.121 80 0 1 121.38
 22624 रिकॉर्डप्रोप 127.0.0.1 46648 127.0.0.1 28527 0 0 0.22
 3277 रेडिस-सर्विस 127.0.0.1 28527 127.0.0.1 46648 0 0 0.27
 22647 रिकॉर्डप्रोप 127.0.0.1 46650 127.0.0.1 28527 0 0 0.21
 3277 रेडिस-सर्विस 127.0.0.1 28527 127.0.0.1 46650 0 0 0.26
 [...]

यह EBPF संभव नहीं बनाता है - मैं पुराने कर्नेल तकनीकों का उपयोग करने के लिए tcplife को फिर से लिख सकता हूं। लेकिन अगर मैंने किया, तो हम कम प्रदर्शन, सुरक्षा मुद्दों, या दोनों के कारण उत्पादन में ऐसा कोई उपकरण नहीं चलाएंगे। eBPF ने इस टूल को व्यावहारिक बनाया है: यह कुशल और सुरक्षित है। उदाहरण के लिए, यह हर पैकेज को ट्रैक नहीं करता है, जैसा कि पिछले दृष्टिकोणों के साथ किया गया था, और इससे प्रदर्शन में अत्यधिक कमी आ सकती है। इसके बजाय, यह केवल टीसीपी सत्र की घटनाओं को ट्रैक करता है जो अक्सर कम होते हैं। यह ओवरहेड को इतना कम कर देता है कि हम इस उपकरण को 24x7 मोड में चला सकते हैं।

3. मैं इसका उपयोग कैसे करूँ?

शुरुआती लोगों को बीसीसी की खोज शुरू करनी चाहिए। अपने ऑपरेटिंग सिस्टम के लिए bcc इंस्टॉलेशन निर्देश देखें। उबंटू के लिए, यह कुछ इस तरह दिखता है:

# sudo apt-get update
# sudo apt-get install bpfcc-tools
# sudo / usr / share / bcc / tools / opennoop

 पीआईडी कॉम एफडी ईआरआर पथ
 25548 सूक्ति-शैल 33 0 / proc / स्व / स्टेट
 10190 ओपननोप -1 -1 2/usr/lib/python2.7/encodings/ascii.x86_64-linux-gnu.so
 10190 ओपननोप -1 -1 /rr/lib/python2.7/encodings/ascii.so
 10190 ओपननोप -1 -1 2/usr/lib/python2.7/encodings/asciimodale.so
 10190 Opennoop 18 0 /usr/lib/python2.7/encodings/ascii.py
 10190 ओपननोप 19 19 0/usr/lib/python2.7/encodings/ascii.pyc
 25548 सूक्ति-शैल 33 0 / proc / स्व / स्टेट
 29588 डिवाइस पोल 4 0 / देव / बस / यूएसबी
 ^ सी

यहां मैंने टूल की कार्यक्षमता का परीक्षण करने के लिए ओपनिंगटॉप को समाप्त किया। यदि आप यह बहुत दूर आ गए हैं, तो आप निश्चित रूप से eBPF का उपयोग करते हैं!

नेटफ्लिक्स और फेसबुक जैसी कंपनियों के लिए, डिफ़ॉल्ट रूप से सभी सर्वरों पर बीसीसी स्थापित है। शायद आप भी ऐसा ही करना चाहते हैं।

4. क्या एक शुरुआत करने वाला गाइड है?

हां, मैंने bcc को एक गाइड लिखा है, जो कि eBPF के साथ ट्रेसिंग में newbies के लिए एक अच्छा शुरुआती बिंदु है:

Bcc ट्यूटोरियल

एक शुरुआत के रूप में, आपको eBPF के लिए कोई कोड लिखने की आवश्यकता नहीं है। bcc में पहले से ही 70 से अधिक टूल हैं जिन्हें आप तुरंत उपयोग कर सकते हैं। यह मार्गदर्शिका आपको निम्नलिखित ग्यारह के माध्यम से कदमों के माध्यम से चलेगी: एक्ज़ांस्पनोप, ओपननोप, एक्सटर्लसावर (या btrfs *, xfs *, zfs *), बायोलैटेंसी, बायोसॉन्प, कैकसैट, टैककनेक्ट, टीसीपीसैप्ट, टैक्प्रिनरेटर, रनक्लैट और प्रोफाइल।

आपके द्वारा उन्हें आज़माने के बाद, आपको बस यह जानना होगा कि कई अन्य साधन हैं:

वे मैन पेज टूल्स और सैंपल फाइल के साथ पूरी तरह से प्रलेखित हैं। नमूना फ़ाइलों (* _example.txt in bcc / tools) में स्पष्टीकरण के साथ स्क्रीनशॉट हैं: उदाहरण के लिए, biolatency_example.txt । मैंने उनमें से कई (दोनों मैन पेज और टूल) लिखे हैं जो एक अतिरिक्त 50 ब्लॉग पोस्ट की तरह दिखते हैं, आप उन्हें बीसीसी रिपॉजिटरी में पाएंगे।

क्या गायब है वास्तविक उत्पादन उदाहरण हैं। मैंने यह दस्तावेज तब लिखा था जब ईएक्सपीएफ इतना नया था कि यह केवल हमारे परीक्षण वातावरण में उपलब्ध था, इसलिए अधिकांश उदाहरण कृत्रिम हैं। समय के साथ, हम वास्तविक दुनिया के उदाहरण जोड़ेंगे। यह वह जगह है जहां शुरुआती मदद कर सकते हैं: यदि आप एक समस्या को हल कर रहे हैं, तो एक लेख लिखने और स्क्रीनशॉट साझा करने या उन्हें उदाहरण फ़ाइलों के रूप में जोड़ने पर विचार करें।

अनुभवी के लिए

इस बिंदु पर, आपको पहले से ही बीसीसी चलाना चाहिए और इन उपकरणों को आज़माना चाहिए, साथ ही उन्हें संशोधित करने और अपने स्वयं के उपकरण लिखने में दिलचस्पी लेनी चाहिए। सबसे अच्छा तरीका bpftrace में अपग्रेड करना है, जिसमें एक उच्च-स्तरीय भाषा है जो सीखने में बहुत आसान है। नकारात्मक पक्ष यह है कि यह बीसीसी जितना लचीला नहीं है, इसलिए आप प्रतिबंधों में भाग सकते हैं और बीसीसी में वापस जाना चाहते हैं।

Bpftrace स्थापना निर्देशों का संदर्भ लें। यह एक नई परियोजना है, इसलिए इस लेखन के समय, पैकेज अभी तक सभी प्रणालियों के लिए संकलित नहीं किए गए हैं। भविष्य में, यह उपयुक्त होना चाहिए स्थापित bpftrace या कुछ इसी तरह।

1. bpftrace tutorial

मैंने एक ट्यूटोरियल विकसित किया है जो एकल-लाइन की एक श्रृंखला के माध्यम से bpftrace का उपयोग करना सिखाता है:

एकल लाइन उदाहरण के साथ Bpftrace ट्यूटोरियल

12 पाठ हैं जो आपको सिखाएंगे कि कैसे कदम से कदम का उपयोग करें। यहाँ एक उदाहरण है:

# bpftrace -e 'ट्रेस पॉइंट: syscalls: sys_enter_open {printf ("% d% s \ n", pid, str (args-> filename)); } '
 1 जांच संलग्न ...
 181 / proc / cpuinfo
 181 / proc / स्टेट
 1461 / खरीद / नेट / देव
 1461 / proc / net / if_inet6
 ^ सी

यह पीआईडी और खुले फ़ाइल पथ को ट्रैक करने के लिए ट्रेस बिंदु के रूप में ओपन सिस्टम कॉल का उपयोग करता है।

2. bpftrace Reference Guide

Bpftrace के बारे में अधिक जानकारी के लिए, मैंने एक गाइड लिखा जिसमें वाक्यविन्यास के उदाहरण, परीक्षण और अंतर्निहित कमांड्स हैं:

Bpftrace संदर्भ गाइड

यह संक्षिप्तता के लिए है: मैं एक पृष्ठ पर शीर्षक, फिर से शुरू और स्क्रीनशॉट को रखने की कोशिश करता हूं। मुझे लगता है कि यह बहुत लंबा है - यदि आप कुछ खोज रहे हैं और आपको कई बार पृष्ठ को स्क्रॉल करने की आवश्यकता है।

3. उदाहरणों में bpftrace

Bpftrace रिपॉजिटरी में 20 से अधिक उपकरण हैं जिन्हें आप उदाहरणों के साथ देख सकते हैं:

Bpftrace टूल्स

उदाहरण के लिए:

# बिल्ली उपकरण / biolatency.bt

 [...]
 शुरू
 {
     प्रिंटफ ("ट्रेसिंग ब्लॉक डिवाइस I / O ... अंत करने के लिए Ctrl-C मारो। \ n");
 }

 kprobe: blk_account_io_start
 {
     @start [arg0] = nsecs;
 }

 kprobe: blk_account_io_completion
 / @ प्रारंभ [arg0] /

 {
     @usecs = hist ((nsecs - @start [arg0]) / 1000);
     हटाना (@start [arg0]);
 }

Bcc की तरह, इन उपयोगिताओं में मैन पेज और नमूना फाइलें हैं। उदाहरण के लिए, biolatency_example.txt ।

उन्नत के लिए

1. हम बीसीसी के विकास का अध्ययन करते हैं

मैंने मदद के लिए दो गाइड बनाए:

Bcc / tools / * Py में भी कई उदाहरण हैं। Bcc टूल में दो भाग होते हैं: C में लिखे कर्नेल के लिए BPF कोड, और पायथन (या लुआ, या C ++) में लिखा गया उपयोगकर्ता-स्पेस स्तर का उपकरण। बीसीसी टूल्स का विकास काफी उन्नत है और इसमें कर्नेल या आंतरिक अनुप्रयोग तत्वों के कुछ छोटे घटक शामिल हो सकते हैं।

2. विकास में भागीदारी

मदद का स्वागत है:

Bpftrace के लिए, मैंने bpftrace का आंतरिक विकास गाइड बनाया । यह मुश्किल है जब आप llvm IR में प्रोग्राम करते हैं, लेकिन यदि आप चुनौती को स्वीकार करने के लिए तैयार हैं ...

EBPF (उर्फ BPF) का मूल भी है: यदि आप bcc और bpftrace मुद्दों को देखते हैं, तो आपको वहां सुधार के लिए कई अनुरोध दिखाई देंगे। उदाहरण के लिए, bpftrace में कर्नेल टैग । इसके साथ ही नेट बीपीई के लिए नवीनतम बीपीएफ कर्नेल विकास के लिए नेटदेव मेलिंग सूची देखें, जो लिनक्स मेनलाइन के साथ विलय होने से पहले नेट-नेक्स्ट में जोड़े जाते हैं।

कोड लिखने के अलावा, आप परीक्षण, पैकेज बनाने, ब्लॉगिंग और चर्चाओं में भी भाग ले सकते हैं।

निष्कर्ष

eBPF बहुत सारी अलग-अलग चीजें करता है। इस पोस्ट में, मैंने ट्रेसिंग और प्रदर्शन विश्लेषण के लिए EBPF में महारत हासिल की। संक्षेप में:

शुरुआत: बीसीसी उपकरण लॉन्च करना
अनुभवी: विकासशील bpftrace उपकरण
उन्नत: bcc टूल विकसित करना, bcc और bpftrace में योगदान करना

मेरे पास eBPF Tracing Tools के बारे में एक अलग पेज भी है, जो इस सब को और अधिक विस्तार से कवर करता है। अ छा!

लर्निंग ट्रेस का उपयोग करते हुए eBPF: एक गाइड और उदाहरण