🔰 😓 👩🏽‍✈️ फैंसी लिनक्स सिस्टम कॉल 🐐 🎏 👲🏾

सी भाषा के साथ काम करना शुरू करने पर एक प्रोग्रामर क्या देखता है? वह fopen , printf , scanf और कई अन्य कार्यों को देखता है। वह सभी प्रकार के open और mmap देखता है - ऐसा प्रतीत होता है, उन्हें क्यों उजागर करें? लेकिन, पहले समूह के विपरीत, लिनक्स कर्नेल पर निष्पादित होने पर ये दो फ़ंक्शन सिस्टम कॉल होते हैं ( वास्तव में , लगभग कभी भी सिस्टम कॉल को केवल एक फ़ंक्शन के रूप में नहीं कहा जा सकता है, और इसलिए libc में रैपर होते हैं जो दलीलें देते हैं और कभी-कभी, जैसे मामले में होते हैं। open , पुराने सिस्टम कॉल को अधिक सामान्य नए के साथ बदलना)। सामान्य तौर पर, एक विशिष्ट GNU / Linux सिस्टम पर उपलब्ध हजारों पुस्तकालय कार्यों के विपरीत, कर्नेल इंटरफ़ेस में प्रवेश बिंदुओं की संख्या सीमित होती है - कई सौ के क्रम में, लेकिन उपयोगकर्ता स्थान के लिए यह क्रैश होता है (उदाहरण के लिए, गुम पृष्ठ तक पहुंचना), कर्नेल के लिए - ऑपरेशन का डिफ़ॉल्ट मोड।

इस लेख में मैं आपको मेरी राय में कुछ दिलचस्प तथ्य बताऊंगा। इसमें futex s और अन्य उबाऊ (शायद) कार्यान्वयन विवरण नहीं होंगे। यह मुख्य रूप से होगा जिसने मुझे प्रतिक्रिया दी "और क्या, क्या ऐसा हो सकता है?"।

सबसे पहले, कैट से पहले पाठ पर कुछ टिप्पणियां: कुछ सिस्टम कॉल में vDSO नामक एक साझा ऑब्जेक्ट से एक फ़ंक्शन के रूप में एक वैकल्पिक इंटरफ़ेस होता है, जिसे कर्नेल प्रक्रिया में डालता है। ऐसे कुछ कार्य हैं (चार के आसपास कुछ, लेकिन विशिष्ट संख्या, जाहिरा तौर पर, कर्नेल संस्करण और वास्तुकला पर निर्भर हो सकता है) - ये सभी प्रकार के time और gettimeofday , जो, एक तरफ, अक्सर उपयोग किए जाते हैं, और दूसरी तरफ, उन्हें स्विच किए बिना लागू किया जाता है। कर्नेल संदर्भ।

दूसरे, SIGSEGV हमेशा एक प्रक्रिया क्रैश के साथ समाप्त नहीं होता है, लेकिन हम इस बारे में userfaultfd में बात करेंगे जब यह userfaultfd पर userfaultfd ।

अस्वीकरण: याद रखें कि यहां प्रस्तुत अधिकांश सुविधाओं का उपयोग करके, आप अपने लिनक्स कार्यक्रम को बांध रहे हैं। यह सामान्य है अगर इस तरह से आप एक विशेष प्रकार की प्रणाली या एक अतिरिक्त सुविधा के लिए वैकल्पिक अनुकूलन करते हैं जो अन्यथा मौजूद नहीं होंगे। लेकिन अन्यथा, मैं यह सोचने की सलाह देता हूं कि क्रॉस-प्लेटफॉर्म की वापसी कैसे करें।

सामान्य प्रश्न

शुरुआत के लिए, यह सब कैसे डीबग किया जा सकता है? निश्चित रूप से strace हमारी मदद करेगा! चूंकि सिस्टम कॉल का सेट सीमित है, और अधिकांश strace "दृष्टि से" जानता है, यह न केवल "सूचक 0x12345678 पारित किया जाता है" दिखाएगा, लेकिन इस संरचना में इस या उस दिशा में क्या स्थानांतरित किया जा रहा है, इसका वर्णन करेगा। यदि strace पर्याप्त ताज़ा है, तो -k विकल्प का उपयोग करके आप कॉल स्टैक जारी करने के लिए कह सकते हैं।

यह कुछ इस तरह दिखता है

 $ strace -k sleep 1 execve("/bin/sleep", ["sleep", "1"], 0x7ffe9f9cce30 /* 60 vars */) = 0 > /lib/x86_64-linux-gnu/libc-2.30.so(execve+0xb) [0xe601b] > /usr/bin/strace(+0x0) [0xa279c] > /usr/bin/strace(+0x0) [0xa41d2] > /usr/bin/strace(+0x0) [0x7090b] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_start_main+0xf3) [0x271e3] > /usr/bin/strace(+0x0) [0x7112a] brk(NULL) = 0x558936ded000 > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_error+0x20b) [0x1ccdb] > /lib/x86_64-linux-gnu/ld-2.30.so(__get_cpu_features+0x1cd2) [0x1b872] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x203c] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x1108] arch_prctl(0x3001 /* ARCH_??? */, 0x7fff593c0070) = -1 EINVAL ( ) > /lib/x86_64-linux-gnu/ld-2.30.so(__get_cpu_features+0x1e25) [0x1b9c5] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x203c] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x1108] access("/etc/ld.so.preload", R_OK) = -1 ENOENT (    ) > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_error+0x10cb) [0x1db9b] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x3c12] > /lib/x86_64-linux-gnu/ld-2.30.so(__get_cpu_features+0x1e7b) [0x1ba1b] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x203c] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x1108] openat(AT_FDCWD, "/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3 > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_error+0x1238) [0x1dd08] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_debug_state+0x73a) [0x11d4a] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_exception_free+0x908) [0x189c8] > /lib/x86_64-linux-gnu/ld-2.30.so() [0xa362] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_rtld_di_serinfo+0x41b5) [0xeb35] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_exception+0x65) [0x1ca85] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_rtld_di_serinfo+0x4603) [0xef83] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x3c55] > /lib/x86_64-linux-gnu/ld-2.30.so(__get_cpu_features+0x1e7b) [0x1ba1b] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x203c] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x1108] fstat(3, {st_mode=S_IFREG|0644, st_size=254851, ...}) = 0 > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_error+0x1009) [0x1dad9] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_debug_state+0x761) [0x11d71] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_exception_free+0x908) [0x189c8] > /lib/x86_64-linux-gnu/ld-2.30.so() [0xa362] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_rtld_di_serinfo+0x41b5) [0xeb35] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_exception+0x65) [0x1ca85] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_rtld_di_serinfo+0x4603) [0xef83] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x3c55] > /lib/x86_64-linux-gnu/ld-2.30.so(__get_cpu_features+0x1e7b) [0x1ba1b] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x203c] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x1108] mmap(NULL, 254851, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7fc49621c000 > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_error+0x1426) [0x1def6] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_debug_state+0x79d) [0x11dad] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_exception_free+0x908) [0x189c8] > /lib/x86_64-linux-gnu/ld-2.30.so() [0xa362] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_rtld_di_serinfo+0x41b5) [0xeb35] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_exception+0x65) [0x1ca85] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_rtld_di_serinfo+0x4603) [0xef83] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x3c55] > /lib/x86_64-linux-gnu/ld-2.30.so(__get_cpu_features+0x1e7b) [0x1ba1b] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x203c] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x1108] close(3) = 0 > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_error+0x10fb) [0x1dbcb] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_debug_state+0x780) [0x11d90] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_exception_free+0x908) [0x189c8] > /lib/x86_64-linux-gnu/ld-2.30.so() [0xa362] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_rtld_di_serinfo+0x41b5) [0xeb35] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_exception+0x65) [0x1ca85] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_rtld_di_serinfo+0x4603) [0xef83] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x3c55] > /lib/x86_64-linux-gnu/ld-2.30.so(__get_cpu_features+0x1e7b) [0x1ba1b] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x203c] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x1108] openat(AT_FDCWD, "/lib/x86_64-linux-gnu/libc.so.6", O_RDONLY|O_CLOEXEC) = 3 > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_error+0x1238) [0x1dd08] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x7d40] > /lib/x86_64-linux-gnu/ld-2.30.so() [0xa3a8] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_rtld_di_serinfo+0x41b5) [0xeb35] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_exception+0x65) [0x1ca85] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_rtld_di_serinfo+0x4603) [0xef83] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x3c55] > /lib/x86_64-linux-gnu/ld-2.30.so(__get_cpu_features+0x1e7b) [0x1ba1b] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x203c] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x1108] read(3, "\177ELF\2\1\1\3\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0\360r\2\0\0\0\0\0"..., 832) = 832 > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_error+0x12f8) [0x1ddc8] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x7d79] > /lib/x86_64-linux-gnu/ld-2.30.so() [0xa3a8] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_rtld_di_serinfo+0x41b5) [0xeb35] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_catch_exception+0x65) [0x1ca85] > /lib/x86_64-linux-gnu/ld-2.30.so(_dl_rtld_di_serinfo+0x4603) [0xef83] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x3c55] > /lib/x86_64-linux-gnu/ld-2.30.so(__get_cpu_features+0x1e7b) [0x1ba1b] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x203c] > /lib/x86_64-linux-gnu/ld-2.30.so() [0x1108] ...    ... brk(NULL) = 0x558936ded000 > /lib/x86_64-linux-gnu/libc-2.30.so(brk+0xb) [0x11755b] > /lib/x86_64-linux-gnu/libc-2.30.so(__sbrk+0x67) [0x117617] > /lib/x86_64-linux-gnu/libc-2.30.so(__default_morecore+0xd) [0x9fd3d] > /lib/x86_64-linux-gnu/libc-2.30.so(thrd_yield+0x2725) [0x9a745] > /lib/x86_64-linux-gnu/libc-2.30.so(thrd_yield+0x3943) [0x9b963] > /lib/x86_64-linux-gnu/libc-2.30.so(thrd_yield+0x3b2b) [0x9bb4b] > /lib/x86_64-linux-gnu/libc-2.30.so(thrd_yield+0x4d9e) [0x9cdbe] > /lib/x86_64-linux-gnu/libc-2.30.so(textdomain+0x740) [0x3be70] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0x1d35) [0x35515] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0xbdf) [0x343bf] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0x215) [0x339f5] > /bin/sleep() [0x25f0] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_start_main+0xf3) [0x271e3] > /bin/sleep() [0x287e] brk(0x558936e0e000) = 0x558936e0e000 > /lib/x86_64-linux-gnu/libc-2.30.so(brk+0xb) [0x11755b] > /lib/x86_64-linux-gnu/libc-2.30.so(__sbrk+0x91) [0x117641] > /lib/x86_64-linux-gnu/libc-2.30.so(__default_morecore+0xd) [0x9fd3d] > /lib/x86_64-linux-gnu/libc-2.30.so(thrd_yield+0x2725) [0x9a745] > /lib/x86_64-linux-gnu/libc-2.30.so(thrd_yield+0x3943) [0x9b963] > /lib/x86_64-linux-gnu/libc-2.30.so(thrd_yield+0x3b2b) [0x9bb4b] > /lib/x86_64-linux-gnu/libc-2.30.so(thrd_yield+0x4d9e) [0x9cdbe] > /lib/x86_64-linux-gnu/libc-2.30.so(textdomain+0x740) [0x3be70] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0x1d35) [0x35515] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0xbdf) [0x343bf] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0x215) [0x339f5] > /bin/sleep() [0x25f0] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_start_main+0xf3) [0x271e3] > /bin/sleep() [0x287e] openat(AT_FDCWD, "/usr/lib/locale/locale-archive", O_RDONLY|O_CLOEXEC) = 3 > /lib/x86_64-linux-gnu/libc-2.30.so(__open64_nocancel+0x4c) [0x11679c] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0x1ce9) [0x354c9] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0xbdf) [0x343bf] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0x215) [0x339f5] > /bin/sleep() [0x25f0] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_start_main+0xf3) [0x271e3] > /bin/sleep() [0x287e] fstat(3, {st_mode=S_IFREG|0644, st_size=8994080, ...}) = 0 > /lib/x86_64-linux-gnu/libc-2.30.so(__fxstat64+0x19) [0x1107b9] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0x1e33) [0x35613] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0xbdf) [0x343bf] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0x215) [0x339f5] > /bin/sleep() [0x25f0] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_start_main+0xf3) [0x271e3] > /bin/sleep() [0x287e] mmap(NULL, 8994080, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7fc495795000 > /lib/x86_64-linux-gnu/libc-2.30.so(mmap64+0x26) [0x11baf6] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0x1e5d) [0x3563d] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0xbdf) [0x343bf] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0x215) [0x339f5] > /bin/sleep() [0x25f0] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_start_main+0xf3) [0x271e3] > /bin/sleep() [0x287e] close(3) = 0 > /lib/x86_64-linux-gnu/libc-2.30.so(__close_nocancel+0xb) [0x1165bb] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0x1eab) [0x3568b] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0xbdf) [0x343bf] > /lib/x86_64-linux-gnu/libc-2.30.so(setlocale+0x215) [0x339f5] > /bin/sleep() [0x25f0] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_start_main+0xf3) [0x271e3] > /bin/sleep() [0x287e] nanosleep({tv_sec=1, tv_nsec=0}, NULL) = 0 > /lib/x86_64-linux-gnu/libc-2.30.so(nanosleep+0x17) [0xe5d17] > /bin/sleep() [0x5827] > /bin/sleep() [0x5600] > /bin/sleep() [0x27b0] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_start_main+0xf3) [0x271e3] > /bin/sleep() [0x287e] close(1) = 0 > /lib/x86_64-linux-gnu/libc-2.30.so(__close_nocancel+0xb) [0x1165bb] > /lib/x86_64-linux-gnu/libc-2.30.so(_IO_file_close_it+0x70) [0x92fc0] > /lib/x86_64-linux-gnu/libc-2.30.so(fclose+0x166) [0x85006] > /bin/sleep() [0x5881] > /bin/sleep() [0x2d27] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_secure_getenv+0x127) [0x49ba7] > /lib/x86_64-linux-gnu/libc-2.30.so(exit+0x20) [0x49d60] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_start_main+0xfa) [0x271ea] > /bin/sleep() [0x287e] close(2) = 0 > /lib/x86_64-linux-gnu/libc-2.30.so(__close_nocancel+0xb) [0x1165bb] > /lib/x86_64-linux-gnu/libc-2.30.so(_IO_file_close_it+0x70) [0x92fc0] > /lib/x86_64-linux-gnu/libc-2.30.so(fclose+0x166) [0x85006] > /bin/sleep() [0x5881] > /bin/sleep() [0x2d4d] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_secure_getenv+0x127) [0x49ba7] > /lib/x86_64-linux-gnu/libc-2.30.so(exit+0x20) [0x49d60] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_start_main+0xfa) [0x271ea] > /bin/sleep() [0x287e] exit_group(0) = ? +++ exited with 0 +++ > /lib/x86_64-linux-gnu/libc-2.30.so(_exit+0x36) [0xe5fe6] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_secure_getenv+0x242) [0x49cc2] > /lib/x86_64-linux-gnu/libc-2.30.so(exit+0x20) [0x49d60] > /lib/x86_64-linux-gnu/libc-2.30.so(__libc_start_main+0xfa) [0x271ea] > /bin/sleep(+0x0) [0x287e]

सही, स्रोत फ़ाइल नाम और लाइन नंबर यहाँ प्रदर्शित नहीं हैं। addr2line आपकी मदद करेगा (यदि यह जानकारी सिद्धांत रूप में मौजूद है, तो निश्चित रूप से)।

एक दूसरा सवाल है: कुछ सिस्टम कॉल में libc में रैपर नहीं होते हैं। फिर आप syscall नामक सार्वभौमिक आवरण का उपयोग कर सकते हैं:

  syscall(SYS_kcmp, getpid(), getpid(), KCMP_FILE, 1, fd)

एक फ़ाइल एक बहुत ही अजीब बात है ...

सिस्टम कॉल न केवल कर्नेल को प्रक्रिया की ओर से हार्डवेयर तक पहुंचने के लिए कहने का एक तरीका है। यह एक सार्वभौमिक एपीआई भी है जो सिस्टम के सभी पुस्तकालयों के लिए समझ में आता है। इसलिए, यदि आपके लिए आवश्यक कार्यक्षमता लाइब्रेरी में समर्थित नहीं है, तो यदि आप कर्नेल को सही ढंग से पूछते हैं तो यह स्वचालित रूप से काम करेगा। इसके अलावा, प्रक्रिया की "सेटिंग" का एक हिस्सा execve द्वारा विरासत में मिला है, इसलिए आप प्रक्रिया शुरू करने से पहले बस राज्य को सही ढंग से execve करके जटिल बैसाखी के बिना ऐसा करने का प्रयास कर सकते हैं (कुछ ऐसा "क्यों मैन्युअल रूप से फ़ाइल में stderr स्थानांतरित करें, यदि आप बस फ़ाइल खोल सकते हैं और कर सकते हैं" बच्चे की प्रक्रिया के लिए इसकी एफडी # 2 ")।

एक बार, मुझे एक फ़ाइल से नेटवर्क पैकेट के अनुक्रम को घटाने की आवश्यकता थी। कुछ बिंदु पर, बैसाखी की संख्या सभी उचित सीमाओं को पार कर गई, और मैंने फैसला किया कि यह संभावना नहीं थी कि मैंने जो लिखा था, उसके मुकाबले libpcap अधिक जटिल होगा, यह मानक था, और इन फ़ाइलों को खोलने के लिए आम तौर पर स्वीकृत उपकरण थे। यह पता चला है कि डंप पढ़ने के लिए libpcap का उपयोग करना फ़ाइलों को पढ़ने के लिए fopen जितना कठिन है: आप बस pcap_(f)open_offline साथ डंप को pcap_(f)open_offline और pcap_next_ex माध्यम से पैकेट को स्कूप करते हैं। वह सब है! खैर, यह काम पूरा होने पर डंप को बंद करने के लायक है ...

लेकिन यहाँ समस्या यह है: ऐसा लगता है कि libpcap मेमोरी से नहीं पढ़ सकता है। हो सकता है, यदि आप निश्चित रूप से इसमें देरी करते हैं, लेकिन हमारे "प्रयोगशाला" के लिए हम कल्पना करेंगे कि वह नहीं कर सकता।

तो, एक मॉडल उदाहरण: हम बाइट्स के अनुक्रम के stdin पर इंतजार कर रहे हैं, जिसके बाद 4 बाइट्स द्वारा एक डंप गठबंधन किया गया है। मैं समझता हूं कि आप बफर इनपुट और कुछ ungetc उपयोग कर सकते हैं (क्योंकि libpcap अभी भी FILE * आवश्यकता है), लेकिन सामान्य स्थिति में, हम इसे चलते-फिरते अनपैक कर सकते हैं, उदाहरण के लिए, या लाइब्रेरी read / write साथ सीधे काम कर सकती है।

समाधान 1: memfd_create

memfd_create सिस्टम कॉल memfd_create "आम तौर पर गुमनाम" फ़ाइल डिस्क्रिप्टर बनाने की अनुमति देता है। फ़ाइल स्मृति में है और मौजूद है जबकि कम से कम एक विवरणक इस पर खुला है। सबसे सरल मामले में, आपको बस ऐसा एक डिस्क्रिप्टर मिलता है, इसे write माध्यम से डेटा write , lseek रिवाइंड lseek , और lseek साथ libc इसके बारे में बताएं:

  int fd = memfd_create("pcap-dump-contents", 0); write(fd, buf, length); lseek(fd, 0, SEEK_SET); FILE *file = fdopen(fd, "r");

पहले तर्क के साथ पास किया गया फ़ाइल नाम एक सिम्लिंक में /proc/<PID>/fd में प्रदर्शित किया जाएगा:

 $ ls -l /proc/31747/fd  0 lr-x------ 1 trosinenko trosinenko 64  10 13:12 0 -> /path/to/128test.pcap lrwx------ 1 trosinenko trosinenko 64  10 13:12 1 -> /dev/pts/17 lrwx------ 1 trosinenko trosinenko 64  10 13:12 2 -> /dev/pts/17 lrwx------ 1 trosinenko trosinenko 64  10 13:12 23 -> '/home/trosinenko/.cache/appstream-cache-AH3OA0.mdb (deleted)' lrwx------ 1 trosinenko trosinenko 64  10 13:12 3 -> '/memfd:pcap-dump-contents (deleted)' lrwx------ 1 trosinenko trosinenko 64  10 13:12 57 -> 'socket:[41036]'

समाधान 2: O_TMPFILE ध्वज के साथ खुला

लिनक्स पर, एक संस्करण के साथ शुरू, एक फ़ाइल बनाते समय, आप फ़ाइल नाम के बजाय O_TMPFILE और निर्देशिका नाम O_TMPFILE कर सकते O_TMPFILE । परिणामस्वरूप, फ़ाइल, जैसा कि एक साहित्यिक चरित्र कहता था (लगभग), यह वहां लगता है, लेकिन यह मौजूद नहीं है ... मुझे नहीं पता कि डेटा डिस्क पर लिखा गया है, लेकिन यह संभवतः फ़ाइल सिस्टम पर निर्भर करता है (वैसे, यह इस मोड का समर्थन करना चाहिए) । अंतिम लिंक बंद होने पर फ़ाइल अभी भी गायब हो जाती है, लेकिन इसे linkat का उपयोग करके डायरेक्ट्री ट्री से जोड़ा जा सकता है:

  int fd = open(".", O_RDWR | O_TMPFILE, S_IRUSR | S_IWUSR); assert(fd != -1); assert(write(fd, buffer + offset, len - offset) == len - offset); assert(lseek(fd, 0, SEEK_SET) == 0); const char *link_to = getenv("LINK_TO"); if (link_to != NULL) { char path[128]; snprintf(path, sizeof(path), "/proc/self/fd/%d", fd); linkat(AT_FDCWD, path, AT_FDCWD, link_to, AT_SYMLINK_FOLLOW); }

फ़ाइल नामकरण के साथ पीड़ित नहीं होने के अवसर के अलावा, यह फ़ाइल को भरने, अधिकारों को कॉन्फ़िगर करने, आदि के लिए संभव बनाता है, और फिर निर्देशिका पेड़ से परमाणु लिंक करता है।

उदाहरण (दोनों दृष्टिकोणों के लिए)

 #define _GNU_SOURCE #ifdef NDEBUG //    assert  -   # undef NDEBUG #endif #include <sys/mman.h> #include <unistd.h> #include <stdio.h> #include <stdlib.h> #include <assert.h> #include <signal.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <pcap.h> //     PCAP (   -- . ) static const uint32_t pcap_mgc = 0xA1B2C3D4; char buffer[1 << 20]; int main() { int len = read(0, buffer, sizeof(buffer)); //  -      "", //     pcap_mgc,   //   4  .   ... int offset = -1; for (int i = 0; i < len; i += 4) { if (*(uint32_t *)(buffer + i) == pcap_mgc) { offset = i; break; } } if (offset >= 0) { printf("Found PCAP dump at offset %d\n", offset); } else { fprintf(stderr, "No PCAP dump found.\n"); exit(1); } //   ,  libpcap ,   //   . #if 0 int fd = memfd_create("pcap-dump-contents", 0); assert(fd != -1); assert(write(fd, buffer + offset, len - offset) == len - offset); assert(lseek(fd, 0, SEEK_SET) == 0); #else int fd = open(".", O_RDWR | O_TMPFILE, S_IRUSR | S_IWUSR); assert(fd != -1); assert(write(fd, buffer + offset, len - offset) == len - offset); assert(lseek(fd, 0, SEEK_SET) == 0); const char *link_to = getenv("LINK_TO"); if (link_to != NULL) { char path[128]; snprintf(path, sizeof(path), "/proc/self/fd/%d", fd); linkat(AT_FDCWD, path, AT_FDCWD, link_to, AT_SYMLINK_FOLLOW); } #endif raise(SIGSTOP); //    /proc/PID/fd/ //      - ... FILE *file = fdopen(fd, "r"); char errbuf[PCAP_ERRBUF_SIZE]; pcap_t * dump = pcap_fopen_offline(file, errbuf); assert(dump != NULL); struct pcap_pkthdr *hdr; const uint8_t *data; while (pcap_next_ex(dump, &hdr, &data) == 1) { printf("Read packet: full length = %d bytes, available %d bytes.\n", hdr->len, hdr->caplen); } return 0; }

 $ fallocate -l 128 zero128 $ cat zero128 test.pcap > 128test.pcap $ ./memfd < 128test.pcap Found PCAP dump at offset 128 Read packet: full length = 105 bytes, available 105 bytes. Read packet: full length = 105 bytes, available 105 bytes. Read packet: full length = 66 bytes, available 66 bytes. Read packet: full length = 385 bytes, available 385 bytes. Read packet: full length = 66 bytes, available 66 bytes. ...

userfaultfd: यूजरस्पेस में मेमोरी एरर को हैंडल करना

मुझे लगता है कि यह कहने में बहुत कुछ नया नहीं होगा कि UNIX जैसी प्रणालियों पर, फाइल डिस्क्रिप्टर बस कुछ भी संकेत नहीं देते हैं। उदाहरण के लिए, लिनक्स पर यह एक सॉकेट, पाइप, ईवेंटफ़ीड या एक ईबीपीएफ प्रोग्राम का लिंक भी हो सकता है। लेकिन शायद यह उदाहरण अभी भी आपको आश्चर्यचकित करेगा। लेख की शुरुआत में मैंने इस तथ्य के बारे में बात की कि पृष्ठ दोष कर्नेल के लिए एक आम बात है: स्वैप, कॉपी-ऑन-राइट, यह सब ... जब उपयोगकर्ता प्रक्रिया "मिस" करती है, तो SIGSEGV को इसे भेजा जाता है। जहां तक मुझे पता है, कर्नेल द्वारा उत्पन्न SIGSEGV हैंडलर से नियंत्रण वापस लेना अपरिभाषित व्यवहार है, और फिर भी, वहाँ GNU libsigsegv पुस्तकालय है जो विभिन्न प्लेटफार्मों पर मेमोरी एक्सेस त्रुटियों से निपटने की सुविधाओं को सामान्य करता है, यहां तक कि विंडोज (एटीटीशन): जीपीएल लाइसेंस, यदि इसके लिए तैयार नहीं है। अपने कार्यक्रम को वितरित करें, libsigsegv का उपयोग न करें) । बहुत समय पहले नहीं, लिनक्स में एक पूरी तरह से प्रलेखित पद्धति दिखाई दी, जिसे userfaultfd कहा जाता है: उसी नाम के सिस्टम कॉल का उपयोग करके, आप एक फाइल डिस्क्रिप्टर, रीडिंग और राइटिंग खोलते हैं, जिसमें विशेष संरचनाएं कमांड होती हैं।

इस तरह के एक फ़ाइल डिस्क्रिप्टर के साथ, आप अपनी प्रक्रिया के लिए कई वर्चुअल पतों को चिह्नित कर सकते हैं। उसके बाद, स्मृति के प्रत्येक चिह्नित पृष्ठ पर पहली पहुंच में, प्रवाह सो जाएगा, और फ़ाइल डिस्क्रिप्टर से पढ़ने से जो हुआ उसके बारे में जानकारी वापस आ जाएगी। उसके बाद, हैंडलर प्रतिक्रिया संरचना में एक संकेतक के साथ डेटा को भरेगा जिसे "समस्या" पृष्ठ को प्रारंभ करने के लिए उपयोग करने की आवश्यकता है, कर्नेल इसे आरंभ करेगा और उस थ्रेड को जगाएगा जो बदल गया। इस मामले में, यह माना जाता है कि एक अलग स्ट्रीम है जिसकी जिम्मेदारियों में डिस्क्रिप्टर से रीडिंग कमांड और उत्तर जारी करना शामिल है। सामान्यतया, अन्य जानकारी userfaultfd माध्यम से प्राप्त की जा सकती है, उदाहरण के लिए, एक प्रक्रिया वर्चुअल कार्ड परिवर्तन के बारे में कुछ सूचनाएं।

उदाहरण का उपयोग करें

 #define _GNU_SOURCE #ifdef NDEBUG //    assert  -   # undef NDEBUG #endif #include <linux/userfaultfd.h> #include <syscall.h> #include <sys/mman.h> #include <sys/ioctl.h> #include <unistd.h> #include <pthread.h> #include <assert.h> #include <stdint.h> #include <stdio.h> #include <stdlib.h> #include <string.h> // -,   sysconf... #define PAGE_SIZE 4096 #define PAGE_MASK (PAGE_SIZE - 1) static void *thread_fn(void * arg) { int uffd = (intptr_t)arg; struct uffd_msg msg; // ,    hugepages... uint8_t *replacement_page = mmap(NULL, PAGE_SIZE, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1 ,0); while(1) { assert(read(uffd, &msg, sizeof msg) > 0); //    ,    if (msg.event == UFFD_EVENT_PAGEFAULT) { uintptr_t addr = msg.arg.pagefault.address; fprintf(stderr, "Fault: addr = 0x%zx\n", addr); //       uint8_t *page_addr = (uint8_t *)((uintptr_t)addr & ~PAGE_MASK); //  "" ,  ""! memset(replacement_page, 0xAB, PAGE_SIZE); //     struct uffdio_copy copy; copy.src = (uintptr_t)replacement_page; copy.dst = (uintptr_t)page_addr; copy.mode = 0; // ,  --   copy.copy = 0; //   --      copy.len = PAGE_SIZE; assert(ioctl(uffd, UFFDIO_COPY, &copy) != -1); } } } static int init_userfaultfd(void) { //   int uffd = syscall(__NR_userfaultfd, 0); // ,       struct uffdio_api api; api.api = UFFD_API; api.features = 0; assert(ioctl(uffd, UFFDIO_API, &api) != -1); fprintf(stderr, "UFFD open\n"); //  - pthread_t thread; memset(&thread, 0, sizeof(thread)); // ...    int  void *? pthread_create(&thread, 0, thread_fn, (void *)(intptr_t)uffd); return uffd; } static void register_region(int uffd, void * aligned_addr, size_t size) { struct uffdio_register reg; memset(&reg, 0, sizeof reg); reg.range.start = (uintptr_t)aligned_addr; reg.range.len = size; reg.mode = UFFDIO_REGISTER_MODE_MISSING; assert (ioctl(uffd, UFFDIO_REGISTER, &reg) != -1); } int main() { void *addr = mmap(NULL, PAGE_SIZE, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0); int uffd = init_userfaultfd(); register_region(uffd, addr, PAGE_SIZE); fprintf(stderr, "Before reading\n"); fprintf(stderr, "Data at %p: %x\n", addr, *(volatile int *)addr); return 0; }

 $ ./userfaultfd UFFD open Before reading Fault: addr = 0x7f46f40d5000 Data at 0x7f46f40d5000: abababab

क्या होगा यदि आपको यह पता लगाने की आवश्यकता है कि क्या यह फ़ाइल डिस्क्रिप्टर stdin को संदर्भित करता है? ऐसा लगता है कि if (fd == 0) ... - और यह बात है। ठीक है, ठीक है ...

 #define _GNU_SOURCE #include <unistd.h> #include <stdio.h> int main() { int fd = dup(0); printf("stdin is fd %d, too\n", fd); if (fd == 0) printf("stdin"); else printf("not stdin"); return 0; }

 $ gcc kcmp.c -o kcmp $ ./kcmp stdin is fd 3, too not stdin

ओह ... संभाल एक तरह है, लेकिन उपनाम अलग हैं। CRIU - चेकपॉइंट / रिस्टोर इन यूजर्सस्पेस हमारी मदद करेगा। , , . userspace-, , , kcmp : PID, , , , , :

 #define _GNU_SOURCE #include <linux/kcmp.h> #include <syscall.h> #include <unistd.h> #include <stdio.h> int main() { int fd = dup(0); printf("stdin is fd %d, too\n", fd); int pid = getpid(); if (syscall(SYS_kcmp, pid, pid, KCMP_FILE /*    _FILES! */, 0 /* stdin fd */, fd) == 0) printf("stdin\n"); else printf("not stdin\n"); if (syscall(SYS_kcmp, pid, pid, KCMP_FILE, 1 /* stdout fd */, fd) == 0) printf("stdout\n"); else printf("not stdout\n"); return 0; }

 $ ./kcmp stdin is fd 3, too stdin stdout

! , ...

 $ ls -l /proc/self/fd  0 lrwx------ 1 trosinenko trosinenko 64  10 14:45 0 -> /dev/pts/17 lrwx------ 1 trosinenko trosinenko 64  10 14:45 1 -> /dev/pts/17 lrwx------ 1 trosinenko trosinenko 64  10 14:45 2 -> /dev/pts/17 lrwx------ 1 trosinenko trosinenko 64  10 14:45 23 -> '/home/trosinenko/.cache/appstream-cache-AH3OA0.mdb (deleted)' lr-x------ 1 trosinenko trosinenko 64  10 14:45 3 -> /proc/17265/fd lrwx------ 1 trosinenko trosinenko 64  10 14:45 57 -> 'socket:[41036]'

, , , , . , bash , ls !

 $ ./kcmp < kcmp.c stdin is fd 3, too stdin not stdout

, — -, best effort - .

, ...

… JIT- userspace? , eBPF- . , ( , , -) . ., JIT-, . , , BPF.
… ? , sigaltstack .
… , : readahead

oldolduname ...

फैंसी लिनक्स सिस्टम कॉल

सामान्य प्रश्न

एक फ़ाइल एक बहुत ही अजीब बात है ...

समाधान 1: memfd_create

समाधान 2: O_TMPFILE ध्वज के साथ खुला

userfaultfd: यूजरस्पेस में मेमोरी एरर को हैंडल करना

"गणित का प्रमुख प्रश्न: क्या यह सब एक ही है?" ©

More articles: