संसाधनों के लिए लड़ना, भाग 4: महान

हम डेटा स्टोरेज सबसिस्टम के नियामकों से निपटेंगे और देखेंगे कि वे आपको ब्लॉक I / O के अर्थ में क्या करने की अनुमति देते हैं।



यहां विशेष रूप से दिलचस्प यह है कि हम एक ऐसे क्षेत्र में प्रवेश कर रहे हैं, जहां सिस्टम लॉन्च होने के बाद की जाने वाली सेटिंग्स में बदलाव उन फैसलों की तुलना में बहुत कम महत्वपूर्ण है जो इसकी तैनाती से पहले भी किए जाते हैं।

नीचे दी गई तस्वीर को देखें।



यह चार मुख्य संसाधनों को प्रस्तुत करता है जिन्हें एक आधुनिक कंप्यूटर को ठीक से काम करने की आवश्यकता होती है। प्रदर्शन ट्यूनिंग आवेदन प्रक्रियाओं के बीच इन संसाधनों को बेहतर ढंग से वितरित करने की कला है। इसके अलावा, ये सभी संसाधन असीमित नहीं हैं और उत्पादकता पर प्रभाव के मामले में इसके समकक्ष नहीं हैं।

स्टोरेज सबसिस्टम का प्रदर्शन इसमें उपयोग की जाने वाली स्टोरेज तकनीकों के प्रदर्शन तक कम हो जाता है: हार्ड ड्राइव, एसएसडी, सैन, एनएएस - वे एक्सेस स्पीड और थ्रूपुट में बहुत भिन्न हो सकते हैं। और एक शक्तिशाली प्रोसेसर और बहुत सारी मेमोरी स्थिति को नहीं बचाएगी यदि भंडारण उपकरण हल किए जा रहे कार्यों की आवश्यकताओं को पूरा नहीं करते हैं।

यदि आप, लिनक्स विशेषज्ञ के रूप में, हार्डवेयर निर्णयों को प्रभावित कर सकते हैं, तो सुनिश्चित करें कि आपके संगठन के पास पर्याप्त (या श्रेष्ठ) स्टोरेज प्लेटफॉर्म है। यह भविष्य में कई समस्याओं से बचाएगा।

अब देखते हैं कि इनपुट / आउटपुट (I / O) नियंत्रणों की मदद से क्या किया जा सकता है।

यह स्टोरेज डिवाइस के बारे में है

आधिकारिक तौर पर, I / O नियंत्रक को blkio कहा जाता है, लेकिन एक अच्छे मूड में, यह Blocky पर प्रतिक्रिया करता है। CPU कंट्रोलर की तरह, Blocky में ऑपरेशन के दो मोड हैं:

• रिश्तेदार I / O गेंदों (शेयरों) का उपयोग करके समायोजन, जो आपको 10 से 1000 तक की सीमा में मान सेट करके सभी या चयनित ब्लॉक भंडारण उपकरणों के स्तर पर प्रदर्शन को नियंत्रित करने की अनुमति देता है। डिफ़ॉल्ट रूप से, 1000 का उपयोग किया जाता है, इसलिए कोई भी परिवर्तन केवल I / O गेंदों को कम करता है चयनित उपयोगकर्ता या सेवा। सीपीयू के मामले में 1000, 1024 क्यों नहीं? अच्छा सवाल है। जाहिर है, यह मामला है जब लिनक्स की खुली प्रकृति उसके लिए अच्छा नहीं है।
• किसी उपयोगकर्ता या सेवा के लिए पढ़ने और / या गति को सीमित करने के लिए पूर्ण बैंडविड्थ समायोजन। डिफ़ॉल्ट रूप से, यह मोड अक्षम है।

नीचे दिया गया स्क्रीनशॉट उन मापदंडों को दिखाता है जिन्हें व्यवस्थित कमांड का उपयोग करके समायोजित किया जा सकता है। यहां हमने विकल्पों की सूची प्रदर्शित करने के लिए टैब कुंजी पर ऑटो-प्रॉम्प्ट के जादू का उपयोग किया। इसे बैश-समापन कहा जाता है, और यदि आप अभी भी इस फ़ंक्शन का उपयोग नहीं कर रहे हैं, तो उपयुक्त पीआरएम स्थापित करने का समय है।



रिश्तेदार I / O गेंदों को BlockIODeviceWeight और BlockIOWeight पैरामीटर द्वारा नियंत्रित किया जाता है। इन नियंत्रकों के साथ खेलने से पहले, आपको यह समझने की आवश्यकता है: वे केवल तभी काम करते हैं जब स्टोरेज डिवाइस के लिए CFQ I / O शेड्यूलर सक्षम हो।

I / O अनुसूचक क्या है? आइए दूर से शुरू करें और याद रखें कि लिनक्स कर्नेल यह सुनिश्चित करने के लिए ज़िम्मेदार है कि कंप्यूटर के सभी हार्डवेयर घटक एक दूसरे के साथ सही ढंग से संवाद करते हैं। और चूंकि ये सभी घटक एक ही समय में अलग-अलग चीजें चाहते हैं, कोई भी ऑर्डर किए बिना नहीं कर सकता है। ठीक है, उदाहरण के लिए, हम अपने जीवन को कैसे व्यवस्थित करते हैं, इसे काम, आराम, नींद आदि के लिए संरचित करते हैं।

यदि हम भंडारण उपकरणों के बारे में बात करते हैं, तो I / O अनुसूचक कर्नेल के भीतर अपने काम को व्यवस्थित करने के लिए जिम्मेदार है। यह सिर्फ प्रोग्राम कोड है जो ब्लॉक उपकरणों के लिए डेटा के प्रवाह को नियंत्रित करने के लिए एक तरीका परिभाषित करता है, जिसमें USB फ्लैश ड्राइव और हार्ड ड्राइव से लेकर वर्चुअल डिस्क शामिल हैं, जो वास्तव में ISCI डिवाइसों पर कहीं सैन में फाइलें हैं।

और इन सभी उपकरणों के शीर्ष पर जिन्हें लिनक्स पर उपयोग किया जा सकता है, ऐसे कई कार्य हैं जो एक कंप्यूटर को करना चाहिए। इसके अलावा, वास्तविक जीवन में, हम Red Hat कॉल में "मामलों का उपयोग" करते हैं। यही कारण है कि अलग-अलग परिदृश्यों पर ध्यान केंद्रित करने वाले अलग-अलग योजनाकार हैं। इन अनुसूचियों को noop, deadline और cfq कहा जाता है। संक्षेप में, उनमें से प्रत्येक को निम्नानुसार वर्णित किया जा सकता है:

• नूप - ब्लॉक स्टोरेज डिवाइस के लिए अच्छी तरह से अनुकूल है जिसमें घूर्णन भागों (फ्लैश, एसएसडी, आदि) नहीं हैं।
• डेडलाइन एक हल्का शेड्यूलर है जो देरी को कम करने पर केंद्रित है। डिफ़ॉल्ट रूप से, यह लेखन की कीमत पर पढ़ने को प्राथमिकता देता है, क्योंकि अधिकांश अनुप्रयोग पढ़ने पर ठोकर खाते हैं।
• Cfq - सिस्टम-व्यापी स्तर पर I / O बैंडविड्थ के उचित वितरण पर केंद्रित है। और जैसा कि हमने ऊपर कहा, यह एकमात्र शेड्यूलर है जो cgroups के लिए सापेक्ष I / O विकल्पों का समर्थन करता है।

शेड्यूलर्स के बारे में अधिक जानकारी के लिए , Red Hat Enterprise Linux 7 प्रदर्शन ट्यूनिंग गाइड देखें।

योजनाकारों के बारे में यह सब चर्चा क्या थी? इसके अलावा, अधिकांश कंप्यूटरों पर cfq डिफ़ॉल्ट रूप से उपयोग नहीं किया जाता है यदि उनके पास SATA ड्राइव नहीं है। यह जानने के बिना, आप ब्लॉकआईवेट को तब तक बदल सकते हैं जब तक कि आप बिना किसी प्रभाव के नीला नहीं हो जाते। दुर्भाग्य से, systemd आपको नहीं बताएगा: "क्षमा करें, आप इस पैरामीटर को बदलने के लिए व्यर्थ कोशिश कर रहे हैं। यह काम नहीं करेगा क्योंकि डिवाइस गलत शेड्यूलर का उपयोग कर रहा है। "

तो आप इस "दिलचस्प" सुविधा के बारे में कैसे पता लगा सकते हैं? हमेशा की तरह, cgroups प्रलेखन से हमने पिछले पोस्ट में लिखा था। इन या उन नियामकों का उपयोग करने से पहले अपने आप को इसके साथ परिचित करना हमेशा उपयोगी होता है।

हम उपयोग के मामले से गुजरते हैं

फिर से हम सामान्य शब्दों से बारीकियों तक जाते हैं: आइए मैं आपको मि। क्रायकिन से मिलवाता हूँ।

वह खानपान में लगा हुआ है, और उसके पास ट्रैकिंग ऑर्डर के लिए एप्लिकेशन सर्वर पर दो डेटाबेस हैं। श्री क्रायकिन ने जोर देकर कहा कि बत्तख व्यंजन के लिए ऑर्डर का डेटाबेस हंस व्यंजनों के लिए आधार की तुलना में बहुत अधिक महत्वपूर्ण है, क्योंकि गीज़ जलपक्षी के सिंहासन पर आयातक हैं।

दोनों डेटाबेस सेवाओं के रूप में कॉन्फ़िगर किए गए हैं, और उनकी यूनिट फाइलें इस तरह दिखती हैं:



वास्तव में, उनमें लिखी गई स्क्रिप्ट (duck.sh और goose.sh) डेटाबेस में कोई वास्तविक काम नहीं करती हैं, लेकिन केवल dd कमांड लूप का उपयोग करके पढ़ना और लिखना अनुकरण करती हैं। दोनों स्क्रिप्ट / डेटाबेस फ़ाइल सिस्टम का उपयोग करते हैं, जो इसकी आभासी डिस्क पर स्थित है।



चलो बत्तख और हंस को चलाते हैं और देखते हैं कि वे खदानों के पदानुक्रम में कहाँ उतरते हैं:





और अब, जब से हम dd प्रक्रियाओं के PID को जानते हैं, आइए iotop कमांड की ओर मुड़ते हैं, यह देखने के लिए कि स्टोरेज सबसिस्टम में क्या होता है:



खैर, 12-14 एमबी / एस ... तेज नहीं। ऐसा लगता है कि मिस्टर किराकिन ने डाटा स्टोरेज सिस्टम में ज्यादा निवेश नहीं किया है। यद्यपि हमारे पास पहले से ही इसकी पर्याप्तता के बारे में प्रश्न थे, इसलिए आश्चर्यचकित होने के लिए बहुत कुछ नहीं है।

अब हम अपने दो कार्यों को देखते हैं: PID 3301 (हंस) और PID 3300 (बतख)। प्रत्येक I / O का उपयोग 6 MB / s के आसपास करता है। ऊपर दिया गया स्क्रीनशॉट थोड़ा अलग नंबर है, लेकिन वास्तव में वे लगातार कूद रहे हैं, और औसतन, ये दो कार्य समान रूप से स्टोरेज डिवाइस के बैंडविड्थ को साझा करते हैं।

श्री क्रायकिन चाहते हैं कि बत्तख की तुलना में बतख कम से कम 5 गुना अधिक आई / ओ बैंडविड्थ हो, इसलिए बतख के आदेश हमेशा पहले संसाधित होते हैं। चलिए इसके लिए BlockIOWeight पैरामीटर का उपयोग निम्न कमांड के साथ करते हैं:



हम iotop को देखते हैं और देखते हैं कि यह काम नहीं किया:



आइए डिवाइस / देव / vdb के लिए I / O अनुसूचक की जाँच करें:



दिलचस्प ... हम शेड्यूलर को cfq में बदलने की कोशिश कर रहे हैं और इसमें से कुछ भी नहीं आता है। क्यों?

तथ्य यह है कि हमारा सिस्टम KVM वर्चुअल मशीन पर चलता है, और यह पता चला है कि संस्करण 7.1 से शुरू होकर, शेड्यूलर को अब Red Hat Enterprise Linux में नहीं बदला जा सकता है । और यह बग नहीं है, लेकिन वर्चुअलाइज्ड I / O उपकरणों के साथ काम करने के लिए तंत्र के सुधार से संबंधित एक विशेषता है।

लेकिन निराशा नहीं है। हमारे पास दो और पैरामीटर हैं जिन्हें बदला जा सकता है: BlockIOReadBandwidth और BlockIOWriteBandwidth ब्लॉक डिवाइस स्तर पर काम करते हैं और I / O अनुसूचक को अनदेखा करते हैं। चूँकि हम डिवाइस / देव / vdb (कहीं न कहीं 14 MB / s रिसेप्शन के लिए और आउटपुट के लिए), बैंडविड्थ को 2 MB / s तक सीमित जानते हैं, हम श्री Kryakin की इच्छा को पूरा करने में सक्षम प्रतीत होते हैं। आइए कोशिश करते हैं:





हम देखते हैं: पीआईडी ​​3426, उर्फ ​​गूज, अब लगभग 2 एमबी / एस के आसपास आई / ओ का उपयोग करता है, और पीआईडी ​​3425, अर्थात, लगभग सभी 14 के लिए बतख!

हुर्रे, हमने वही किया जो ग्राहक चाहते थे, जिसका अर्थ है कि हमने न केवल एक निश्चित संख्या में कुछ कलहंस बचाए, बल्कि एक लिनक्स गुरु के रूप में हमारी प्रतिष्ठा भी बनाई।

• भाग 1 - habr.com/company/redhatrussia/blog/423051
• भाग 2 - habr.com/company/redhatrussia/blog/424367
• भाग 3 - habr.com/company/redhatrussia/blog/425803
• भाग 5 - habr.com/company/redhatrussia/blog/429064
• भाग 6 - habr.com/company/redhatrussia/blog/430748