في أحد الدردشات سئلت سؤالاً:
- وهناك شيء للقراءة ، وكيفية حزم الخوادم في الرفوف بشكل صحيح؟
أدركت أنني لا أعرف مثل هذا النص ، لذلك كتبت بنفسي.
أولاً ، يتعلق هذا النص بالخوادم الفعلية في مراكز البيانات الفعلية (DC). ثانياً ، نعتقد أن هناك الكثير من الخوادم: المئات أو الآلاف ، بالنسبة لعدد أقل ، فإن هذا النص لا معنى له. ثالثًا ، نعتقد أن لدينا ثلاثة محددات: المساحة المادية في الرفوف ، والتشغيل على الحامل ، والسماح للرفوف بالوقوف في صفوف ، حتى نتمكن من استخدام مفتاح ToR واحد لتوصيل الخوادم في الرفوف المجاورة.
تعتمد إجابة السؤال إلى حد كبير على أي معلمة نقوم بتحسينها وما الذي يمكننا تغييره لتحقيق أفضل نتيجة. على سبيل المثال ، نحتاج فقط إلى شغل مساحة صغيرة من أجل ترك المزيد من النمو. أو ربما لدينا الحرية في اختيار ارتفاع الرفوف ، والطاقة لكل حامل ، والمآخذ في وحدة PDU ، وعدد الرفوف في مجموعة من المحولات (مفتاح واحد لكل 1 أو 2 أو 3 رفوف) ، وطول الأسلاك وسحب العمل (هذا أمر بالغ الأهمية في نهايات الصفوف: مع وجود 10 رفوف متتالية و 3 رفوف على أحد المحولات ، سيتعين عليك سحب الأسلاك في صف آخر أو استخدام المنافذ الموجودة في المفتاح بشكل سيئ) ، وما إلى ذلك ، إلخ. قصص منفصلة: اختيار الخادم واختيار DC ، نفترض أنه تم اختيارها.
سيكون من الجيد أن نفهم بعض الفروق الدقيقة والتفاصيل ، على وجه الخصوص ، متوسط / الحد الأقصى لاستهلاك الخوادم ، وكيف يتم تزويدنا بالكهرباء. لذلك ، إذا كان لدينا مزود طاقة روسي بقوة 230 فولت ومرحلة واحدة لكل رف ، فيمكن لآلة 32A أن تستوعب حوالي 7 كيلو وات. لنفترض أننا ندفع اسمياً مقابل 6 كيلو واط لكل رف. إذا كان الموفر يقيس استهلاكنا فقط لسلسلة من 10 رفوف ، وليس لكل رف ، وإذا كانت الماكينة تعمل بقطع تقليدي يبلغ 7 كيلوواط ، فمن الناحية الفنية يمكننا التهام 6.9 كيلو واط في رف منفصل ، وفي 5.1 كيلو واط أخرى ، سيكون كل شيء على ما يرام - لا يمكن العقوبة.
عادة ما يكون هدفنا الرئيسي هو تقليل التكاليف. أفضل معيار للقياس هو التخفيض في التكلفة الإجمالية للملكية (التكلفة الإجمالية للملكية). يتكون من القطع التالية:
- CAPEX: شراء البنية التحتية لل DC والخوادم وأجهزة الشبكة والكابلات
- OPEX: تأجير العاصمة ، الكهرباء المستهلكة ، الصيانة. يعتمد OPEX على عمر الخدمة. من المعقول افتراض أنها تساوي 3 سنوات.
اعتمادًا على حجم القطع الفردية في الكعكة بأكملها ، نحتاج إلى تحسين الأغلى ثمناً ، والسماح للباقي باستخدام جميع الموارد المتبقية بأكبر قدر ممكن من الكفاءة.
لنفترض أن لدينا وحدة تحكم تيار مستمر ، يوجد ارتفاع في حامل وحدات H (على سبيل المثال ، H = 47) ، والكهرباء إلى حامل P
رف (
حامل P = 6 كيلو واط) ، وقررنا استخدام خوادم h = 2U لوحدتين. نزيل وحدات 2..4 من الحامل إلى المفاتيح ولوحات التصحيح والمنظمين. أي ماديًا ، لدينا خوادم S
h = rounddown ((H-2..4) / h) في حاملنا (بمعنى S
h = rounddown ((47-4) / 2) = 21 خادمًا لكل رف). تذكر هذا هو S
ح .
في الحالة البسيطة ، جميع الخوادم الموجودة في الحامل هي نفسها. الإجمالي ، إذا قمنا بتعليق الحامل مع الخوادم ، فيمكننا في كل خادم أن ننفق في المتوسط الطاقة P
serv = P
rack / S
h (P
serv = 6000 W / 21 = 287 W). للبساطة ، نحن نتجاهل استهلاك التبديل هنا.
نأخذ خطوة إلى الجانب وتحديد ما هو الحد الأقصى لاستهلاك الخادم هو P
max . إذا كان الأمر بسيطًا للغاية ، وغير فعال للغاية وآمن تمامًا ، فسنقرأ ما هو مكتوب على مزود طاقة الخادم - هذا كل شيء.
إذا كان الأمر أكثر تعقيدًا ، وأكثر كفاءة ، فسنأخذ حزمة التصميم الحراري TDP لجميع المكونات ونلخصها (هذا ليس صحيحًا جدًا ، لكن يمكن أن يكون كذلك).
عادةً لا نعرف مكونات TDP (باستثناء وحدة المعالجة المركزية) ، لذلك نحن نتبع الطريقة الأكثر صحة ، ولكن أيضًا النهج الأكثر صعوبة (نحن بحاجة إلى مختبر) - نأخذ خادمًا تجريبيًا للتكوين المطلوب ونقوم بتحميله ، على سبيل المثال ، مع Linpack (CPU والذاكرة) و fio (الأقراص) قياس الاستهلاك. إذا كنت تأخذ الأمر على محمل الجد ، فأنت بحاجة أيضًا إلى إنشاء أحر بيئة في الممر البارد أثناء الاختبارات ، لأن ذلك سيؤثر على استهلاك المروحة واستهلاك وحدة المعالجة المركزية. نحصل على الحد الأقصى لاستهلاك خادم معين مع تكوين محدد في هذه الظروف المحددة تحت هذا الحمل المحدد. نعني فقط أن البرامج الثابتة الجديدة للنظام ، إصدار آخر من البرنامج ، قد تؤثر شروط أخرى على النتيجة.
في المجموع ، نعود إلى P
serv وكيف يمكننا مقارنة ذلك بـ P
max . هذه هي مسألة فهم كيفية عمل الخدمات ومدى قوة أعصابك في فنيك.
إذا كنت لا تخاطر به على الإطلاق ، فإننا نعتقد أن جميع الخوادم يمكن أن تبدأ على الفور في استهلاك الحد الأقصى. في الوقت نفسه ، يمكن تشكيل مدخلات واحدة إلى العاصمة. يجب أن توفر المعلومات الواردة
أدناه ، خدمة P
serv therefore P
max . هذا هو النهج حيث الموثوقية أمر بالغ الأهمية.
إذا كان techdir لا يفكر فقط في الأمان التام ، ولكن أيضًا بشأن أموال الشركة وكان شجاعًا بدرجة كافية ، فيمكننا حينئذٍ تحديد ذلك
- نبدأ في إدارة موردينا ، وعلى وجه الخصوص ، نحظر الصيانة المجدولة في أوقات الحمل الأقصى المخطط له لتقليل الانخفاض في إدخال واحد ؛
- و / أو الهندسة المعمارية لدينا تسمح لك بفقدان الرف / الصف / العاصمة ، وتستمر الخدمات في العمل ؛
- و / أو نشرنا الحمل بشكل أفقي عبر الرفوف ، وبالتالي فإن خدماتنا لن تقفز أبدًا إلى الحد الأقصى للاستهلاك في رف واحد معًا.
من المفيد جدًا هنا ليس فقط التخمين ، ولكن أيضًا لمراقبة الاستهلاك ومعرفة مدى استهلاك الخوادم للكهرباء في الظروف العادية والذروة. لذلك ، بعد إجراء بعض التحليلات ، يضغط techdir على كل ما لديه ويقول: "سنقرر عن عمد أن الحد الأقصى الممكن تحقيقه من الحد الأقصى لاستهلاك الخادم لكل حامل هو ** أقل بكثير من الحد الأقصى للاستهلاك" ، P
serv مشروط = 0.8 * P
ماكس .
ثم في رف 6 كيلو واط ، لم يعد 16 خادمًا مع P
max = 375W ، ولكن 20 خادمًا مع P serv = 375W \ * 0.8 = 300W. أي 25 ٪ خوادم أكثر. هذا توفير كبير جدًا - بعد كل شيء ، نحتاج على الفور إلى رفوف أقل بنسبة 25٪ (نوفرها أيضًا على وحدات PDU ومفاتيح التبديل والكابلات). ناقص خطير لمثل هذا القرار - من الضروري أن نراقب باستمرار أن افتراضاتنا لا تزال صحيحة. أن الإصدار الجديد من البرنامج الثابت لا يغير بشكل كبير من عمل المشجعين والاستهلاك ، وأن تطوير إصدار جديد فجأة لم يبدأ في استخدام الخادم بشكل أكثر كفاءة (اقرأ ، لقد حصلنا على مزيد من التحميل والمزيد من الاستهلاك على الخادم). بعد كل هذا ، تصبح كل من افتراضاتنا واستنتاجاتنا الأولية غير صحيحة على الفور. هذا خطر يجب أخذه بمسؤولية (أو تجنبه ثم دفعه مقابل رفوف ناقصة بشكل واضح).
ملاحظة مهمة - يجب أن تحاول توزيع الخوادم من خدمات مختلفة على الرفوف أفقياً ، إن أمكن. يعد ذلك ضروريًا حتى لا تحدث القصص الإخبارية عند وصول دفعة واحدة من الخوادم لخدمة واحدة ، ويتم انسداد الأرفف رأسياً باستخدامها لزيادة "الكثافة" (لأنها أسهل). في الواقع ، اتضح أن أحد الأرفف محشو بنفس الخوادم منخفضة التحميل من إحدى الخدمات ، والآخر يحمل نفس القدر من التحميل. احتمال سقوط الثانية أعلى بكثير ، لأنه ملف تعريف التحميل هو نفسه ، وتبدأ جميع الخوادم معًا في هذا الحامل في استهلاك نفس الكمية كنتيجة لزيادة الحمل.
العودة إلى توزيع الخوادم في الرفوف. لقد فحصنا القيود المادية لمساحة الحامل وقيود الطاقة ، ونلقي الآن نظرة على الشبكة. يمكنك استخدام رموز التبديل على 24/32/48 منفذاً N (على سبيل المثال ، لدينا 48 مفتاح تبديل ToR). لحسن الحظ ، لا توجد خيارات كثيرة إذا كنت لا تفكر في الكابلات المنفصلة. نحن نعتبر السيناريوهات عندما يكون لدينا مفتاح واحد لكل رف ، ومفتاح واحد إلى اثنين أو ثلاثة رفوف في المجموعة R
net . يبدو لي أن أكثر من ثلاثة رفوف في المجموعة بالفعل أكثر من اللازم ، لأنه مشكلة الكابلات بين الرفوف تصبح أكبر بكثير.
لذلك ، لكل سيناريو شبكة (1 أو 2 أو 3 رفوف في مجموعة) نوزع الخادم على رفوف:
رف S = دقيقة (S
h ، دائري (P
rack / P serv) ، دائري (N / R
net ))
وبالتالي ، للخيار مع 2 رفوف في المجموعة:
رف S
2 = دقيقة (21 ، دائرية (6000/300) ، دائرية (48/2)) = دقيقة (21 ، 20 ، 24) = 20 خادم لكل رف.
وبالمثل ، فإننا نعتبر الخيارات المتبقية:
رف S
1 = 20
رف S
3 = 16
ونحن تقريبا هناك. نحن نحسب عدد الرفوف لتوزيع جميع خوادم S لدينا (فليكن 1000):
R = الجولة (S / (
رف S * R
net )) * R
netR
1 = تقرير موجز (1000 / (20 * 1)) * 1 = 50 * 1 = 50 رفوف
R
2 = الجولة (1000 / (20 * 2)) * 2 = 25 * 2 = 50 رفوف
R
3 = الجولة (1000 / (16 * 3)) * 3 = 21 * 3 = 63 رفوف
بعد ذلك ، نحن ننظر إلى التكلفة الإجمالية للملكية لكل خيار بناءً على عدد الرفوف ، والعدد المطلوب من المفاتيح ، والكابلات ، إلخ. نختار الخيار حيث تكون التكلفة الإجمالية للملكية أقل. الربح!
لاحظ أنه على الرغم من أن العدد المطلوب من الرفوف للخيارين 1 و 2 هو نفسه ، فإن سعره سيكون مختلفًا ، لأن عدد مفاتيح الخيار الثاني هو النصف ، وطول الكابلات المطلوبة أطول.
ملاحظة: إذا كانت هناك فرصة لتشغيل الطاقة على حامل وحامل ، فإن التباين يزداد. ولكن يمكن تخفيض العملية إلى ما سبق ، فقط فرز الخيارات. نعم ، سيكون هناك المزيد من المجموعات ، ولكن لا يزال هناك عدد محدود للغاية - يمكن زيادة القدرة على الرف للحساب بزيادات قدرها 1 كيلو وات ، والأرفف النموذجية ذات عدد محدود من الأحجام: 42U ، 45U ، 47U ، 48U ، 52U. وهنا يمكن أن يساعد تحليل Excel What-If في وضع جدول البيانات في الحساب. نحن ننظر إلى لوحات وردت وحدد الحد الأدنى.