NALSD इंटरव्यू में क्या सोचना है

मैंने पहले एक विशिष्ट कोडिंग साक्षात्कार का वर्णन किया था। कोडिंग के अलावा, सिस्टम डिज़ाइन पर लगभग हमेशा एक प्रश्न होता है। (लार्ज) सिस्टम डिज़ाइन। एसआरई पर साक्षात्कार के मामले में, यह और भी दिलचस्प है (जैसा कि मेरे लिए) जानवर - एनएएलएसडी। गैर-अमूर्त बड़े सिस्टम डिज़ाइन। SWE और SRE के बीच मुख्य अंतर इन अक्षरों "NA" में ठीक है।

अंतर क्या है, और इसके लिए कैसे तैयारी करें? आइए एक उदाहरण देखें। एक उदाहरण के रूप में, चलो कुछ बहुत ही ठोस है, ऐसा कुछ जिसे कोई भी कभी भी वास्तविक साक्षात्कार के लिए नहीं पूछेगा (Google में) :)

उदाहरण के लिए - चलो एक पुस्तकालय डिजाइन करते हैं। कागज की किताबों के लिए, हमेशा की तरह। नीचे दिया गया पूरा पाठ लगभग एक घंटे में लगभग एक घंटे में लिखा गया था कि आप क्या कर सकते हैं और क्या करना महत्वपूर्ण है। इसलिए मुझे भ्रम के लिए क्षमा करें, लेकिन मुझे ऐसा लगता है (और इसलिए मौजूद है)।

NALSD प्रश्न: एक सार्वजनिक पुस्तकालय डिज़ाइन करें।

सबसे पहले, हम लोड की विशेषताओं में रुचि रखते हैं, या हम खुद एक उचित धारणा बनाते हैं। चूंकि यह एक स्केलेबल सिस्टम के बारे में एक सवाल है, यह एक लाख लोगों का न्यूनतम शहर है। विकल्पों पर विचार करने लायक है - एक बड़ी इमारत, या जिला पुस्तकालय और भंडारण। यह मुझे लगता है कि उत्तरार्द्ध अधिक उचित है। खासकर अगर एक शहर नहीं, बल्कि एक शहर।

इसलिए, हम इस समय एक शहर की प्रणाली पर ध्यान केंद्रित करेंगे (कुछ आरक्षणों के साथ, हम कई शहरों में स्केलिंग के लिए उच्च स्तर पर एक समान तंत्र लागू कर सकते हैं)। तो, शहर एक लाख लोग हैं। हम अनुमानों की सुविधा के लिए संख्याओं को राउंड ऑफ करते हैं - 1 मिलियन संभावित पाठक होने दें। पाठक किसी भी समय एक दूसरे से स्वतंत्र रूप से पढ़ने जा रहे हैं। इसलिए हम इसे एक सरल पॉइसन प्रक्रिया के रूप में समझ सकते हैं। लेकिन "रन पर" सामान्य रूप से गिनती करना मुश्किल होगा, इसलिए एक और सरलीकरण कदम उठाएं और बस यह लें कि 1% पाठक एक दिन में एक पुस्तक लेना चाहेंगे। कुल मिलाकर, आगे की गणना के लिए, हम प्रति दिन 10,000 किताबें लेते हैं।

हमारा काम एक दिन में 10,000 किताबें जारी करने की संभावना प्रदान करना है (साथ ही भविष्य में किसी अन्य दिन उसी 10,000 को वापस करना), एक लाख से अधिक के शहर में। इस बिंदु पर, मोनो-लाइब्रेरी या जिले का प्रश्न पहले से ही दूर हो रहा है (वैसे, पूरे पाठक संभावित पाठक होने के लिए, उन्हें उचित समय में पुस्तकालय में प्राप्त करने में सक्षम होना चाहिए, अन्यथा पुस्तक लेने की इच्छा निश्चित रूप से टाइमआउट से गिर जाएगी)। इसलिए, हमें प्रत्येक स्थानीय पुस्तकालय की क्षमता का मूल्यांकन करने की आवश्यकता है। जनसंख्या घनत्व और पुनरावर्तन को ध्यान में रखते हुए ऐसा करने का अधिकार है, लेकिन चूंकि यह गणना की सादगी के लिए सिस्टम को बहुत प्रभावित नहीं करता है, आइए कल्पना करें कि हम उन्हें समान रूप से रखते हैं। लेकिन इसका मतलब यह नहीं है कि हम उन्हें कैसे साझा कर सकते हैं। जाहिर है, शहर के चारों ओर समान रूप से एक पुस्तक के साथ 10,000 पुस्तकालय लगाने का कोई मतलब नहीं है, इसलिए आपको यह समझने की आवश्यकता है कि क्या समझ में आता है। हम नीचे के स्तर पर छोड़ देते हैं।

तो, एक पुस्तकालय। इसके लिए समझ बनाने के लिए, जो लोग आते हैं, उनमें से अधिकांश को उस पुस्तक को खोजना होगा जिसकी उन्हें आवश्यकता है। इसका मतलब है कि हमें सबसे लोकप्रिय प्रश्नों का रिकॉर्ड और पूर्वानुमान रखने और इन पुस्तकों को तैयार रखने की आवश्यकता होगी। फिर, हमें सिद्धांत रूप में वर्गीकरण रखने की आवश्यकता है। ऑफहैंड, मैं कहूंगा कि एक स्थानीय पुस्तकालय में कम से कम 1000 वस्तुएं होनी चाहिए, उनमें से बहुत से शीर्ष प्रतियां, अधिक शीर्ष वाले, कम पूंछ वाले हैं। हमारी लाइब्रेरी में औसत पुस्तक 3 दिनों से 2 सप्ताह तक पढ़ी जाती है (वास्तव में, विशेषता पुस्तक पर निर्भर करती है, यहां एक अलग विश्लेषण की आवश्यकता है), हम इसे औसत सप्ताह के बराबर लेते हैं और आगे बढ़ते हैं। यही है, ली गई पुस्तक लगभग एक सप्ताह तक गायब है, इसलिए शीर्ष पुस्तकों को एक सप्ताह के लिए स्टॉक करना होगा (फिर वे रिटर्न से पुनर्प्राप्त करना शुरू कर देंगे)।

आइए 6. की औसत मुद्रास्फीति कारक लेते हैं। इसलिए भंडारण क्षमता 6,000 पुस्तकों से शुरू होती है। कम का मतलब है कि यह केवल एक छोटा सा शीर्ष है, जो अभी भी कुछ मामलों में मदद कर सकता है (उदाहरण के लिए, बच्चों के प्लेरूम के पास सुपरमार्केट में "गोधूलि" के साथ एक द्वीप), लेकिन हम इसे अभी के लिए बाहर छोड़ देंगे।

"संतुलन" स्थिति में, वे दिन में लगभग समान रूप से लौटते हैं, और बिखराव को घटाते हैं, लेकिन हमें अभी भी छुट्टियों के चरम संख्या (उदाहरण के लिए छुट्टियां या फैशन परिवर्तन) के कारण बढ़ी हुई संख्या को स्वीकार करने की क्षमता की आवश्यकता है। यह सही है - अनुकरण करने के लिए। लेकिन यहां और अब हम एक बफर के रूप में एक तिहाई लेंगे। कुल में, हम जारी करने के लिए उपलब्ध 6,000 पुस्तकों का समर्थन करते हैं, साथ ही रिजर्व में एक और 2,000 के लिए जगह।

इसलिए, हमें एक ऐसी इकाई की आवश्यकता है जो 8000 पुस्तकों को संग्रहीत कर सके। दैनिक पुनःपूर्ति बहुत महंगी है, जिसका अर्थ है कि यह एक या दो सप्ताह है। दो सप्ताह, 6,000 पुस्तकें, रिटर्न में एक पूर्वाग्रह के साथ यह एक दिन में लगभग 300 है। उद्घाटन के समय, हम शुरुआती रिटर्न से पहले प्रचलन में प्रारंभिक 2000 बनाने के लिए सभी 8000 पुस्तकों को स्कोर कर सकते हैं। 3 दिनों के लिए 2000 = प्रति दिन लगभग 600 किताबें, प्लस बफर = प्रति दिन 800 किताबें।

चलो बैंडविड्थ और भंडारण सीमा का अनुमान लगाते हैं। एक पुस्तक औसतन 2 सेंटीमीटर रैखिक स्थान, 8000 पुस्तकें - 160 मीटर लेती है। 4 मीटर लंबवत 40 मीटर की दूरी पर मुड़ें। हम 5-मीटर रैक में भी टूट जाते हैं, हमें 5 मीटर लंबी 4 अलमारियों के 8 रैक मिलते हैं। एक लाइब्रेरियन (या एक रोबो-लाइब्रेरियन) दो रैक के साथ काम करने में सक्षम होगा, एक किताब को निकालने में इसे पहुंचने में 5 सेकंड लगेंगे, इसे बाहर निकालने के लिए 5 सेकंड या किताब को 5 सेकंड पीछे, कुल 15 सेकंड। 4 लाइब्रेरियन हमें लगभग 15 किताबें प्रति मिनट अधिकतम प्रदान करेंगे, अर्थात् लगभग 900 पुस्तकें प्रति घंटे लगभग गोदाम से।

हम अनुरोध (10s), खोज (5s) के प्रसंस्करण के लिए समय जोड़ते हैं, प्रति घंटे प्राप्त और जारी करने वाली प्रणाली (2s) => 400 पुस्तकों में प्रवेश करते हैं। तो इसके शिखर पर भंडारण 400 किताबें प्रति घंटे जारी कर सकता है, इसलिए प्रति दिन 800 किताबें 2 कार्य घंटों में उपलब्ध हैं।

अब हम अन्य विशेषताओं पर विचार करते हैं: 4 लोगों द्वारा प्रति घंटे 400 किताबें देने के लिए, प्रोसेसिंग विंडो के सामने एक कतार में वेटिंग रूम में 100 लोगों को समायोजित करना आवश्यक है, और ताकि ये लोग प्रवेश और निकास पर भीड़ पैदा न करें। यानी, प्रवेश समूह को दोनों दिशाओं में प्रति घंटे 400 लोगों को पास करना होगा। यह पता चला है कि मुख्य सीमक का भंडारण भी नहीं किया जाएगा, लेकिन हॉल और प्रवेश समूह की क्षमता।

इसका मतलब है कि अधिक सटीक गणना के साथ भंडारण और हॉल का इष्टतम अनुपात खोजना संभव होगा।

इसलिए, यूनिट को हल करने के साथ, हम ऊपर के स्तर पर लौट आते हैं। हमने प्रतिदिन लगभग 10,000 पुस्तकों द्वारा पुस्तकालय पर कुल भार का अनुमान लगाया, हमने प्रति दिन 800 पुस्तकों में एक इकाई की गणना की, अर्थात हमें 12.5 इकाइयों की आवश्यकता है। शहर के चारों ओर भू-वितरण के साथ, एक या दो वैकल्पिक इकाइयां (शहर की सीमाओं पर) या यहां तक ​​कि 3-4 (अंदर) प्रत्येक पाठक के लिए उपलब्ध होंगी, जो आपको ट्रैफ़िक चोटियों को थोड़ा सुचारू करने और / या विशिष्ट पदों के लिए बढ़ी हुई मांग की अनुमति देता है।

हम यह भी जानते हैं कि किसी भी समय किसी भी पुस्तकालय को बंद किया जा सकता है (आग, सैनिटरी निरीक्षण, रेफ्रिजरेटर के हैंडल को पेंट करना या कुछ और), उनकी संख्या में वृद्धि के साथ, दो जीवन के बाहर गिरने की संभावना मेल खाती है, इसलिए हमें एक अतिरिक्त इकाई की आवश्यकता है हर 5-6 इकाइयों। कुल मिलाकर, 15 इकाइयों को आवश्यक प्रदर्शन सुनिश्चित करना चाहिए, बशर्ते कि वे अपने गोदामों में अनुमानित स्टॉक बनाए रखें।

अनुमानित स्टॉक को बनाए रखने के लिए, हमें रुझानों और इतने पर पालन करने के लिए वर्गीकरण के आधे के बारे में सप्ताह में एक या दो (हम दो से ऊपर सोचा) को अपडेट करने की आवश्यकता होगी। इसका मतलब है कि प्रत्येक इकाई को हर दो सप्ताह में 4,000 पुस्तकों के परिवहन और निर्यात की आवश्यकता होती है। प्रत्येक आयात और निर्यात के साथ, इन 4,000 पुस्तकों को रिपॉजिटरी से हटा दिया जाना चाहिए और फिर अन्य को वहां रखा जाना चाहिए। प्रति घंटे 400 पुस्तकों में, वर्गीकरण को अपडेट करने में अधिकतम भार में 10 घंटे लगेंगे। जो, ऐसा लगता है, अभी भी इतना बुरा नहीं है, फिर से, बड़े पैमाने पर लोडिंग के साथ, कई चीजें तेजी से आगे बढ़ेंगी, हालांकि, आबादी को काम करने की तुलना में वर्गीकरण को बनाए रखना 5 गुना अधिक है।

औसत पुस्तक (2cm * 20cm * 30cm) लगभग 1.5l है, अर्थात 4000 पुस्तकें = 6 घन मीटर। यह आसानी से एक गजले में फिट हो जाता है। एक क्यूबिक मीटर पेपर का वजन 600 किलोग्राम है, यानी 6 क्यूबिक मीटर 3.6 टन है। गजल की वहन क्षमता डेढ़ टन है, इसलिए तीन गजल की आवश्यकता होगी। साथ ही एक बैकअप। हमारे पास 15 इकाइयां हैं, हर 2 सप्ताह में अपडेट करें, एक समान वितरण के साथ हम सीमा पर हैं, हमें एक और गेजेल जोड़ना होगा।

और हमारे पास यह सोचने का समय नहीं था कि इन गजलों को कहाँ से कहाँ तक पहुँचाया गया है, इसलिए आपूर्तिकर्ताओं के गोदामों और प्रासंगिकता खो चुकी पुस्तकों के उतारने के बिंदु आरेख पर दिखाई देते हैं ...

तो समय है। NALSD प्रश्न में इतना असामान्य क्या है? स्केलेबिलिटी यह किसी भी बड़े सिस्टम डिजाइन में होना चाहिए। मुख्य बात संक्षिप्तता है ।

मैंने ऊपर बहुत सारी धारणाएं और धारणाएं बनाईं, लेकिन बाद के सभी अनुमान पिछले वाले पर आधारित थे। संख्याओं के लिए, मैंने "सही तरीके से मूल्यांकन कैसे करें" देने की कोशिश की, हालांकि, इसे करना बहुत आसान है, आप थक जाते हैं और इसे भूल जाते हैं। बिना स्पष्टीकरण के, मेमोरी से कुछ संख्या के साथ चिपकना अभी भी बहुत आसान है ... लेकिन चूंकि डिजाइन ठोस है, अगर कोई भी धारणा गलत हो जाती है, तो इसे ठीक किया जा सकता है और बाद में इसे फिर से लिखा जा सकता है।

जैसा कि मुझे अब याद है, अनुमानों के साथ अपने साक्षात्कार में मैंने 600 की एक डिस्क का IOPS लिया, बस इसलिए कि मैंने हाल ही में इसे अनुकूलित किया और एक सरणी के साथ टॉप किया, जहां _array_ ने 600 IOPS को बाहर कर दिया ... साक्षात्कारकर्ता ने मुझे आश्चर्य में थोड़ा पूछा - 600 IOPS to disk? : डी

साक्षात्कार के दौरान, साक्षात्कारकर्ता आपकी किसी भी धारणा को सही कर सकता है। या किसी प्रकार का प्रतिबंध जोड़ें (जिसके बारे में आपको जानकारी नहीं थी, के बारे में नहीं सोचा था, नहीं पूछा था, या बस मक्खी पर टीके का सामान्य परिवर्तन)। उसी समय, चूंकि आप विशिष्ट संख्याओं के साथ विशेष रूप से काम कर रहे हैं, यह संख्याओं का सिर्फ एक तुच्छ अद्यतन होगा।

यदि धारणा के समायोजन से प्रणाली का एक नया स्वरूप बनता है, तो यह या तो एक डिज़ाइन त्रुटि है, या एक गलत समायोजन है, या सिस्टम की प्रयोज्यता से परे जा रहा है, जो वास्तविक जीवन में भी दुर्लभ स्थिति नहीं है। यह महत्वपूर्ण है कि ऐसे क्षणों को याद न करें, और डिजाइन चरण के दौरान और किसी भी समायोजन के साथ वास्तविकता के लिए प्राप्त आंकड़ों का मूल्यांकन करें।

एक एसआरई के रूप में, हम वास्तविक हार्डवेयर की वास्तविक सीमाओं के तहत वास्तविक सिस्टम को स्केल करने के संदर्भ में सोचने के लिए बाध्य हैं। एक उत्कृष्ट एल्गोरिथ्म हो सकता है जो थोड़ी मात्रा में मेमोरी के लिए बड़ी लागत का आदान-प्रदान करता है ... लेकिन फिर भी, आप वास्तविक परिस्थितियों में एक प्रोसेसर कोर पर रैम की एक पेटाबेट नहीं डाल सकते हैं। तो अगर हमारे पास रैम की पेटाबाइट है, तो हमारे पास कम से कम दस हजार प्रोसेसर हैं। या बीस। या तीस। और हमें दी गई शर्तों में, वैश्विक नहीं, बल्कि यहां और अभी के लिए इष्टतम की तलाश करनी चाहिए।

आपको सटीक संख्याओं को याद रखने की आवश्यकता नहीं है, लेकिन आपको आदेश का कुछ अंदाजा होना चाहिए: वही IOPS, जिसमें HDD में लगभग सौ, और SSD में सैकड़ों हजारों होते हैं। लेकिन ये सैकड़ों हजारों तीन से चार के रूप में एसएसडी के एक टेराबाइट की लागत के लिए एचडीडी की एक टेराबाइट की लागत के अनुपात के साथ चलते हैं। और यह हार्नेस की गिनती नहीं कर रहा है - रैक में एक जगह, उनके लिए ब्लेड, स्विच पर पोर्ट और अन्य चीजें जो बिल पेटाबाइट्स में जाने पर एक पैसा होना बंद हो जाती हैं।

अब अपनी कुर्सी पर थोड़ा पीछे झुकें, आराम करें और सदस्यता द्वारा ताजे चिकन अंडे की आपूर्ति के लिए एक प्रणाली डिजाइन करने का प्रयास करें।

यदि अंग्रेजी बोलने वाले सहयोगियों के साथ साझा करने की इच्छा है, तो अंग्रेजी में (साथ ही अंग्रेजी हब में ) एक विकल्प है ।