कैश प्रदर्शन का राजा है: क्या प्रोसेसर को चौथे स्तर के कैशिंग की आवश्यकता होती है

सामान्य अर्थों में प्रोसेसर की गति और मुख्य DRAM की गति के बीच का अंतर, सामान्य अर्थों में भी, पिछले 30 वर्षों में एक समस्या रही है - इस अवधि के दौरान, अंतर वास्तव में बढ़ने लगा। और यह ईमानदारी से कहने योग्य है कि जिन इंजीनियरों ने उपकरण और प्रोग्राम दोनों को विकसित किया था, जिन्होंने कैश पदानुक्रम बनाया था और सॉफ्टवेयर जो इसका लाभ उठा सकते थे, उन्होंने शानदार प्रदर्शन किया। यह मनुष्य द्वारा कल्पना की गई अब तक की सबसे कठिन वास्तुकलाओं में से एक है।

हालाँकि, अब जब हम मेमोरी के लगातार विस्तार करने वाले पदानुक्रम की कगार पर हैं, जब DIMM और SSD फॉर्मेट में Optane 3D XPoint (चरण परिवर्तन के साथ मेमोरी का एक प्रकार) जैसी गैर-वाष्पशील मेमोरी दिखाई देने लगती है, साथ ही नए प्रोटोकॉल (CXL, OpenCAPI, CCIX, NVLink और) जनरल-जेड), सवाल उठता है: क्या सर्वरों में चौथे स्तर के कैश को जोड़ने का समय है? चूंकि इस तरह के कई उपकरणों का काम सीपीयू कॉम्प्लेक्स पर निर्भर करता है - जिनमें से कुछ नज़दीक होते हैं, जबकि कुछ और दूर होते हैं - यह सोचना तार्किक है कि क्या हमें एक और कैशे स्तर की आवश्यकता है जो इन अन्य प्रकार की मेमोरी की देरी को मास्क करता है और पूरे सिस्टम के थ्रूपुट को बढ़ाता है।

अवसरों को पेश करने के लिए, हमने अपनी स्वयं की मेमोरी में अफवाह फैला दी, और साथ ही हमने आईबीएम, इंटेल, एएमडी और मारवेल से चिप आर्किटेक्चर डेवलपर्स के साथ बात की, ताकि वे समझ सकें कि वे सर्वर में एल 4 कैश का उपयोग करने के बारे में क्या सोचते हैं। L4 कैश, बेशक, गति में एक नया शब्द नहीं है, लेकिन सिस्टम आर्किटेक्चर में यह इतना सामान्य नहीं है।

हालांकि, इससे पहले कि हम इस मुद्दे के इतिहास पर जाएं।

प्रोसेसर में पहले स्तर के कैश को जोड़ना जो उस समय केवल एक कोर था 1980 के दशक में एक समझौता था जिसने प्रोसेसर से डेटा अनुरोधों और निर्देशों की औसत विलंबता को कम करते हुए मेमोरी सबसिस्टम में विलंबता को जोड़ा। L1 कैश मूल रूप से मदरबोर्ड पर स्थित बाहरी SRAM में स्थित था और सीपीयू-मेमोरी कॉम्प्लेक्स से जुड़ा था। इस तरह के एल 1 कैश प्रोसेसर के बहुत करीब थे, दोनों घड़ी आवृत्ति और बोर्ड पर भौतिक स्थान के संदर्भ में, और सीपीयू लोड को बढ़ाने के लिए संभव बना दिया। तब इन कैश को विभाजित किया गया था ताकि अक्सर उपयोग किए गए डेटा को एक ब्लॉक में संग्रहीत किया जा सके, और दूसरे में लोकप्रिय निर्देश, और यह थोड़ा बढ़ा हुआ प्रदर्शन। प्रोसेसर की घड़ी की गति में वृद्धि और सीपीयू और डीआरएएम की गति में संबंधित अंतराल में कुछ बिंदु पर, अधिक वसा, लेकिन धीमी L2 कैश भी जोड़ा गया था (लेकिन बैंडविड्थ के मामले में सस्ता), फिर से पहले वे सीपीयू मामले के बाहर थे, लेकिन फिर इसमें एकीकृत किया गया। और जब अधिक से अधिक कोर सीपीयू में जोड़े जाने लगे, साथ ही उन्हें लोड करने के लिए अधिक से अधिक DRAM नियंत्रकों, यहां तक ​​कि बड़े L3 कैश ब्लॉक को पदानुक्रम में जोड़ा गया।

अधिकांश भाग के लिए, इस तरह की प्रणाली ने काफी अच्छा काम किया। कुछ सीपीयू सर्किट में, हम कुछ व्यावहारिक नियम भी देखते हैं जो कैश पदानुक्रम के स्तरों को दर्शाते हैं, जो हमें चौथे स्तर से जुड़ी संभावनाओं का अनुमान लगाने की अनुमति देगा।

इंटेल में चिप इंजीनियर और आर्किटेक्ट क्रिस गियानोस, जिन्होंने एक्सोन प्रोसेसर के कई पिछली पीढ़ियों के विकास का नेतृत्व किया है, इस बारे में बताते हैं: "प्रत्येक स्तर के कैश के साथ, हमें आमतौर पर पिछले स्तर से पर्याप्त मजबूत बढ़ने की आवश्यकता होती है, ताकि यह सब समझ में आए, क्योंकि सिस्टम प्रदर्शन में ध्यान देने योग्य वृद्धि प्राप्त करने के लिए, आपको सफल कॉलों के बजाय एक दिलचस्प आवृत्ति प्राप्त करने की आवश्यकता है। यदि आप केवल कुछ प्रतिशत मामलों में "कैश्ड डेटा" को कैश करते हैं, तो यह नोटिस करना मुश्किल होगा। बाकी सब कुछ आपकी गति को धीमा कर देता है, और यह वृद्धि अगोचर होगी। इसलिए, अपेक्षाकृत बड़े कैश की आवश्यकता होती है, और जब उच्च स्तर की बात आती है, तो वास्तव में विशाल कैश की आवश्यकता होती है। आज, L2 को मेगाबाइट में मापा जाता है, L3 को दसियों या सैकड़ों मेगाबाइट में मापा जाता है। तो यह स्पष्ट है कि यदि आप L4 कैश के बारे में सोचना शुरू करते हैं, तो हम सैकड़ों मेगाबाइट के बारे में बात करेंगे, अगर गीगाबाइट नहीं। और ऐसा आकार निश्चित रूप से उनकी उच्च लागत को जन्म देगा। यह आवश्यक है कि कुछ विकल्प मौजूद हों, इस विकल्प के दिलचस्प होने के लिए, और यह निश्चित रूप से सस्ता नहीं होगा। ”

हमने जिन एएमडी इंजीनियरों का साक्षात्कार लिया, वे गुमनाम रहने की इच्छा रखते थे क्योंकि वे यह आभास नहीं देना चाहते थे कि कंपनी एल 4 कैश को एपिक प्रोसेसर लाइन में जोड़ने जा रही है - और, सटीक होने के लिए, एएमडी ने ऐसा कुछ भी वादा नहीं किया। हालांकि, कंपनी फिर भी मानती है कि यह विचार करने के लिए अगला स्पष्ट कदम है, और, इंटेल की तरह, यह मानता है कि सभी इंजीनियर L4 कैश को लागू करने के बारे में सोच रहे हैं। संक्षेप में, एएमडी का कहना है कि कैश स्तर और अक्षांशों से जुड़े व्यापार-बंदों का उद्योग और शिक्षा दोनों में व्यापक रूप से अध्ययन किया गया है, और यह कि प्रत्येक नए स्तर के साथ जो पिछले एक की तुलना में बड़ा और धीमा है, समग्र रूप से DRAM को बढ़ाने में एक व्यापार-बंद है। यह इंटेल जियानोस द्वारा भी संकेत दिया गया है, सफल कैश अनुरोधों और इसकी मात्रा के बीच संतुलन खोजने की आवश्यकता के बारे में बात कर रहा है।

आईबीएम, निश्चित रूप से 2000 के दशक में अपने कुछ X86 चिपसेट में L4 कैश जोड़ा, और 2010 में सिस्टम Z11 मेनफ्रेम पर NUMA चिपसेट ( असमान मेमोरी एक्सेस ) में L4 जोड़ा। Z11 प्रोसेसर में चार कोर, निर्देशों के लिए 64 KB L1 कैश और डेटा के लिए 128 KB L1 कैश, प्रत्येक कोर के लिए 1.5 एमबी L2 कैश और सभी कोर के लिए 24 MB L3 साझा कैश है। Z10 के NUMA चिपसेट में 96 MB L4 कैश के दो बैंक थे, यानी कुल मिलाकर 192 MB। Z12 को जारी करके, IBM ने L1 कैश का आकार 98 KB प्रति कोर तक घटा दिया, लेकिन L2 कैश को 2 MB प्रति कोर तक बढ़ा दिया, इसे दो भागों में विभाजित किया, निर्देशों के लिए और डेटा के लिए, जैसा कि L1 के मामले में है। उसने छह कोर के लिए L3 कैश का आकार 48 एमबी तक दोगुना कर दिया, और चिपसेट में एक जोड़ी चिप्स के लिए L4 कैश का आकार 384 एमबी तक बढ़ा दिया गया। जैसे ही सिस्टम z प्रोसेसर की पीढ़ी बदलती है, कैश आकार में वृद्धि होती है, और सितंबर में घोषित z15 प्रोसेसर के लिए, L1 कैश की एक जोड़ी का वजन 128 KB प्रत्येक होगा, L2 कैश की एक जोड़ी का वजन 4 एमबी प्रत्येक होगा, और 256 कोर के लिए एक साझा L3 कैश में 256 एमबी की क्षमता होगी। प्रत्येक मेनफ्रेम बे में एल 4 कैश 960 एमबी है, और पूरे सिस्टम के लिए इसका कुल आकार, जिसमें पांच खण्ड हैं, 4.68 जीबी है।

जैसा कि हमने पहले बताया , Power8 और Power9 प्रोसेसर में मेमोरी बफ़र है, और IBM ने प्रत्येक Centaur बफर में 16 MB L4 कैश जोड़ा, जो 32 मेमोरी स्लॉट के लिए 128 एमबी L4 कैश प्रति सॉकेट है। सबसे सस्ती पावर 9 मशीनों में मेमोरी बफर नहीं है, और इसलिए कोई एल 4 कैश नहीं है। आर्किटेक्ट्स जिन्होंने पावर 10 आरेख विकसित किया था, वे पावर 11 के लिए आरेख विकसित करने में व्यस्त थे, और इसलिए हमारे सवालों का जवाब नहीं दे सके, लेकिन विलियम स्टार्क, जिन्होंने पावर 10 के विकास को प्रबंधित किया, ने हमारे लिए थोड़ा समय पाया, और निम्नलिखित पर ध्यान दिया:

"सामान्य तौर पर, हम इस निष्कर्ष पर पहुंचे कि अंतिम स्तर के बड़े स्तर के कैश औद्योगिक प्रणालियों की गति बढ़ाने के लिए उपयोगी हैं," स्टार्क ने हमें ईमेल द्वारा समझाया। "उच्च-अस्थिर मेमोरी से जुड़ा उच्च विलंबता, विशेष रूप से चरण-राज्य मेमोरी के साथ, एक कैश अनुरोध उत्पन्न करता है - संभवतः भंडारण पदानुक्रम में L4 प्रकार का कैश -"।

जैसा हमने सोचा था वैसा ही हुआ। और वैसे, हम यह दावा नहीं करते हैं कि एल 4 कैश आवश्यक रूप से भविष्य के डीडीआर 5 डीआईएमएम की बफर मेमोरी में निकटता में होगा। शायद इसे पीसीआई-एक्सप्रेस और एल 3 प्रोसेसर कैश के बीच रखना बेहतर है, और मेमोरी बफ़र्स में और पीसीआई-एक्सप्रेस और एल 3 प्रोसेसर कैश के बीच भी बेहतर है। शायद इसे भविष्य के सर्वर आर्किटेक्चर में I / O कंट्रोलर और मेमोरी के शीर्ष पर रखना होगा, जो कि इंटेल की फेवरोस तकनीक जैसा है ।

इसे अलग नज़रिए से देखना संभव है - उदाहरण के लिए, आईबीएम के पास क्रिस्टल के आकार को बदलने का अवसर था, और इंजीनियरों ने L4 कैश को सिस्टम z NUMA बस या Power8 और Power9 मेमोरी मेमोरी चिप में जोड़ने का निर्णय लिया, न कि अपने स्वयं के लिए। सभी आवश्यक कार्यों के लागू होने के बाद भी उनके पास ट्रांजिस्टर जोड़ने का अवसर था। कभी-कभी ऐसा लगता है कि इंटेल X86 प्रोसेसर में कोर की संख्या L3 कैश के आकार पर निर्भर करती है जो वे खर्च कर सकते हैं। कभी-कभी ऐसा लगता है कि इंटेल एक क्रिस्टल को L3 कैश का अधिकतम आकार प्रदान करता है, और उसके बाद तीन अलग-अलग आकारों के Xeon क्रिस्टल बस इन विनिर्देशों के अनुसार बनाए जाते हैं - नवीनतम पीढ़ियों में उनके पास 14 नैनो निर्माण प्रक्रिया पर 10, 18 या 28 कोर हैं।

ये सभी, ज़ाहिर है, विशुद्ध रूप से अकादमिक मुद्दे हैं, लेकिन वे हमें आईबीएम और अन्य चिपसेट निर्माताओं के लिए L4 कैश जोड़ने के लिए संभावित प्रेरणा देते हैं। न केवल कुछ मामलों में यह मदद कर सकता है, यह सिर्फ एक बहुत स्पष्ट बात है। हमें लगता है कि इस तरह के I / O मॉन्स्टर पर सिस्टम z मेनफ्रेम के रूप में, L4 कैश बिना किसी सवाल के अपनी जगह पर है और सभी ग्राहकों को लाभ पहुंचाता है, इन मशीनों के थ्रूपुट को बढ़ाता है और उन्हें 98-99% प्रोसेसर लोड पर काम करने की अनुमति देता है, क्योंकि कितने हे , और मेनफ्रेम में NUMA का पैमाना हाल ही में बहुत बढ़ गया है।

L4 कैश को विशेष रूप से बिल्ट-इन DRAM (जैसे IBM अपने चिप्स के साथ करता है) पर या बहुत अधिक महंगे SRAM के आधार पर बनाने का कोई कारण नहीं है - यह क्रेब रिसर्च, सन माइक्रोसिस्टम्स, ओरेकल, ब्रॉडकॉम से चिप आर्किटेक्ट है। , कैवियम और मार्वल:

सुगुमार कहते हैं, '' हमारे एल 3 कैश पहले से ही काफी बड़े हैं। - तो L4 के मामले में आप एक अलग तकनीक का उपयोग किया जा करने की जरूरत में रुचि रखते हैं। शायद eDRAM या यहां तक ​​कि HBM या DRAM। इस संदर्भ में, HBM- आधारित L4 कैश का कार्यान्वयन एक दिलचस्प विकल्प की तरह दिखता है, और यह कैश बैंडविड्थ के रूप में विलंबता समस्या को हल नहीं करता है। चूंकि एचबीएम क्षमता सीमित है और बैंडविड्थ बड़ी है, इसलिए हम गति में एक निश्चित वृद्धि प्राप्त कर सकते हैं - और कुछ विशेष मामलों में हम वास्तव में बैंडविड्थ में उल्लेखनीय वृद्धि देखते हैं। " सुगुमार कहते हैं कि काफी बड़ी संख्या में अनुप्रयोगों के लिए, अपेक्षाकृत बड़ी संख्या में कैश मिसेज देखे जाते हैं। हालांकि, आपको यह गणना करने की आवश्यकता है कि अगला कैश स्तर जोड़ना इसके लायक है या नहीं।

सुगरुमार का कहना है कि L4 कैश जैसी चीज़ के लिए एक और संभावित उपयोग मामला है, स्थानीय DRAM को कैश के रूप में उपयोग करना है। “हम प्रयोगशाला में इस तरह के किसी भी अध्ययन का संचालन नहीं करते हैं, लेकिन मान लें कि हमारे पास चिप पर एक उच्च-बैंडविड्थ इंटरफ़ेस है, जो 500 एनएम से 1 μs की दूरी पर लूप के दूसरे छोर पर एक साझा मेमोरी से जुड़ा है। फिर उपयोग मामलों में से एक कैश बनाने के लिए होगा जो इस डेटा को साझा मेमोरी से स्थानीय DRAM तक ले जाता है। आप इस मेमोरी को प्रबंधित करने वाली राज्य मशीन के काम की कल्पना कर सकते हैं, इसलिए अधिकांश समय स्थानीय DRAM पर कॉल जाएंगे, और आप सामान्य वितरित DRAM को कॉल की संख्या को कम कर सकते हैं। "

यह विकल्प हमें एक बहुत ही रोचक किस्म का NUMA लगता है। वैसे, सुगरूम गैर-वाष्पशील मेमोरी दिखाई देने से पहले भी सन माइक्रोसिस्टम्स में हाई-स्पीड समानांतर सिस्टम के लिए वितरित मेमोरी पर काम कर रहा था। और मेमोरी पदानुक्रम के इन विभिन्न रूपों के साथ एक समस्या यह थी कि यदि उनमें से एक नेटवर्क या बस की विफलता के कारण खो जाता है, तो पूरी मशीन दुर्घटनाग्रस्त हो जाएगी। "वितरित मेमोरी सिस्टम पर, नेटवर्क विफलताओं को अधिक सुरुचिपूर्ण ढंग से नियंत्रित किया जाना है, और यह बहुत सारी डिज़ाइन चुनौतियों का कारण बनता है।"

एक और मुद्दा यह है कि हम किसी भी उच्चस्तरीय कैश चाहते हैं, यहां तक ​​कि L4 भी नहीं, जिसे लोहे की मदद से और सॉफ्टवेयर की मदद से न्यूनतम के साथ अधिकतम तक पहुंचाया जा सके। ऑपरेटिंग सिस्टम कर्नेल और अन्य सॉफ़्टवेयर को हमेशा हार्डवेयर के साथ पकड़ने के लिए कुछ समय की आवश्यकता होती है, चाहे वह नए कर्नेल, या L3 या L4 कैश, या पता योग्य गैर-वाष्पशील मेमोरी को जोड़ रहा हो।

"कुछ बिंदु पर, एक अतिरिक्त कैश स्तर अपरिहार्य हो जाएगा," जियानोस कहते हैं। - हमें पहला कैश स्तर मिला, और कुछ बिंदु पर दूसरा दिखाई दिया। और फिर हमने आखिरकार एक तीसरा जोड़ा। और किसी दिन हमारे पास एक चौथा होगा। एकमात्र सवाल यह है कि कब और क्यों। और यह मुझे लगता है कि इस कैश की क्षमताओं के बारे में आपके अवलोकन काफी दिलचस्प हैं। लेकिन इंटेल ने अभी तक यह तय नहीं किया है कि ऐसी चीजों को कब या क्यों सार्वजनिक किया जाएगा। अन्य कंपनियां भी इस मुद्दे का अध्ययन कर रही हैं; इसकी जांच नहीं करना मूर्खता होगी। जल्दी या बाद में ऐसा होगा, लेकिन जल्द ही यह होगा, या बहुत नहीं - यह अभी तक स्पष्ट नहीं है। ”