नई रेडिस 5 डेटा संरचना, जिसे स्ट्रीम कहा जाता है, ने समुदाय में गहरी रुचि जगाई है। किसी तरह मैं उन लोगों के साथ बात करूँगा जो उत्पादन में धाराओं का उपयोग करते हैं और इसके बारे में लिखते हैं। लेकिन अब मैं थोड़ा अलग विषय पर विचार करना चाहता हूं। यह मुझे प्रतीत होने लगता है कि बहुत से लोग धाराओं को एक प्रकार का अचूक उपकरण मानते हैं जो बहुत कठिन कामों को हल करने के लिए है। वास्तव में, यह डेटा संरचना * मैसेजिंग भी प्रदान करता है, लेकिन यह मानने के लिए एक अविश्वसनीय सरलीकरण होगा कि रेडिस स्ट्रीम्स की कार्यक्षमता केवल इसी तक सीमित है।

धाराएँ एक भयानक टेम्पलेट और "मानसिक मॉडल" हैं, जिनका उपयोग सिस्टम डिज़ाइन में बड़ी सफलता के साथ किया जा सकता है, लेकिन वास्तविकता में, अधिकांश रेडिस डेटा संरचनाओं की तरह, एक अधिक सामान्य संरचना है और अन्य कार्यों के एक समूह के लिए उपयोग किया जा सकता है। इस अनुच्छेद में, हम धाराओं को एक शुद्ध डेटा संरचना के रूप में प्रस्तुत करेंगे, जो पूरी तरह से अवरुद्ध संचालन, प्राप्तकर्ता समूहों और अन्य सभी संदेश कार्यक्षमता को अनदेखा कर रहे हैं।

धाराएँ - यह स्टेरॉयड पर सीएसवी है

यदि आप कई संरचित डेटा तत्वों को रिकॉर्ड करना चाहते हैं और सोचते हैं कि डेटाबेस यहाँ ओवरकिल हो जाएगा, तो आप फ़ाइल को append only मोड में खोल सकते हैं और प्रत्येक लाइन को CSV (कोमा सेपरेटेड वैल्यू) के रूप में लिख सकते हैं:

 (open data.csv in append only) time=1553096724033,cpu_temp=23.4,load=2.3 time=1553096725029,cpu_temp=23.2,load=2.1 

यह सरल दिखता है। लोगों ने इसे बहुत पहले किया है और अभी भी करते हैं: यह एक विश्वसनीय टेम्पलेट है, यदि आप जानते हैं कि क्या है। लेकिन स्मृति में समतुल्य क्या होगा? स्मृति में, बहुत अधिक उन्नत डेटा प्रोसेसिंग संभव हो जाता है, और CSV फ़ाइलों के कई प्रतिबंध स्वचालित रूप से हटा दिए जाते हैं, जैसे:

1. सीमा अनुरोधों को पूरा करना कठिन (अक्षम) है।
   
2. बहुत अधिक निरर्थक जानकारी: प्रत्येक रिकॉर्ड में लगभग एक ही समय होता है, और फ़ील्ड डुप्लिकेट होते हैं। उसी समय, डेटा को हटाने से प्रारूप कम लचीला हो जाएगा यदि मैं अलग-अलग फ़ील्ड में स्विच करना चाहता हूं।
   
3. फ़ाइल में एलिमेंट ऑफ़सेट केवल बाइट ऑफ़सेट हैं: यदि हम फ़ाइल की संरचना बदलते हैं, तो ऑफ़सेट गलत हो जाएंगे, इसलिए प्राथमिक पहचानकर्ता की कोई वास्तविक अवधारणा नहीं है। सार में प्रविष्टियाँ असंदिग्ध रूप से प्रस्तुत नहीं की जा सकतीं।
   
4. कचरा एकत्र करने की क्षमता के बिना और लॉग को फिर से लिखने के बिना, आप प्रविष्टियों को हटा नहीं सकते हैं, लेकिन केवल उन्हें अमान्य के रूप में चिह्नित करते हैं। रीराइटिंग लॉग आमतौर पर कई कारणों से बेकार हो जाता है, इससे बचने की सलाह दी जाती है।

इसी समय, इस तरह के एक सीएसवी लॉग अपने तरीके से अच्छा है: कोई निश्चित संरचना नहीं है, फ़ील्ड बदल सकते हैं, इसे उत्पन्न करने के लिए तुच्छ है, और यह काफी कॉम्पैक्ट है। रेडिस धाराओं के साथ विचार गुणों को संरक्षित करने के लिए था, लेकिन सीमाओं को पार करने के लिए। परिणाम एक हाइब्रिड डेटा संरचना है जो रेडिस सॉर्ट किए गए सेटों के समान है: वे * मूल डेटा संरचना * की तरह दिखते हैं, लेकिन इस प्रभाव को प्राप्त करने के लिए कई आंतरिक अभ्यावेदन का उपयोग करते हैं।

थ्रेड्स का परिचय (यदि आप पहले से ही मूल बातों से परिचित हैं तो आप इसे छोड़ सकते हैं)

रेडिस स्ट्रीम को एक बेस ट्री से जुड़े डेल्टा-कंप्रेस्ड मैक्रो नोड्स के रूप में दर्शाया जाता है। नतीजतन, आप बहुत तेज़ी से यादृच्छिक रिकॉर्ड खोज सकते हैं, रेंज प्राप्त कर सकते हैं, पुराने तत्वों को हटा सकते हैं, आदि। उसी समय, प्रोग्रामर के लिए इंटरफ़ेस एक सीएसवी फ़ाइल के समान है:

 > XADD mystream * cpu-temp 23.4 load 2.3 "1553097561402-0" > XADD mystream * cpu-temp 23.2 load 2.1 "1553097568315-0" 

जैसा कि आप उदाहरण से देख सकते हैं, XADD कमांड स्वचालित रूप से रिकॉर्ड के पहचानकर्ता को जेनरेट करता है और लौटाता है, जो एकतरफा रूप से बढ़ता है और इसमें दो भाग होते हैं: <समय> - <काउंटर>। मिलीसेकंड में समय, और काउंटर एक ही समय के रिकॉर्ड के लिए बढ़े हुए हैं।

तो, append only मोड में एक सीएसवी फ़ाइल के विचार के लिए पहला नया अमूर्त एक्सएडीडी के लिए आईडी तर्क के रूप में तारांकन चिह्न का उपयोग करना है: यह है कि हमें सर्वर से रिकॉर्ड पहचानकर्ता मुफ्त में कैसे मिलता है। यह पहचानकर्ता न केवल धारा में एक विशिष्ट तत्व को इंगित करने के लिए उपयोगी है, यह उस समय के साथ भी जुड़ा है जब रिकॉर्ड धारा में जोड़ा गया था। वास्तव में, XRANGE के साथ, आप श्रेणी प्रश्नों को निष्पादित कर सकते हैं या अलग-अलग तत्वों को प्राप्त कर सकते हैं:

 > XRANGE mystream 1553097561402-0 1553097561402-0 1) 1) "1553097561402-0" 2) 1) "cpu-temp" 2) "23.4" 3) "load" 4) "2.3" 

इस स्थिति में, मैंने एक आइटम की पहचान करने के लिए रेंज शुरू करने और समाप्त करने के लिए एक ही आईडी का उपयोग किया। हालांकि, मैं परिणामों की संख्या को सीमित करने के लिए किसी भी सीमा और COUNT तर्क का उपयोग कर सकता हूं। इसी तरह, एक सीमा के लिए पूर्ण पहचानकर्ताओं को निर्दिष्ट करने की कोई आवश्यकता नहीं है, मैं बस दिए गए समय सीमा में तत्वों को प्राप्त करने के लिए केवल यूनिक्स समय का उपयोग कर सकता हूं:

 > XRANGE mystream 1553097560000 1553097570000 1) 1) "1553097561402-0" 2) 1) "cpu-temp" 2) "23.4" 3) "load" 4) "2.3" 2) 1) "1553097568315-0" 2) 1) "cpu-temp" 2) "23.2" 3) "load" 4) "2.1" 

फिलहाल, आपको अन्य एपीआई सुविधाओं को दिखाने की कोई आवश्यकता नहीं है, इसके लिए प्रलेखन है। अभी के लिए, आइए केवल इस उपयोग के पैटर्न पर ध्यान केंद्रित करें: एक्सडीडी को जोड़ने के लिए एक्सरेडी (एक्सआरएडीडी) और रेंज निकालने के लिए (आप क्या करना चाहते हैं इसके आधार पर), और आइए देखें कि धाराएं इतनी शक्तिशाली क्यों हैं कि उन्हें डेटा संरचना कहा जाता है।

यदि आप स्ट्रीम और एपीआई के बारे में अधिक जानना चाहते हैं, तो ट्यूटोरियल अवश्य पढ़ें।

टेनिस खिलाड़ी

कुछ दिनों पहले, मेरा एक दोस्त जिसने रेडिस का अध्ययन करना शुरू किया और मैंने स्थानीय टेनिस कोर्ट, खिलाड़ियों और मैचों को ट्रैक करने के लिए एक एप्लिकेशन का अनुकरण किया। खिलाड़ियों के मॉडल करने का तरीका स्पष्ट है, खिलाड़ी एक छोटी वस्तु है, इसलिए हमें केवल player:<id> जैसी कुंजी के साथ एक हैश की आवश्यकता है। तब आपको तुरंत महसूस होगा कि आपको विशिष्ट टेनिस क्लबों में गेम ट्रैक करने का एक तरीका चाहिए। अगर player:1 और player:2 आपस में खेले और player:1 जीता, तो हम निम्नलिखित रिकॉर्ड स्ट्रीम में भेज सकते हैं:

 > XADD club:1234.matches * player-a 1 player-b 2 winner 1 "1553254144387-0" 

इस तरह के एक सरल ऑपरेशन हमें देता है:

1. विशिष्ट मिलान पहचानकर्ता: स्ट्रीम में आईडी।
   
2. मैच पहचान के लिए एक वस्तु बनाने की आवश्यकता नहीं है।
   
3. किसी विशिष्ट दिनांक और समय के लिए पेजिंग मैच या मैच देखने के लिए नि: शुल्क रेंज अनुरोध।

स्ट्रीम दिखाई देने से पहले, हमें समय के अनुसार एक सॉर्ट किया गया सेट बनाना होगा: सॉर्ट किए गए सेट के तत्व मैच पहचानकर्ता होंगे, जो हैश मान के रूप में एक अलग कुंजी में संग्रहीत होते हैं। यह केवल अधिक काम नहीं है, बल्कि अधिक स्मृति भी है। बहुत, बहुत अधिक स्मृति (नीचे देखें)।

अब हमारा लक्ष्य यह दिखाना है कि रेडिस धाराएँ append only मोड में append only सॉर्ट सेट हैं, जिसमें समय के साथ कुंजी होती है, जहां प्रत्येक तत्व एक छोटा हैश होता है। और इसकी सादगी में, यह मॉडलिंग के संदर्भ में एक वास्तविक क्रांति है।

स्मृति

उपर्युक्त उपयोग का मामला केवल अधिक सुसंगत प्रोग्रामिंग पैटर्न नहीं है। थ्रेड्स में मेमोरी खपत प्रत्येक ऑब्जेक्ट के लिए सॉर्ट किए गए सेट + हैश के साथ पुराने दृष्टिकोण से इतनी अलग है कि कुछ चीजें अब काम करना शुरू कर देती हैं जो पहले बिल्कुल लागू करना असंभव था।

यहां पहले से प्रस्तुत कॉन्फ़िगरेशन में एक लाख मैच संग्रहीत करने के लिए मेमोरी की मात्रा के आंकड़े दिए गए हैं:

   +  = 220  (242 RSS)  = 16,8  (18.11 RSS) 

अंतर परिमाण के क्रम से अधिक है (अर्थात, 13 बार)। इसका मतलब उन कार्यों के साथ काम करने में सक्षम होना है जो पहले मेमोरी में प्रदर्शन करने के लिए बहुत महंगा थे। अब वे काफी व्यवहार्य हैं। जादू रेडिस धाराओं को पेश करने के लिए है: मैक्रो नोड में कई तत्व शामिल हो सकते हैं जो कि डेटा संरचना में बहुत कॉम्पैक्ट रूप से एन्कोडेड होते हैं जिन्हें लिस्टपैक कहा जाता है। यह संरचना ध्यान रखेगी, उदाहरण के लिए, द्विआधारी रूप में पूर्णांक एन्कोडिंग की, भले ही वे शब्दार्थ हों। इसके अलावा, हम डेल्टा संपीड़न लागू करते हैं और समान फ़ील्ड को संपीड़ित करते हैं। हालांकि, आईडी या समय के आधार पर खोज संभव है, क्योंकि इस तरह के मैक्रो नोड एक बेस ट्री में जुड़े होते हैं, जिसे मेमोरी ऑप्टिमाइज़ेशन के साथ भी डिज़ाइन किया गया है। साथ में, यह स्मृति के किफायती उपयोग की व्याख्या करता है, लेकिन दिलचस्प बात यह है कि शब्दार्थ उपयोगकर्ता को कोई कार्यान्वयन विवरण नहीं दिखता है जो थ्रेड को इतना कुशल बनाते हैं।

अब गिनती करते हैं। अगर मैं लगभग 18 एमबी मेमोरी में 1 मिलियन रिकॉर्ड स्टोर कर सकता हूं, तो मैं 180 एमबी में 10 मिलियन और 1.8 जीबी में 100 मिलियन स्टोर कर सकता हूं। सिर्फ 18 जीबी मेमोरी के साथ, मेरे पास 1 बिलियन आइटम हो सकते हैं।

समय श्रृंखला

यह ध्यान रखना महत्वपूर्ण है कि टेनिस मैचों के साथ ऊपर का उदाहरण शब्दशः * बहुत अलग है * समय श्रृंखला के लिए रेडिस धाराओं का उपयोग करने से। हां, तार्किक रूप से हम अभी भी किसी प्रकार का आयोजन कर रहे हैं, लेकिन एक बुनियादी अंतर है। पहले मामले में, हम वस्तुओं को प्रस्तुत करने के लिए रिकॉर्ड बनाते हैं और बनाते हैं। और समय श्रृंखला में, हम बस कुछ ऐसा मापते हैं जो बाहर होता है जो वास्तव में वस्तु का प्रतिनिधित्व नहीं करता है। आप कह सकते हैं कि यह भेद तुच्छ है, लेकिन ऐसा नहीं है। इस विचार को समझना महत्वपूर्ण है कि रेडिस थ्रेड्स का उपयोग एक सामान्य क्रम के साथ छोटी वस्तुओं को बनाने और ऐसी वस्तुओं को पहचानकर्ताओं को असाइन करने के लिए किया जा सकता है।

लेकिन समय श्रृंखला का उपयोग करने का सबसे सरल तरीका स्पष्ट रूप से एक बड़ी सफलता है, क्योंकि थ्रेड्स के आगमन से पहले, रेडिस व्यावहारिक रूप से यहां कुछ भी करने के लिए शक्तिहीन था। मेमोरी विशेषताओं और धाराओं के लचीलेपन के साथ-साथ कैप्ड स्ट्रीम को सीमित करने की क्षमता (एक्सएडीडी पैरामीटर देखें) डेवलपर के हाथों में बहुत महत्वपूर्ण उपकरण हैं।

निष्कर्ष

धाराएँ लचीली हैं और कई उपयोग मामलों की पेशकश करती हैं, लेकिन मैं उदाहरणों और स्मृति खपत को स्पष्ट रूप से दिखाने के लिए एक बहुत छोटा लेख लिखना चाहता था। शायद कई पाठकों के लिए धाराओं का यह प्रयोग स्पष्ट था। हालांकि, हाल के महीनों में डेवलपर्स के साथ बातचीत ने मुझे इस धारणा के साथ छोड़ दिया है कि बहुत से स्ट्रीम और स्ट्रीमिंग डेटा के बीच एक मजबूत संबंध है, जैसे कि डेटा संरचना केवल वहां अच्छा है। ऐसा नहीं है। :-)