AresDB डेमो: Uber GPU- आधारित ओपन सोर्स रियल-टाइम विश्लेषण टूल

वास्तविक समय के विश्लेषण के लिए धन्यवाद, हम, उबेर कर्मचारी, मामलों की स्थिति और कार्य कुशलता का अंदाजा लगाते हैं और आंकड़ों के आधार पर यह तय करते हैं कि उबर प्लेटफॉर्म पर काम की गुणवत्ता में कैसे सुधार किया जाए। उदाहरण के लिए, प्रोजेक्ट टीम बाजार की स्थिति की निगरानी करती है और हमारे मंच पर संभावित समस्याओं की पहचान करती है; मशीन लर्निंग मॉडल पर आधारित सॉफ्टवेयर यात्रियों के प्रस्ताव और ड्राइवरों की मांग की भविष्यवाणी करता है; डेटा प्रोसेसिंग विशेषज्ञ मशीन सीखने के मॉडल में सुधार कर रहे हैं - बदले में, पूर्वानुमान की गुणवत्ता में सुधार करने के लिए।

अतीत में, वास्तविक समय के विश्लेषण के लिए, हमने अन्य कंपनियों के डेटाबेस समाधानों का उपयोग किया, लेकिन कार्यक्षमता, मापनीयता, दक्षता, लागत और परिचालन आवश्यकताओं के लिए हमारे सभी मानदंडों को पूरा नहीं किया।

नवंबर 2018 में जारी किया गया, एरेसडीबी एक खुला स्रोत वास्तविक समय विश्लेषण उपकरण है। यह एक अपरंपरागत बिजली की आपूर्ति, ग्राफिक प्रोसेसर (जीपीयू) का उपयोग करता है, जो आपको विश्लेषण के पैमाने को बढ़ाने की अनुमति देता है। GPU प्रौद्योगिकी, एक होनहार वास्तविक समय विश्लेषण उपकरण, हाल के वर्षों में काफी उन्नत हुआ है, यह वास्तविक समय समानांतर कंप्यूटिंग और डेटा प्रोसेसिंग के लिए आदर्श बनाता है।

निम्नलिखित अनुभागों में, हम एर्सडीबी की संरचना का वर्णन करते हैं और वास्तविक समय के विश्लेषण के लिए इस दिलचस्प समाधान ने हमें वास्तविक समय के विश्लेषण के लिए उबर डेटाबेस समाधानों को अधिक कुशलता से और अधिक तर्कसंगत रूप से एकीकृत, सरल और बेहतर बनाने की अनुमति दी। हमें उम्मीद है कि इस लेख को पढ़ने के बाद आप AresDB को अपनी परियोजनाओं के हिस्से के रूप में आज़माएँगे और इसकी उपयोगिता भी सुनिश्चित करेंगे!

उबेर वास्तविक समय विश्लेषण अनुप्रयोगों

उबर की सफलता के लिए डेटा विश्लेषण महत्वपूर्ण है। अन्य कार्यों के बीच, विश्लेषणात्मक उपकरणों का उपयोग निम्नलिखित कार्यों को हल करने के लिए किया जाता है:

• व्यावसायिक मैट्रिक्स की निगरानी के लिए डैशबोर्ड का निर्माण।
• एकत्र किए गए सारांश मैट्रिक्स के आधार पर स्वचालित निर्णय लेना (उदाहरण के लिए, एक यात्रा की लागत और धोखाधड़ी के मामलों की पहचान करना )।
• समस्या निवारण, निदान और व्यावसायिक कार्यों के निवारण के लिए यादृच्छिक क्वेरी बनाएँ।

हम विभिन्न आवश्यकताओं के साथ इन कार्यों को वर्गीकृत करते हैं:

डैशबोर्ड और निर्णय लेने की प्रणाली उच्च क्यूपीएस और कम विलंबता के साथ डेटा के अपेक्षाकृत छोटे लेकिन अत्यधिक महत्वपूर्ण सबसेट (डेटा प्रासंगिकता के उच्चतम स्तर के साथ) पर समान प्रश्न बनाने के लिए वास्तविक समय विश्लेषण प्रणालियों का उपयोग करते हैं।

एक और विश्लेषणात्मक मॉड्यूल की आवश्यकता है

सबसे आम समस्या है कि उबेर वास्तविक समय विश्लेषण उपकरणों का उपयोग करता है हल करने के लिए समय श्रृंखला आबादी की गणना कर रहा है। ये गणना उपयोगकर्ता इंटरैक्शन का एक विचार देती हैं ताकि हम तदनुसार सेवाओं की गुणवत्ता में सुधार कर सकें। उनके आधार पर, हम बेतरतीब ढंग से फ़िल्टर किए गए (या कभी-कभी संयुक्त) डेटा की निश्चित अवधि के लिए कुछ मापदंडों (उदाहरण के लिए, दिन, घंटे, शहर की पहचानकर्ता और यात्रा की स्थिति) के लिए संकेतक का अनुरोध करते हैं। वर्षों से, उबर ने विभिन्न तरीकों से इस समस्या को हल करने के लिए डिज़ाइन की गई कई प्रणालियों को तैनात किया है।

इस प्रकार की समस्या को हल करने के लिए हमने कुछ तृतीय-पक्ष समाधान दिए हैं:

• Apache Pinot , जावा में लिखा एक वितरित ओपन सोर्स एनालिटिक डेटाबेस है, जो बड़े पैमाने पर डेटा विश्लेषण के लिए उपयुक्त है। पिनोट कॉलम भंडारण में पैकेट डेटा और वास्तविक समय डेटा को क्वेरी करने के लिए एक आंतरिक लंबो आर्किटेक्चर का उपयोग करता है, फ़िल्टरिंग के लिए एक औंधा सा सूचकांक, और कुल परिणामों को कैश करने के लिए एक स्टार ट्री। हालाँकि, यह कुंजी-आधारित कटौती, अद्यतन या सम्मिलित करने, मर्ज करने या उन्नत क्वेरी फ़ीचर जैसे कि जियोस्पैट फ़िल्टरिंग का समर्थन नहीं करता है। इसके अलावा, चूँकि पिनोट एक JVM- आधारित डेटाबेस है, इसलिए मेमोरी उपयोग के संदर्भ में क्वेरी करना बहुत महंगा है।
• एलियटिक्स खोज का उपयोग Uber द्वारा विभिन्न स्ट्रीमिंग विश्लेषण कार्यों को हल करने के लिए किया जाता है। यह Apache Lucene लाइब्रेरी के आधार पर बनाया गया है, जो पूर्ण-पाठ कीवर्ड खोज और एक उल्टे सूचकांक के लिए दस्तावेजों को संग्रहीत करता है। सिस्टम व्यापक डेटा का समर्थन करने के लिए व्यापक और विस्तारित है। एक उलटा सूचकांक फ़िल्टरिंग प्रदान करता है, लेकिन समय सीमा के आधार पर डेटा को संग्रहीत करने और फ़िल्टर करने के लिए अनुकूलित नहीं है। रिकॉर्ड JSON दस्तावेजों के रूप में संग्रहीत किए जाते हैं, जो भंडार और अनुरोधों तक पहुंच प्रदान करने के लिए अतिरिक्त लागत लगाता है। पिनोट की तरह, एलीटेसर्च एक जेवीएम-आधारित डेटाबेस है और तदनुसार, ज्वाइन फ़ंक्शन का समर्थन नहीं करता है, और क्वेरी निष्पादन बड़ी मात्रा में मेमोरी लेता है।

हालाँकि इन तकनीकों में अपनी ताकत है, लेकिन हमारे उपयोग के मामले में इनमें से कुछ सुविधाओं की कमी है। हमें एक एकीकृत, सरलीकृत और अनुकूलित समाधान की आवश्यकता थी, और इसकी खोज में हमने एक गैर-मानक दिशा (अधिक सटीक रूप से, GPU के अंदर) में काम किया।

वास्तविक समय विश्लेषण के लिए GPU का उपयोग करना

उच्च फ्रेम दर के साथ छवियों के यथार्थवादी प्रतिपादन के लिए, GPU एक साथ उच्च गति पर बड़ी संख्या में आकृतियों और पिक्सेल की प्रक्रिया करते हैं। यद्यपि पिछले कुछ वर्षों में डेटा प्रोसेसिंग इकाइयों की घड़ी की आवृत्ति बढ़ाने की प्रवृत्ति में गिरावट शुरू हुई है, चिप में ट्रांजिस्टर की संख्या केवल मूर के कानून के अनुसार बढ़ी है। नतीजतन, GPU कंप्यूटिंग की गति, प्रति सेकंड (Gflops / s) गीगाफ्लॉप्स में मापा जाता है, तेजी से बढ़ रहा है। नीचे चित्रा 1 NVIDIA GPU और इंटेल CPU के सैद्धांतिक गति प्रवृत्ति (Gflops / s) की तुलना में वर्षों से पता चलता है:

चित्रा 1. एकल-सटीक फ्लोटिंग-पॉइंट सीपीयू और जीपीयू प्रदर्शन की कई वर्षों से तुलना। Nvidia की CUDA C प्रोग्रामिंग गाइड से ली गई छवि।

वास्तविक समय के विश्लेषण अनुरोध तंत्र को विकसित करने में, GPU को एकीकृत करने का निर्णय स्वाभाविक था। उबेर में, एक विशिष्ट रीयल-टाइम विश्लेषण अनुरोध को लाखों या अरबों रिकॉर्ड के साथ कुछ दिनों में डेटा को संसाधित करने की आवश्यकता होती है, फिर उन्हें फ़िल्टर करके और उन्हें थोड़े समय में सारांशित किया जाता है। यह कम्प्यूटेशनल कार्य सामान्य प्रयोजन के GPU समानांतर प्रसंस्करण मॉडल में पूरी तरह से फिट बैठता है, क्योंकि वे:

• वे डेटा को बहुत तेज़ गति के साथ समानांतर में संसाधित करते हैं।
• वे एक उच्च कम्प्यूटेशनल गति (Gflops / s) प्रदान करते हैं, जो उन्हें जटिल कम्प्यूटेशनल कार्यों (डेटा ब्लॉकों में) को समानांतर करने के लिए उत्कृष्ट बनाता है।
• वे केंद्रीय प्रसंस्करण इकाइयों (सीपीयू) की तुलना में कंप्यूटिंग यूनिट और स्टोरेज (ALU और वैश्विक मेमोरी GPU) के बीच डेटा विनिमय में उच्च प्रदर्शन (देरी के बिना) प्रदान करते हैं, जो उन्हें समानांतर मेमोरी I / O कार्यों के प्रसंस्करण के लिए आदर्श बनाता है, जो डेटा की एक महत्वपूर्ण राशि की आवश्यकता है।

GPU- आधारित विश्लेषणात्मक डेटाबेस के उपयोग पर ध्यान केंद्रित करते हुए, हम - अपनी आवश्यकताओं के दृष्टिकोण से - कई मौजूदा विश्लेषणात्मक समाधानों का मूल्यांकन करते हैं जो GPUs:

• GPU-आधारित विश्लेषणात्मक उपकरण, Kinetica ने 2009 में अमेरिकी सेना और खुफिया एजेंसियों में उपयोग के लिए बाजार में कदम रखा। यद्यपि यह विश्लेषिकी में GPU प्रौद्योगिकी की उच्च क्षमता को प्रदर्शित करता है, हमने पाया कि उपयोग की हमारी शर्तों के लिए कई महत्वपूर्ण कार्य गायब हैं, जिसमें योजना को बदलना, स्तंभ स्तर पर अद्यतन, डेटा संपीड़न, डिस्क और मेमोरी कॉन्फ़िगरेशन, साथ ही कनेक्शन शामिल हैं। भू-स्थानिक संबंध।
• ओम्निस्की , एक खुला स्रोत एसक्यूएल क्वेरी मॉड्यूल, एक आशाजनक विकल्प की तरह लग रहा था, लेकिन उत्पाद का मूल्यांकन करते समय, हमने महसूस किया कि उबेर में उपयोग के लिए कुछ महत्वपूर्ण विशेषताओं का अभाव है, जैसे कि कटौती। हालाँकि OminiSci ने 2017 में अपनी परियोजना का ओपन सोर्स कोड पेश किया, लेकिन C ++ के आधार पर उनके समाधान का विश्लेषण करने के बाद, हम इस निष्कर्ष पर पहुंचे कि न तो उनके कोड आधार को बदलने और न ही ब्रांच करने का व्यवहार व्यावहारिक रूप से संभव है।
• GPU- आधारित रीयल-टाइम विश्लेषण उपकरण, जिसमें GPUQP , CoGaDB , GPUDB , Ocelot , OmniDB और Virginian शामिल हैं , अक्सर अनुसंधान और शैक्षणिक संस्थानों में उपयोग किए जाते हैं। हालांकि, उनके अकादमिक लक्ष्यों को देखते हुए, ये निर्णय वास्तविक दुनिया की समस्याओं को हल करने के बजाय एल्गोरिदम और परीक्षण अवधारणाओं को विकसित करने पर केंद्रित हैं। इस कारण से, हमने उन्हें ध्यान में नहीं रखा - हमारी मात्रा और पैमाने की स्थितियों में।

कुल मिलाकर, ये सिस्टम GPU प्रौद्योगिकी का उपयोग करके डेटा को संसाधित करने के भारी लाभ और क्षमता को प्रदर्शित करते हैं, और उन्होंने हमें उबेर की जरूरतों के लिए अनुकूलित अपना स्वयं का GPU वास्तविक समय विश्लेषण समाधान बनाने के लिए प्रेरित किया। इन अवधारणाओं के आधार पर, हमने AresDB के लिए स्रोत कोड विकसित और खोला।

AresDB वास्तुकला अवलोकन

उच्च स्तर पर, AresDB होस्ट मेमोरी (RAM, जो CPU से जुड़ा है) में अधिकांश डेटा संग्रहीत करता है, प्राप्त डेटा को प्रोसेस करने और डेटा को पुनर्प्राप्त करने के लिए CPU का उपयोग करता है। अनुरोध अवधि के दौरान, AresDB होस्ट मेमोरी से GPU मेमोरी में GPU को समानांतर प्रसंस्करण के लिए डेटा ट्रांसफर करता है। जैसा कि नीचे चित्र 2 में दिखाया गया है, AresDB में मेमोरी स्टोरेज, मेटाडेटा स्टोरेज और डिस्क शामिल हैं:

चित्र 2. अर्सबीडी की अनूठी वास्तुकला में मेमोरी स्टोरेज, डिस्क और मेटाडेटा स्टोरेज शामिल हैं।

टेबल

अधिकांश रिलेशनल डेटाबेस मैनेजमेंट सिस्टम (RDBMS) के विपरीत, AresDB में डेटाबेस या स्कीमा स्कोप नहीं है। सभी तालिकाएं AresDB के एक क्लस्टर / उदाहरण में समान दायरे से संबंधित हैं, जो उपयोगकर्ताओं को सीधे उन तक पहुंचने की अनुमति देता है। उपयोगकर्ता अपने डेटा को तथ्य तालिकाओं और आयाम तालिकाओं के रूप में संग्रहीत करते हैं।

तथ्य तालिका

तथ्य तालिका समय श्रृंखला की घटनाओं की एक अंतहीन स्ट्रीम संग्रहीत करती है। उपयोगकर्ता वास्तविक समय में होने वाली घटनाओं / तथ्यों को संग्रहीत करने के लिए एक तथ्य तालिका का उपयोग करते हैं, और प्रत्येक घटना घटना के समय के साथ जुड़ी होती है, और तालिका को अक्सर घटना के समय तक समझा जाता है। तथ्य तालिका में संग्रहीत जानकारी के प्रकार के एक उदाहरण के रूप में, हम यात्राओं का नाम दे सकते हैं, जहां प्रत्येक यात्रा एक घटना है, और यात्रा अनुरोध के समय को अक्सर घटना के समय के रूप में इंगित किया जाता है। यदि कई टाइमस्टैम्प किसी घटना से जुड़े होते हैं, तो केवल एक टाइमस्टैम्प को घटना के समय के रूप में इंगित किया जाता है और तथ्य तालिका में प्रदर्शित किया जाता है।

माप तालिका

माप तालिका सुविधाओं (शहरों, ग्राहकों और ड्राइवरों सहित) की वर्तमान विशेषताओं को संग्रहीत करती है। उदाहरण के लिए, उपयोगकर्ता माप तालिका में शहर, विशेष रूप से शहर, समय क्षेत्र और देश के नाम के बारे में जानकारी संग्रहीत कर सकते हैं। तथ्य तालिकाओं के विपरीत, जो लगातार बढ़ रहे हैं, आयाम तालिकाएं हमेशा आकार में सीमित होती हैं (उदाहरण के लिए, उबेर के लिए, शहर की तालिका दुनिया के वास्तविक शहरों द्वारा सीमित है)। मापन तालिकाओं को एक विशेष समय स्तंभ की आवश्यकता नहीं होती है।

डेटा प्रकार

नीचे दी गई सारणी AresDB द्वारा समर्थित वर्तमान डेटा प्रकारों को दिखाती है:

AresDB में, स्ट्रिंग्स को स्टोर करने और क्वेरी दक्षता की सुविधा बढ़ाने के लिए डेटाबेस में प्रवेश करने से पहले स्ट्रिंग्स को स्वचालित रूप से एनम में बदल दिया जाता है। यह केस-सेंसिटिव इक्वेशन चेक की अनुमति देता है, लेकिन कॉन्सेप्टेशन, सबस्ट्रिंग, मास्क और रेगुलर एक्सप्रेशन जैसे एडवांस्ड ऑपरेशंस को सपोर्ट नहीं करता है। भविष्य में, हम पूर्ण लाइन समर्थन विकल्प जोड़ने का इरादा रखते हैं।

मुख्य कार्य

AresDB वास्तुकला निम्नलिखित सुविधाओं का समर्थन करता है:

• भंडारण क्षमता बढ़ाने के लिए संपीड़न के साथ कॉलम-आधारित भंडारण (डेटा भंडारण के लिए बाइट्स में कम मेमोरी) और क्वेरी दक्षता (अनुरोध को संसाधित करते समय सीपीयू मेमोरी और जीपीयू मेमोरी के बीच कम डेटा विनिमय)
• डेटा की सटीकता में सुधार करने और कुछ सेकंड में वास्तविक समय के डेटा को अपडेट करने के लिए प्राथमिक कुंजी समर्पण के साथ रीयल-टाइम अपडेट या डालें
• कम अनुरोध विलंबता (एक सेकंड से लेकर कई सेकंड तक) के साथ अत्यधिक समानांतर GPU डेटा प्रोसेसिंग के लिए GPU अनुरोध प्रसंस्करण

स्तंभ भंडारण

वेक्टर

AresDB सभी डेटा को एक कॉलम प्रारूप में संग्रहीत करता है। प्रत्येक स्तंभ के मान को स्तंभ मान वेक्टर के रूप में संग्रहीत किया जाता है। प्रत्येक कॉलम में मूल्यों का विश्वास / अनिश्चितता मार्कर एक अलग शून्य वेक्टर में संग्रहीत किया जाता है, जबकि प्रत्येक मूल्य का विश्वास मार्कर एक बिट के रूप में प्रस्तुत किया जाता है।

सक्रिय भंडारण

AresDB सक्रिय भंडारण में असंपीड़ित और अनरूप स्तंभ डेटा (सक्रिय वैक्टर) को संग्रहीत करता है। सक्रिय भंडारण में डेटा रिकॉर्ड किसी दिए गए वॉल्यूम के (सक्रिय) पैकेट में विभाजित हैं। डेटा प्राप्त होने पर नए पैकेट बनाए जाते हैं, जबकि पुराने पैकेट अभिलेखों को रिकॉर्ड करने के बाद हटा दिए जाते हैं। प्राथमिक कुंजी इंडेक्स का उपयोग डिडुप्लीकेशन और अपडेट रिकॉर्ड का पता लगाने के लिए किया जाता है। चित्र 3 नीचे दिखाया गया है कि हम कैसे सक्रिय रिकॉर्ड व्यवस्थित करते हैं और उनके स्थान का निर्धारण करने के लिए प्राथमिक कुंजी मूल्य का उपयोग करते हैं:

चित्रा 3. हम पैकेज के स्थान और पैकेज के भीतर प्रत्येक रिकॉर्ड की स्थिति निर्धारित करने के लिए प्राथमिक कुंजी मूल्य का उपयोग करते हैं।

पैकेज में प्रत्येक स्तंभ के मान को स्तंभ वेक्टर के रूप में संग्रहीत किया जाता है। प्रत्येक मूल्य वेक्टर में मूल्यों की विश्वसनीयता / अनिश्चितता मार्कर को एक अलग शून्य वेक्टर के रूप में संग्रहीत किया जाता है, और प्रत्येक मूल्य के विश्वसनीयता मार्कर को एक बिट के रूप में प्रस्तुत किया जाता है। नीचे चित्र 4 में, हम city_id कॉलम के पाँच मानों के साथ एक उदाहरण प्रस्तुत करते हैं:

चित्रा 4. हम डेटा तालिका में मानों (वास्तविक मूल्य) और शून्य वैक्टर (विश्वास मार्कर) को असम्पीडित स्तंभों में संग्रहीत करते हैं।

संग्रह संग्रहण

AresDB संग्रह तालिका में संग्रहित किए गए पूर्ण, सॉर्ट किए गए और संपीड़ित स्तंभ डेटा (संग्रह वैक्टर) को तथ्य तालिकाओं के माध्यम से संग्रहीत भी करता है। अभिलेखागार भंडारण में रिकॉर्ड भी बैचों में वितरित किए जाते हैं। सक्रिय पैकेजों के विपरीत, संग्रहित पैकेज संग्रहित यूनिवर्सल टाइम (UTC) के अनुसार प्रति दिन रिकॉर्ड रखता है। एक संग्रह पैकेज यूनिक्स एपोच के बाद से पैकेज पहचानकर्ता के रूप में दिनों की संख्या का उपयोग कर रहा है।

उपयोगकर्ता-परिभाषित स्तंभ क्रम क्रम के अनुसार रिकॉर्ड सॉर्ट किए गए फ़ॉर्म में संग्रहीत किए जाते हैं। जैसा कि नीचे चित्र 5 में दिखाया गया है, हम पहले city_id कॉलम और फिर स्टेटस कॉलम द्वारा सॉर्ट करते हैं:

चित्र 5. हम सभी पंक्तियों को क्रमबद्ध करके city_id, फिर राज्य द्वारा और फिर प्रत्येक कॉलम को समूह कोडिंग द्वारा संपीड़ित करते हैं। छंटाई और संपीड़न के बाद, प्रत्येक कॉलम को एक लेखा वेक्टर प्राप्त होगा।

स्तंभों के लिए उपयोगकर्ता क्रम क्रम सेट करने का लक्ष्य निम्नानुसार है:

• पहले स्थान पर तत्वों की एक छोटी संख्या के साथ कॉलम छाँटकर संपीड़न प्रभाव को अधिकतम करना। अधिकतम संपीड़न भंडारण दक्षता में सुधार करता है (डेटा को स्टोर करने के लिए कम बाइट्स की आवश्यकता होती है) और क्वेरी दक्षता (कम बाइट्स सीपीयू मेमोरी और जीपीयू मेमोरी के बीच स्थानांतरित होती हैं)।
• आम समकक्ष फ़िल्टर के लिए सुविधाजनक रेंज-आधारित प्री-फ़िल्टरिंग प्रदान करना, उदा। City_id = 12। पूर्व फ़िल्टरिंग CPU मेमोरी और GPU मेमोरी के बीच डेटा ट्रांसफर करने के लिए आवश्यक बाइट्स की संख्या को कम करता है, जो क्वेरी दक्षता को अधिकतम करता है।

एक कॉलम केवल तभी संपीड़ित किया जाता है जब वह उपयोगकर्ता द्वारा निर्दिष्ट क्रम में मौजूद हो। हम बड़ी संख्या में तत्वों के साथ कॉलम को संपीड़ित करने की कोशिश नहीं कर रहे हैं, क्योंकि इससे थोड़ी मेमोरी बचती है।

छांटने के बाद, प्रत्येक योग्य स्तंभ के लिए डेटा एक विशिष्ट समूह कोडिंग विकल्प का उपयोग करके संकुचित होता है। मान सदिश और शून्य सदिश के अलावा, हम उसी मान को पुनः दर्शाने के लिए एक लेखा सदिश का परिचय देते हैं।

अद्यतन और सम्मिलित कार्यों के समर्थन के साथ वास्तविक समय डेटा रिसेप्शन

ग्राहक सर्विस पैक प्रकाशित करके HTTP एपीआई के माध्यम से डेटा प्राप्त करते हैं। सर्विस पैक एक विशेष ऑर्डर किया गया बाइनरी प्रारूप है जो डेटा तक यादृच्छिक पहुंच को बनाए रखते हुए अंतरिक्ष उपयोग को कम करता है।

जब AresDB सर्विस पैक प्राप्त करता है, तो वह पहले सर्विस पैक को रिकवरी ऑपरेशन लॉग में लिखता है। जब इवेंट लॉग के अंत में एक सर्विस पैक जोड़ा जाता है, तो AresDB सक्रिय भंडारण में उपयोग के लिए तथ्य तालिकाओं में देर से प्रविष्टियों की पहचान करता है और उन्हें छोड़ देता है। यदि रिकॉर्ड समय को डिस्कनेक्ट किए गए इवेंट के संग्रहीत समय से पहले है, तो "देर" माना जाता है। उन अभिलेखों के लिए जिन्हें "देर से" नहीं माना जाता है, एरेस्बडी प्राथमिक स्टोर इंडेक्स का उपयोग सक्रिय स्टोर के अंदर पैकेज का पता लगाने के लिए करता है जहां आप उन्हें सम्मिलित करना चाहते हैं। जैसा कि नीचे चित्र 6 में दिखाया गया है, नए रिकॉर्ड (पहले प्राथमिक कुंजी मूल्य के आधार पर नहीं मिले हैं) को खाली स्थान में डाला जाता है, और मौजूदा रिकॉर्ड को अपडेट किया जाता है:

चित्र 6. जब इवेंट लॉग में सर्विस पैक को जोड़ने के बाद डेटा प्राप्त होता है, तो "लेट" प्रविष्टियों को रिवर्स कतार में, और अन्य प्रविष्टियों को सक्रिय भंडारण में जोड़ा जाता है।

संग्रह

जब डेटा प्राप्त होता है, तो अभिलेखों को या तो सक्रिय भंडारण में जोड़ा / अपडेट किया जाता है, या रिवर्स कतार में जोड़ा जाता है, संग्रह संग्रहण में प्लेसमेंट की प्रतीक्षा कर रहा है।

हम समय-समय पर संग्रह के लिए एक नए संग्रह (रिकॉर्ड जो पहले कभी संग्रहीत नहीं किए गए हैं) के लिए सक्रिय भंडारण के रिकॉर्ड के संबंध में संग्रह के रूप में संदर्भित एक निर्धारित प्रक्रिया शुरू करते हैं। संग्रह प्रक्रिया केवल पुराने शटडाउन समय (अंतिम संग्रहण प्रक्रिया से शटडाउन समय) और नए शटडाउन समय (तालिका लेआउट में विलंबन देरी पैरामीटर के आधार पर नया शटडाउन समय) के बीच की सीमा में घटना के समय के साथ सक्रिय भंडारण में रिकॉर्ड की प्रक्रिया करती है।

अभिलेख इवेंट समय का उपयोग यह निर्धारित करने के लिए किया जाता है कि संग्रह पैकेज रिकॉर्ड को दैनिक पैकेज में डेटा पैक करते समय संयोजित किया जाना चाहिए। संग्रह करने के दौरान अभिलेख को प्राथमिक कुंजी मान के सूचकांक की कटौती की आवश्यकता नहीं होती है, क्योंकि पुराने और नए शटडाउन के बीच की सीमा में केवल अभिलेख संग्रहीत किए जाते हैं।

चित्रा 7 नीचे एक विशेष रिकॉर्ड की घटना के समय के अनुसार एक ग्राफ दिखाता है।

चित्रा 7. हम रिकॉर्ड और नए (सक्रिय) और पुराने के रूप में रिकॉर्ड को परिभाषित करने के लिए यात्रा के समय और यात्रा के समय का उपयोग करते हैं (घटना का समय यात्रा कार्यक्रम के संग्रहीत समय से पहले है)।

इस मामले में, अभिलेखीय अंतराल दो संग्रह प्रक्रियाओं के बीच का समय अंतराल है, और अभिलेखीय विलंब घटना के समय के बाद की अवधि है, लेकिन जब तक कि घटना को संग्रहीत नहीं किया जाता है। दोनों पैरामीटर AresDB टेबल स्कीमा सेटिंग्स में परिभाषित किए गए हैं।

वापस भरने

जैसा कि ऊपर चित्र 7 में दिखाया गया है, पुराने रिकॉर्ड (जिनकी घटना का समय शटडाउन इवेंट के संग्रहीत समय से पहले है) के लिए तथ्य तालिकाओं को रिवर्स कतार में जोड़ा जाता है और अंततः बैकफ़िल प्रक्रिया के हिस्से के रूप में संसाधित किया जाता है। इस प्रक्रिया के ट्रिगर्स रिवर्स कतार का समय या आकार भी होते हैं, अगर यह थ्रेसहोल्ड स्तर तक पहुंचता है। सक्रिय भंडारण में डेटा जोड़ने की प्रक्रिया की तुलना में, बैकफ़िलिंग अतुल्यकालिक है और सीपीयू और मेमोरी संसाधनों के संदर्भ में अपेक्षाकृत अधिक महंगा है। Backfill का उपयोग निम्नलिखित परिदृश्यों में किया जाता है:

• यादृच्छिक प्रसंस्करण, बहुत देर से डेटा
• एक अपस्ट्रीम डेटा स्ट्रीम से ऐतिहासिक डेटा का मैन्युअल कैप्चर
• हाल ही में जोड़े गए स्तंभों में ऐतिहासिक डेटा दर्ज करना

संग्रह करने के विपरीत, बैकफ़िल प्रक्रिया आलसी है और प्राथमिक कुंजी के मूल्य के आधार पर कटौती की आवश्यकता है। भरण डेटा अंततः प्रश्नों के लिए दिखाई देगा।

रिवर्स कतार को पूर्वनिर्धारित आकार के साथ मेमोरी में बनाए रखा जाता है, और बैकफ़िल के एक बड़े भार के साथ, क्लाइंट के लिए प्रक्रिया को अवरुद्ध किया जाएगा जब तक कि बैकफ़िल प्रक्रिया शुरू करके कतार को साफ़ नहीं किया जाता है।

प्रसंस्करण का अनुरोध करें

वर्तमान कार्यान्वयन में, उपयोगकर्ता को एरेसडी में प्रश्नों को निष्पादित करने के लिए उबेर द्वारा बनाई गई एरेस क्वेरी लैंग्वेज (AQL) का उपयोग करने की आवश्यकता है। AQL समय श्रृंखला विश्लेषणात्मक प्रश्नों के लिए एक प्रभावी भाषा है और SQL के समान अन्य भाषाओं की तरह "SQL से ग्रुप का चयन करें" जैसे मानक SQL सिंटैक्स का पालन नहीं करता है। इसके बजाय, AQL का उपयोग संरचित क्षेत्रों में किया जाता है और इसे JSON, YAML और गो ऑब्जेक्ट्स में शामिल किया जा सकता है। उदाहरण के लिए, /SELECT (*) /FROM /GROUP BY city_id, /WHERE = «» /AND request_at >= 1512000000 , JSON में समतुल्य AQL संस्करण को निम्न प्रकार से लिखा गया है:

 { “table”: “trips”, “dimensions”: [ {“sqlExpression”: “city_id”} ], “measures”: [ {“sqlExpression”: “count(*)”} ], ;”> “rowFilters”: [ “status = 'completed'” ], “timeFilter”: { “column”: “request_at”, “from”: “2 days ago” } } 

JSON प्रारूप में, AQL एक डैशबोर्ड और निर्णय लेने की प्रणाली के डेवलपर्स को SQL की तुलना में अधिक सुविधाजनक प्रोग्राम क्वेरी एल्गोरिथ्म प्रदान करता है, जिससे उन्हें SQL इंजेक्शन जैसी चीजों की चिंता किए बिना आसानी से प्रश्नों की रचना करने और कोड का उपयोग करके हेरफेर करने की अनुमति मिलती है। यह डेटाबेस (AresDB) तक वेब ब्राउज़र, बाहरी और आंतरिक सर्वर के विशिष्ट आर्किटेक्चर के लिए एक सार्वभौमिक क्वेरी प्रारूप के रूप में कार्य करता है। इसके अलावा, AQL समय के अनुसार फ़िल्टर करने और अपने समय क्षेत्र के लिए समर्थन के साथ बैचिंग के लिए एक सुविधाजनक वाक्यविन्यास प्रदान करता है। इसके अलावा, भाषा कई कार्यों का समर्थन करती है, जैसे कि अंतर्निहित उप-प्रश्न, प्रश्नों में सामान्य त्रुटियों को रोकने के लिए और आंतरिक इंटरफ़ेस के डेवलपर्स के लिए प्रश्नों के विश्लेषण और पुनर्लेखन की प्रक्रिया को सुविधाजनक बनाती है।

AQL द्वारा प्रदान किए जाने वाले कई लाभों के बावजूद, हम अच्छी तरह से जानते हैं कि अधिकांश इंजीनियर SQL से अधिक परिचित हैं। प्रश्नों को निष्पादित करने के लिए एक SQL इंटरफ़ेस प्रदान करना अगले चरणों में से एक है जिसे हम ArbDB उपयोगकर्ताओं के साथ बातचीत को बेहतर बनाने के अपने प्रयासों के हिस्से के रूप में देखेंगे।

AQL क्वेरी निष्पादन फ्लोचार्ट नीचे चित्र 8 में दिखाया गया है:

चित्र 8. अर्सडीबी क्वेरी फ़्लोचार्ट हमारी खुद की AQL क्वेरी भाषा का उपयोग जल्दी और कुशलतापूर्वक प्रक्रिया करने और डेटा पुनर्प्राप्त करने के लिए करता है।

प्रश्न संकलन

AQL क्वेरी को आंतरिक क्वेरी संदर्भ में संकलित किया जाता है। ग्राफिक्स प्रोसेसर (GPU) के माध्यम से आगे की प्रक्रिया के लिए फिल्टर, माप और मापदंडों में अभिव्यक्तियों का सार सिंटैक्स ट्री (एएसटी) में विश्लेषण किया जाता है।

डेटा लोड हो रहा है

AresDB समानांतर प्रसंस्करण के लिए GPU पर भेजने से पहले संग्रह डेटा को फ़िल्टर करने के लिए पूर्व फ़िल्टर का उपयोग करता है। क्योंकि संग्रहीत डेटा को कॉन्फ़िगर किए गए स्तंभ क्रम के अनुसार क्रमबद्ध किया गया है, कुछ फिल्टर इस प्रकार के क्रम और द्विआधारी खोज विधि का उपयोग कर सकते हैं ताकि मिलान की उपयुक्त सीमा निर्धारित की जा सके। विशेष रूप से, शुरुआत में छांटे गए सभी स्तंभों के लिए बराबर फ़िल्टर और सॉर्ट किए गए कॉलम X + 1 के लिए एक वैकल्पिक रेंज फ़िल्टर प्रारंभिक फिल्टर के रूप में इस्तेमाल किया जा सकता है, जैसा कि नीचे चित्र 9 में दिखाया गया है।

चित्रा 9. प्रसंस्करण के लिए GPU पर भेजने से पहले AresDB स्तंभ डेटा को पूर्व फ़िल्टर करता है।

प्री-फ़िल्टरिंग के बाद, केवल हरे रंग के मान (फ़िल्टर स्थिति से मिलना) को समानांतर प्रसंस्करण के लिए GPU में भेजा जाना चाहिए। इनपुट डेटा को GPU में लोड किया जाता है और एक समय में एक पैकेट को संसाधित किया जाता है। इसमें सक्रिय पैकेज और संग्रह पैकेज दोनों शामिल हैं।

AresDB पाइपलाइन और डेटा प्रोसेसिंग के लिए CUDA स्ट्रीम का उपयोग करता है। प्रत्येक अनुरोध के लिए, दो अतिव्यापी चरणों में प्रसंस्करण के लिए वैकल्पिक रूप से दो धाराएं लागू की जाती हैं। नीचे चित्र 10 में, हम इस प्रक्रिया को दर्शाने वाला एक ग्राफ प्रस्तुत करते हैं।

चित्र 10. एरेसडीबी में, दो CUDA धागे बारी-बारी से संचारित होते हैं और डेटा को संसाधित करते हैं।

क्वेरी का निष्पादन

सादगी के लिए, AresDB क्वेरी निष्पादन प्रक्रियाओं को लागू करने के लिए थ्रस्ट लाइब्रेरी का उपयोग करता है , जो वर्तमान टूल में प्रश्नों के त्वरित कार्यान्वयन के लिए एक बारीक ट्यून किए गए समानांतर एल्गोरिदम के ब्लॉक प्रदान करता है।

थ्रस्ट में, इनपुट और आउटपुट वेक्टर डेटा का उपयोग यादृच्छिक अभिगम पुनरावृत्तियों का उपयोग करके किया जाता है। प्रत्येक GPU थ्रेड अपने काम करने की स्थिति में इनपुट पुनरावृत्तियों की तलाश करता है, मूल्यों को पढ़ता है और गणना करता है, और फिर आउटपुट इटेटर में संबंधित स्थिति के लिए परिणाम लिखता है।

AresDB अभिव्यक्तियों का मूल्यांकन करने के लिए, "प्रति कोर एक ऑपरेटर" (OOPK) मॉडल निम्नानुसार है।

नीचे चित्र 11 में, इस प्रक्रिया को आयाम संकलन request_at – request_at % 86400 से उत्पन्न एएसटी उदाहरण का उपयोग करके प्रदर्शित किया गया है request_at – request_at % 86400 अनुरोध संकलन चरण पर request_at – request_at % 86400 :

चित्र 11. एरेस्डीबी अभिव्यक्ति का मूल्यांकन करने के लिए ओओपीके मॉडल का उपयोग करता है।

OOPK मॉडल में, AresDB क्वेरी इंजन AST पेड़ के प्रत्येक पत्ती नोड को दरकिनार कर देता है और स्रोत नोड के लिए एक पुनरावृत्ति देता है। यदि रूट नोड भी परिमित है, तो रूट एक्शन सीधे इनपुट इट्रीटर पर किया जाता है।

प्रत्येक गैर-रूट नॉन-एंड नोड (इस उदाहरण में मॉडुलो ऑपरेशन ) के लिए, एक अस्थायी कार्यक्षेत्र वेक्टर को request_at% 86400 अभिव्यक्ति से प्राप्त मध्यवर्ती परिणाम को संग्रहीत करने के लिए आवंटित किया गया है। थ्रस्ट का उपयोग करके, GPU में इस कथन के परिणाम की गणना करने के लिए एक कर्नेल फ़ंक्शन लॉन्च किया गया है। परिणाम कार्यक्षेत्र पुनरावृत्ति में संग्रहीत हैं।

रूट नोड के लिए, कर्नेल फ़ंक्शन उसी तरह से चलता है जैसे कि एक गैर-रूट, गैर-परिमित नोड के लिए। अभिव्यक्ति के प्रकार के आधार पर विभिन्न आउटपुट क्रियाएं की जाती हैं, जिन्हें नीचे विस्तार से वर्णित किया गया है:

• इनपुट वेक्टर तत्वों की संख्या को कम करने के लिए फ़िल्टरिंग
• बाद के डेटा विलय के लिए एक माप वेक्टर में माप माप डेटा रिकॉर्डिंग
• बाद के डेटा विलय के लिए पैरामीटर वेक्टर में मापदंडों का आउटपुट रिकॉर्ड करें

अभिव्यक्ति का मूल्यांकन करने के बाद, डेटा को अंत में संयोजित करने के लिए छंटाई और परिवर्तन किया जाता है। सॉर्टिंग और ट्रांसफ़ॉर्मेशन ऑपरेशंस में, हम डायमेंशन वेक्टर के वैल्यूज़ को सॉर्टिंग और ट्रांसफ़ॉर्मेशन के लिए महत्वपूर्ण मान के रूप में और पैरामीटर वेक्टर के वैल्यूज़ को डेटा के संयोजन के लिए मान के रूप में उपयोग करते हैं। इस प्रकार, समान आयाम मान वाली पंक्तियों को समूहीकृत और संयोजित किया जाता है। नीचे चित्र 12 इस छंटाई और रूपांतरण प्रक्रिया को दर्शाता है।

चित्रा 12. अभिव्यक्ति का मूल्यांकन करने के बाद, AresDB सॉर्ट वैक्टर (मुख्य मूल्य) और मापदंडों (मूल्य) के प्रमुख मूल्यों के अनुसार डेटा को रूपांतरित और परिवर्तित करता है।

AresDB निम्नलिखित उन्नत क्वेरी फ़ंक्शन का भी समर्थन करता है:

• शामिल हों : AresDB वर्तमान में तथ्य तालिका और आयाम तालिका के बीच एक हैश ज्वाइन विकल्प का समर्थन करता है
• हाइपरलॉग आइटम की संख्या का अनुमान लगाना : एरेस्बीडी हाइपरलॉग एल्गोरिथम का उपयोग करता है
• जियो इंटर्सेक्ट: AresDB वर्तमान में केवल GeoPoint और GeoShape के बीच परस्पर क्रियाओं का समर्थन करता है

संसाधन प्रबंधन

आंतरिक मेमोरी पर आधारित डेटाबेस के रूप में, AresDB को निम्नलिखित प्रकार के मेमोरी उपयोग का प्रबंधन करना चाहिए:

जब AresDB शुरू होता है, तो यह कॉन्फ़िगर किए गए साझा मेमोरी बजट का उपयोग करता है। बजट को सभी छह प्रकार की मेमोरी में विभाजित किया गया है और इसे ऑपरेटिंग सिस्टम और अन्य प्रक्रियाओं के लिए पर्याप्त जगह छोड़नी चाहिए। इस बजट में एक सांख्यिकीय रूप से कॉन्फ़िगर किया गया अनुमान भी शामिल है, सर्वर द्वारा मॉनिटर किए गए एक सक्रिय डेटा स्टोर, और संग्रहीत डेटा जो सर्वर शेष मेमोरी बजट के आधार पर डाउनलोड और हटाने का निर्णय ले सकता है।
चित्रा 13 नीचे AresDB होस्ट मेमोरी मॉडल दिखाता है।

चित्र 13. AresDB अपने स्वयं के मेमोरी उपयोग का प्रबंधन करता है ताकि यह कॉन्फ़िगर किए गए कुल प्रक्रिया बजट से अधिक न हो।

AresDB उपयोगकर्ताओं को प्रीलोड के दिनों और कॉलम-स्तर की प्राथमिकताओं को तथ्य तालिका के लिए सेट करने की अनुमति देता है और केवल प्रीलोड के दिनों में डेटा संग्रहीत करता है। पहले डाउनलोड नहीं किया गया डेटा डिमांड पर डिस्क से मेमोरी में लोड होता है। जब आबादी होती है, तो AresDB होस्ट मेमोरी से संग्रहीत डेटा को भी हटा देता है। अर्सबीडी निष्कासन के सिद्धांत निम्नलिखित मापदंडों पर आधारित हैं: प्रीलोडिंग के दिनों की संख्या, स्तंभों की प्राथमिकताएं, पैकेज संकलित करने का दिन और स्तंभ का आकार।

AresDB भी कई GPU उपकरणों का प्रबंधन करता है और प्रसंस्करण के अनुरोधों के लिए GPU मेमोरी के उपयोग पर नज़र रखने के लिए, GPU थ्रेड्स और डिवाइस मेमोरी के रूप में डिवाइस संसाधनों का अनुकरण करता है। AresDB एक डिवाइस मैनेजर के माध्यम से GPU उपकरणों का प्रबंधन करता है जो दो आयामों (GPU थ्रेड्स और डिवाइस मेमोरी) में GPU डिवाइस संसाधनों को मॉडल करता है और प्रसंस्करण अनुरोधों के दौरान मेमोरी उपयोग को ट्रैक करता है। अनुरोध को संकलित करने के बाद, AresDB उपयोगकर्ताओं को अनुरोध को पूरा करने के लिए आवश्यक संसाधनों की मात्रा का अनुमान लगाने की अनुमति देता है। अनुरोध को हल करने से पहले डिवाइस की मेमोरी आवश्यकताओं को पूरा किया जाना चाहिए; यदि किसी उपकरण पर वर्तमान में अपर्याप्त मेमोरी है, तो अनुरोध का इंतजार करना चाहिए। वर्तमान में, AresDB एक ही समय में एक ही GPU डिवाइस पर एक या अधिक अनुरोध निष्पादित कर सकता है यदि डिवाइस सभी संसाधन आवश्यकताओं को पूरा करता है।

वर्तमान कार्यान्वयन में, AresDB कई अनुरोधों में पुन: उपयोग के लिए डिवाइस की मेमोरी में इनपुट को कैश नहीं करता है। AresDB का लक्ष्य डेटासेट के विरुद्ध प्रश्नों का समर्थन करना है जो वास्तविक समय में लगातार अपडेट किए जाते हैं और सही ढंग से कैश नहीं किए जाते हैं। AresDB के भविष्य के संस्करणों में, हम GPU मेमोरी में कैशिंग डेटा के लिए फ़ंक्शंस लागू करने का इरादा रखते हैं, जो क्वेरी प्रदर्शन को अनुकूलित करने में मदद करेगा।

उपयोग का उदाहरण: उबेर अवलोकन डैशबोर्ड

Uber में, हम वास्तविक समय की व्यावसायिक जानकारी प्राप्त करने के लिए डैशबोर्ड बनाने के लिए AresDB का उपयोग करते हैं। AresDB निरंतर घटनाओं के साथ प्राथमिक घटनाओं को संग्रहीत करने और कम लागत पर GPU संसाधनों के लिए एक दूसरे विभाजन में उनके लिए महत्वपूर्ण मैट्रिक्स की गणना करने के लिए जिम्मेदार है, इसलिए उपयोगकर्ता डैशबोर्ड का उपयोग अंतःक्रियात्मक रूप से कर सकते हैं। उदाहरण के लिए, अज्ञात यात्रा डेटा जिसमें डेटा वेयरहाउस में लंबी वैधता अवधि होती है, हमारी प्रेषण प्रणाली, भुगतान और मूल्य निर्धारण प्रणाली सहित कई सेवाओं द्वारा अपडेट की जाती है। यात्रा डेटा का कुशल उपयोग करने के लिए, उपयोगकर्ता वास्तविक समय के समाधान में अंतर्दृष्टि प्राप्त करने के लिए डेटा को अलग-अलग आयामों में विभाजित करते हैं और तोड़ते हैं।

AresDB का उपयोग करते समय, Uber डैशबोर्ड एक व्यापक विश्लेषण डैशबोर्ड है, जिसका उपयोग कंपनी के भीतर टीमों द्वारा उपयोग किया जाता है ताकि उपयोगकर्ता अनुभव में सुधार के लिए प्रासंगिक मैट्रिक्स और वास्तविक समय प्रतिक्रियाएं उत्पन्न कर सकें।

14. Uber AresDB .

, , :

( )

( )

AresDB

, , AresDB :

, , , , , .

AresDB , Apache Kafka , , Apache Flink Apache Spark .

AresDB

, « » « ». , -. 24 AQL:

:
, , .

, AresDB , , . AresDB , , .

AresDB Uber , . , , AresDB .

:

• : AresDB, , , .
• : AresDB 2018 , , AresDB .
• : , , , .
• : , (LLVM) GPU.

AresDB Apache. AresDB .

, .

धन्यवाद

(Kate Zhang), (Jennifer Anderson), (Nikhil Joshi), (Abhi Khune), (Shengyue Ji), (Chinmay Soman), (Xiang Fu), (David Chen) (Li Ning) , !