केडीबी + डेटाबेस: वित्त से फॉर्मूला 1 तक

KDB +, एक KX उत्पाद, एक व्यापक रूप से ज्ञात संकीर्ण वृत्त, अत्यंत तेज़, स्तंभ डेटाबेस है जिसे समय श्रृंखला और उनके आधार पर विश्लेषणात्मक गणना के लिए डिज़ाइन किया गया है। प्रारंभ में, इसे वित्त उद्योग में बहुत लोकप्रियता मिली (और आनंद मिलता है) - इसका उपयोग सभी शीर्ष 10 निवेश बैंकों और कई प्रसिद्ध हेज फंड, एक्सचेंज और अन्य संगठनों द्वारा किया जाता है। हाल ही में, KX ने अपने क्लाइंट बेस का विस्तार करने का फैसला किया और अब अन्य क्षेत्रों में समाधान प्रस्तुत करता है जहां समय या किसी अन्य तरीके से बड़ी मात्रा में डेटा होता है - दूरसंचार, जैव सूचना विज्ञान, उत्पादन, आदि। विशेष रूप से, वे फॉर्मूला 1 में एस्टन मार्टिन रेड बुल रेसिंग टीम के भागीदार बने, जहां वे कार सेंसर से डेटा एकत्र करने और संसाधित करने और एक पवन सुरंग में परीक्षणों का विश्लेषण करने में मदद करते हैं। इस लेख में मैं आपको बताना चाहता हूं कि केडीबी + की क्या विशेषताएं हैं जो इसे सुपर-उत्पादक बनाती हैं, क्यों कंपनियां इस पर बड़ा पैसा खर्च करने को तैयार हैं, और आखिरकार, यह वास्तव में एक डेटाबेस क्यों नहीं है।



इस लेख में मैं सामान्य रूप से यह बताने की कोशिश करूंगा कि केडीबी + क्या है, इसकी क्या विशेषताएं और सीमाएँ हैं, बड़ी मात्रा में डेटा संसाधित करने की इच्छुक कंपनियों के लिए इसका क्या लाभ है। मैं केडीबी + के कार्यान्वयन और इसके क्यू प्रोग्रामिंग भाषा के विवरण में नहीं जाऊंगा। ये दोनों विषय बहुत व्यापक हैं और अलग-अलग लेखों के लायक हैं। इन विषयों पर बहुत सी जानकारी code.kx.com पर देखी जा सकती है, जिसमें Q - Q फॉर मॉर्टल्स पर एक पुस्तक भी शामिल है (नीचे लिंक देखें)।

कुछ शर्तें

• इन-मेमोरी डेटाबेस। एक डेटाबेस जो तेजी से एक्सेस के लिए रैम में डेटा स्टोर करता है। ऐसे डेटाबेस के फायदे समझ में आते हैं, और नुकसान डेटा हानि की संभावना है, सर्वर पर बहुत अधिक मेमोरी की आवश्यकता है।
  
• स्तंभ डेटाबेस। एक डेटाबेस जहां डेटा श्रृंखला में संग्रहीत किया जाता है, रिकॉर्ड द्वारा रिकॉर्ड नहीं किया जाता है। इस तरह के एक डेटाबेस का मुख्य लाभ यह है कि एक कॉलम से डेटा डिस्क और मेमोरी में एक साथ संग्रहीत किया जाता है, जो कि उन तक पहुंच को बहुत तेज करता है। अनुरोध में उपयोग नहीं किए जाने वाले स्तंभों को लोड करने की कोई आवश्यकता नहीं है। मुख्य नुकसान यह है कि रिकॉर्ड को संशोधित करना और हटाना मुश्किल है।
  
• समय श्रृंखला। किसी स्तंभ जैसे दिनांक या समय के साथ डेटा। एक नियम के रूप में, इस तरह के डेटा के लिए समय में आदेश देना महत्वपूर्ण है, ताकि आप आसानी से यह निर्धारित कर सकें कि कौन सा रिकॉर्ड पूर्ववर्ती है या वर्तमान का अनुसरण करता है, या उन कार्यों को लागू करने के लिए जिनका परिणाम रिकॉर्ड के क्रम पर निर्भर करता है। क्लासिक डेटाबेस को पूरी तरह से अलग सिद्धांत पर बनाया गया है - एक सेट के रूप में रिकॉर्ड के एक सेट का प्रतिनिधित्व करना, जहां रिकॉर्ड के क्रम को सिद्धांत में परिभाषित नहीं किया गया है।
  
• वेक्टर। संदर्भ में, केडीबी + एक ही परमाणु प्रकार के तत्वों की एक सूची है, उदाहरण के लिए, संख्या। दूसरे शब्दों में, तत्वों की एक सरणी। एरेस, सूचियों के विपरीत, वेक्टर प्रोसेसर निर्देशों का उपयोग करके कॉम्पैक्ट रूप से संग्रहीत और संसाधित किया जा सकता है।
  

ऐतिहासिक पृष्ठभूमि

KX की स्थापना 1993 में आर्थर व्हिटनी द्वारा की गई थी, जो पहले एपीएल के उत्तराधिकारी ए + पर मॉर्गन स्टेनली बैंक में काम करते थे, जो वित्तीय दुनिया में एक बहुत ही मूल और लोकप्रिय भाषा है। बेशक, KX में, आर्थर एक ही भावना में जारी रहे और कट्टरपंथी अतिसूक्ष्मवाद के विचारों द्वारा निर्देशित वेक्टर-कार्यात्मक भाषा K का निर्माण किया। K प्रोग्राम विराम चिह्नों और विशेष वर्णों के एक गन्दा सेट की तरह दिखते हैं, पात्रों और कार्यों का अर्थ संदर्भ पर निर्भर करता है, और प्रत्येक ऑपरेशन सामान्य प्रोग्रामिंग भाषाओं की तुलना में बहुत अधिक अर्थ रखता है। इसके कारण, K प्रोग्राम न्यूनतम स्थान लेता है - कई लाइनें जावा जैसी क्रिया भाषा के पाठ के पृष्ठों को प्रतिस्थापित कर सकती हैं - और एल्गोरिथ्म का एक सुपर-केंद्रित कार्यान्वयन है।

K पर एक फ़ंक्शन जो किसी दिए गए व्याकरण के अनुसार अधिकांश LL1 पार्सर जनरेटर को लागू करता है:

1. pp:{q:{(x;p3(),y)};r:$[-11=@x;$x;11=@x;q[`N;$*x];10=abs@@x;q[`N;x]  2.   ($)~*x;(`P;p3 x 1);(1=#x)&11=@*x;pp[{(1#x;$[2=#x;;,:]1_x)}@*x]  3.      (?)~*x;(`Q;pp[x 1]);(*)~*x;(`M;pp[x 1]);(+)~*x;(`MP;pp[x 1]);(!)~*x;(`Y;p3 x 1)  4.      (2=#x)&(@x 1)in 100 101 107 7 -7h;($[(@x 1)in 100 101 107h;`Ff;`Fi];p3 x 1;pp[*x])  5.      (|)~*x;`S,(pp'1_x);2=#x;`C,{@[@[x;-1+#x;{x,")"}];0;"(",]}({$[".sC"~4#x;6_-2_x;x]}'pp'x);'`pp];  6.   $[@r;r;($[1<#r;".s.";""],$*r),$[1<#r;"[",(";"/:1_r),"]";""]]} 

आर्थर ने KDB + में न्यूनतम बॉडी मूवमेंट के साथ चरम दक्षता के इस दर्शन को मूर्त रूप दिया, जो 2003 में सामने आया (मुझे लगता है कि अब यह स्पष्ट है कि अक्षर K का नाम कहां से आता है) और भाषा के चौथे संस्करण के दुभाषिए के अलावा और कुछ नहीं है। एक संस्करण जोड़ा गया है जो उपयोगकर्ता के K पर अधिक आकर्षक है। Q नाम के तहत K. Q एक विशिष्ट SQL बोली के लिए समर्थन भी जोड़ता है - QSQL, और दुभाषिया में - सिस्टम डेटा प्रकार के रूप में तालिकाओं के लिए समर्थन, स्मृति में और डिस्क पर तालिकाओं के साथ काम करने के लिए उपकरण, आदि।

इस प्रकार, उपयोगकर्ता के दृष्टिकोण से, KDB +, C # से तालिकाओं और SQL- जैसे LINQ- शैली के भावों के समर्थन के साथ एक Q दुभाषिया है। यह केडीबी + और अन्य डेटाबेस और इसके मुख्य प्रतिस्पर्धी लाभ के बीच सबसे महत्वपूर्ण अंतर है, जिसे अक्सर अनदेखा किया जाता है। यह एक डेटाबेस + एक सहायक भाषा नहीं है जो अक्षम है, लेकिन एक पूर्ण शक्तिशाली प्रोग्रामिंग भाषा + डेटाबेस कार्यों के लिए अंतर्निहित समर्थन है। यह अंतर केडीबी + के सभी लाभों को सूचीबद्ध करने में एक निर्णायक भूमिका निभाएगा। उदाहरण के लिए ...

आकार

आधुनिक मानकों के अनुसार, केडीबी + केवल एक सूक्ष्म आकार है। यह वस्तुतः एक निष्पादन योग्य फ़ाइल है जो मेगाबाइट से छोटी है और कुछ सिस्टम फ़ंक्शन के साथ एक छोटी टेक्स्ट फ़ाइल है। वास्तव में - एक मेगाबाइट से कम और इस कार्यक्रम के लिए कंपनियां सर्वर पर एक प्रोसेसर के लिए प्रति वर्ष हजारों डॉलर का भुगतान करती हैं।

• यह आकार KDB + को किसी भी हार्डवेयर पर बहुत अच्छा महसूस करने की अनुमति देता है - Pi माइक्रो कंप्यूटर से लेकर सर्वरों तक मेमोरी के टेराबाइट्स के साथ। यह किसी भी तरह से कार्यक्षमता को प्रभावित नहीं करता है, इसके अलावा, क्यू तुरंत शुरू होता है, जो इसे स्क्रिप्टिंग भाषा के रूप में उपयोग करने की अनुमति देता है।
  
• इस आकार के साथ, क्यू दुभाषिया पूरी तरह से प्रोसेसर कैश में रखा गया है, जो कार्यक्रमों के निष्पादन को गति देता है।
  
• निष्पादन योग्य फ़ाइल के इस आकार के साथ, क्यू प्रक्रिया नगण्य स्मृति स्थान को ऊपर ले जाती है; आप उन्हें सैकड़ों में चला सकते हैं। एक ही समय में, यदि आवश्यक हो, तो क्यू एक प्रक्रिया में दसियों या सैकड़ों गीगाबाइट मेमोरी के साथ काम कर सकता है।
  

चंचलता

क्यू विभिन्न कार्यों के लिए एकदम सही है। क्यू प्रक्रिया एक ऐतिहासिक डेटाबेस के रूप में काम कर सकती है और सूचनाओं के टेराबाइट्स तक त्वरित पहुंच प्रदान कर सकती है। उदाहरण के लिए, हमारे पास दर्जनों ऐतिहासिक डेटाबेस हैं, जिनमें से कुछ में डेटा का एक असम्पीडित दिन 100 से अधिक गीगाबाइट लेता है। हालांकि, उचित प्रतिबंधों के साथ, डेटाबेस क्वेरी को दसियों से सैकड़ों मिलीसेकंड में निष्पादित किया जाएगा। सामान्य तौर पर, हमारे पास उपयोगकर्ता अनुरोधों के लिए एक सार्वभौमिक टाइमआउट है - 30 सेकंड - और यह बहुत कम ही काम करता है।

उसी आसानी के साथ, क्यू एक इन-मेमोरी डेटाबेस हो सकता है। स्मृति में तालिकाओं में नया डेटा जोड़ना इतना तेज़ है कि उपयोगकर्ता क्वेरीज़ एक सीमित कारक है। तालिकाओं में डेटा कॉलम में संग्रहीत किया जाता है, जिसका अर्थ है कि कॉलम में कोई भी ऑपरेशन पूरी क्षमता से प्रोसेसर कैश का उपयोग करेगा। इसके अलावा, KX ने वेक्टर प्रोसेसर निर्देशों के माध्यम से अंकगणित जैसे सभी बुनियादी कार्यों को लागू करने की कोशिश की, उनकी गति को अधिकतम किया। Q ऐसे कार्य कर सकता है जो डेटाबेस की विशेषता नहीं है - उदाहरण के लिए, डेटा को स्ट्रीम करने की प्रक्रिया और "वास्तविक समय" में गणना करें (कार्य के आधार पर कई सेकंड के दसियों सेकंड की देरी के साथ) अलग-अलग समय अंतराल के लिए वित्तीय साधनों के लिए विभिन्न समुच्चय कार्य या पूर्ण प्रभाव का एक मॉडल बनाते हैं। बाजार में लेनदेन और इसके पूरा होने के तुरंत बाद इसकी रूपरेखा तैयार करना। ऐसी समस्याओं में, सबसे अधिक बार मुख्य समय देरी क्यू नहीं है, लेकिन विभिन्न स्रोतों से डेटा को सिंक्रनाइज़ करने की आवश्यकता है। इस तथ्य के कारण उच्च गति प्राप्त की जाती है कि डेटा और फ़ंक्शन जो उन्हें संसाधित करते हैं वे एक ही प्रक्रिया में हैं, और प्रसंस्करण कई क्यूएसक्यूएल अभिव्यक्तियों और जोड़ के निष्पादन के लिए कम हो जाता है जो व्याख्या नहीं किए जाते हैं, लेकिन बाइनरी कोड में निष्पादित होते हैं।

अंत में, कोई भी सेवा प्रक्रिया Q में लिखी जा सकती है। उदाहरण के लिए, गेटवे प्रक्रियाएं जो आवश्यक डेटाबेस और सर्वर के लिए उपयोगकर्ता के अनुरोधों को स्वचालित रूप से वितरित करती हैं। प्रोग्रामर को संतुलन, प्राथमिकता, दोष सहिष्णुता, अभिगम अधिकार, कोटा और आमतौर पर आपके दिल की इच्छाओं के लिए किसी भी एल्गोरिदम को लागू करने की पूरी स्वतंत्रता है। यहां मुख्य समस्या यह है कि आपको यह सब स्वयं लागू करना होगा।

एक उदाहरण के लिए, मैं सूचीबद्ध करूँगा कि हमारे पास किस प्रकार की प्रक्रियाएँ हैं। उनमें से सभी सक्रिय रूप से उपयोग किए जाते हैं और एक साथ काम करते हैं, दर्जनों विभिन्न डेटाबेसों का संयोजन करते हैं, कई स्रोतों से डेटा संसाधित करते हैं और सैकड़ों उपयोगकर्ताओं और अनुप्रयोगों की सेवा करते हैं।

• डेटा स्रोतों से कनेक्टर्स (फीडहैंडलर)। ये प्रक्रियाएं आमतौर पर बाहरी पुस्तकालयों का उपयोग करती हैं जो Q में भरी हुई हैं। Q में C- इंटरफ़ेस बेहद सरल है और आपको किसी भी C / C ++ लाइब्रेरी के लिए आसानी से प्रॉक्सी फ़ंक्शन बनाने की अनुमति देता है। क्यू तेजी से संभाल करने के लिए पर्याप्त है, उदाहरण के लिए, सभी यूरोपीय स्टॉक एक्सचेंजों से एक साथ FIX संदेशों के प्रवाह को संसाधित करना।
  
• टिकर वितरक, जो कनेक्टर्स और उपभोक्ताओं के बीच एक मध्यवर्ती कड़ी के रूप में काम करते हैं। उसी समय, वे आने वाले डेटा को एक विशेष बाइनरी लॉग में लिखते हैं, उपभोक्ताओं को कनेक्शन हानि या पुनः आरंभ करने के लिए प्रतिरोध प्रदान करते हैं।
  
• इन-मेमोरी डेटाबेस (आरडीबी)। ये डेटाबेस कच्चे, ताज़ा डेटा तक सबसे तेज़ पहुँच प्रदान करते हैं, उन्हें मेमोरी में स्टोर करते हैं। एक नियम के रूप में, वे दिन के दौरान तालिकाओं में डेटा जमा करते हैं और रात में उन्हें शून्य करते हैं।
  
• Persist Database (pdb)। ये डेटाबेस आज ऐतिहासिक डेटाबेस में डेटा स्टोरेज प्रदान करते हैं। एक नियम के रूप में, आरडीबी के विपरीत, वे डेटा को मेमोरी में स्टोर नहीं करते हैं, लेकिन एक दिन के लिए डिस्क पर एक विशेष कैश का उपयोग करते हैं और आधी रात को डेटा को ऐतिहासिक डेटाबेस में कॉपी करते हैं।
  
• ऐतिहासिक आधार (एचडीबी)। ये डेटाबेस पिछले दिनों, महीनों और वर्षों तक डेटा तक पहुंच प्रदान करते हैं। उनका आकार (दिनों में) केवल हार्ड ड्राइव के आकार तक सीमित है। डेटा कहीं भी स्थित हो सकता है, विशेष रूप से तेज पहुंच के लिए विभिन्न डिस्क पर। चुनने के लिए कई एल्गोरिदम का उपयोग करके डेटा को संपीड़ित करना संभव है। डेटाबेस संरचना अच्छी तरह से प्रलेखित और सरल है, डेटा को साधारण फ़ाइलों में प्रति-यूनिट के आधार पर संग्रहीत किया जाता है, ताकि उन्हें संसाधित किया जा सके, जिसमें ऑपरेटिंग सिस्टम का उपयोग करना शामिल है।
  
• समग्र जानकारी के साथ डेटाबेस। विभिन्न समुच्चय संग्रहीत किए जाते हैं, आमतौर पर, साधन नाम और समय अंतराल द्वारा समूहीकृत। इन-मेमोरी डेटाबेस हर आने वाले संदेश के साथ अपनी स्थिति को अपडेट करते हैं, और ऐतिहासिक डेटा तक पहुंच को गति देने के लिए ऐतिहासिक लोग पूर्व-गणना डेटा संग्रहीत करते हैं।
  
• अंत में, गेटवे प्रक्रियाओं अनुप्रयोगों और उपयोगकर्ताओं की सेवा। क्यू आपको आने वाले संदेशों की पूरी तरह से अतुल्यकालिक प्रसंस्करण को लागू करने की अनुमति देता है, उन्हें डेटाबेस में वितरित करता है, एक्सेस अधिकारों की जांच करता है, आदि। मैं ध्यान देता हूं कि संदेश केवल सीमित नहीं हैं और अधिकतर SQL कथन नहीं हैं, जैसा कि अन्य डेटाबेस में होता है। सबसे अधिक बार, एसक्यूएल अभिव्यक्ति एक विशेष फ़ंक्शन में छिपी होती है और उपयोगकर्ता द्वारा अनुरोध किए गए मापदंडों के आधार पर बनाई जाती है - समय परिवर्तित, फ़िल्टर किया जाता है, डेटा सामान्यीकृत होता है (उदाहरण के लिए, शेयरों की कीमत बराबर होती है यदि लाभांश का भुगतान किया गया था), आदि।
  

एक डेटा प्रकार के लिए विशिष्ट वास्तुकला:

गति

यद्यपि क्यू एक व्याख्या की गई भाषा है, यह एक साथ एक वेक्टर भाषा है। इसका मतलब यह है कि कई अंतर्निहित फ़ंक्शन, विशेष रूप से अंकगणित में, किसी भी रूप के तर्क को स्वीकार करते हैं - संख्या, वैक्टर, मैट्रिसेस, सूचियां, और प्रोग्रामर को प्रोग्राम को सरणियों पर संचालन के रूप में लागू करने की उम्मीद है। ऐसी भाषा में, यदि आप एक लाख तत्वों में दो वैक्टर जोड़ते हैं, तो यह मायने नहीं रखता है कि भाषा की व्याख्या की गई है, इसके अलावा एक सुपरप्टिमाइज्ड बाइनरी फ़ंक्शन द्वारा किया जाएगा। चूंकि क्यू कार्यक्रमों में समय का शेर हिस्सा इन बुनियादी सदिश कार्यों का उपयोग करते हुए तालिकाओं के साथ संचालन पर खर्च होता है, इसलिए हमारे पास आउटपुट की बहुत अच्छी गति है जो हमें एक प्रक्रिया में भी बड़ी मात्रा में डेटा संसाधित करने की अनुमति देती है। यह अजगर में गणित पुस्तकालयों के समान है - हालांकि अजगर अपने आप में एक बहुत ही धीमी भाषा है, इसमें कई उत्कृष्ट खस्ता पुस्तकालय हैं जो आपको एक संकलित भाषा की गति पर संख्यात्मक डेटा को संसाधित करने की अनुमति देते हैं (जिस तरह से, खतना वैचारिक रूप से क्यू के करीब है)।

इसके अलावा, केएक्स ने बहुत सावधानी से तालिकाओं के डिजाइन और उनके साथ काम का अनुकूलन किया। सबसे पहले, कई प्रकार के अनुक्रमित का समर्थन किया जाता है, जो अंतर्निहित कार्यों द्वारा समर्थित होते हैं और न केवल तालिका स्तंभों पर लागू किए जा सकते हैं, बल्कि किसी भी वैक्टर - समूहन, सॉर्टिंग, विशिष्टता विशेषता, और ऐतिहासिक डेटाबेस के लिए विशेष समूहन भी। सूचकांक को तत्व के रूप में सुपरिम्पोज किया जाता है और कॉलम / वेक्टर में तत्वों को जोड़ते समय स्वचालित रूप से समायोजित किया जाता है। अनुक्रमणिका मेमोरी और डिस्क दोनों में समान रूप से टेबल कॉलम को समान रूप से ओवरलैप कर सकती है। QSQL क्वेरी निष्पादित करते समय, यदि संभव हो, तो अनुक्रमणिका स्वचालित रूप से उपयोग की जाती है। दूसरे, ऐतिहासिक डेटा के साथ काम ओएस फाइल मैपिंग तंत्र (मेमोरी मैप) के माध्यम से किया जाता है। बड़े तालिकाओं को कभी भी मेमोरी में लोड नहीं किया जाता है, इसके बजाय, आवश्यक कॉलम को सीधे मेमोरी में मैप किया जाता है और केवल उनका ही हिस्सा वास्तव में लोड होता है (इंडेक्स यहां, साथ ही मदद करते हैं)। प्रोग्रामर के लिए कोई अंतर नहीं है कि डेटा मेमोरी में है या नहीं, एमएमएपी के साथ काम करने का तंत्र पूरी तरह से क्यू के आंतों में छिपा हुआ है।

केडीबी + एक संबंधपरक डेटाबेस नहीं है, टेबल में मनमाना डेटा हो सकता है, जबकि नए तत्वों को जोड़ने पर तालिका में पंक्तियों का क्रम नहीं बदलता है और प्रश्न लिखते समय इसका उपयोग किया जाना चाहिए। समय श्रृंखला के साथ काम करने के लिए इस सुविधा की तत्काल आवश्यकता है (डेटा एक्सचेंजों, टेलीमेट्री, इवेंट लॉग्स से डेटा), क्योंकि यदि डेटा समय के अनुसार सॉर्ट किया जाता है, तो उपयोगकर्ता को तालिका में पहली या अंतिम पंक्ति या एन पंक्तियों को खोजने के लिए किसी SQL ट्रिक का उपयोग करने की आवश्यकता नहीं है। , निर्धारित करें कि कौन सी लाइन Nth लाइन का अनुसरण करती है, आदि। तालिकाओं के जोड़ और भी सरल हो जाते हैं, उदाहरण के लिए, 16,000 लेनदेन VOD.L (वोडाफोन) की खोज में 500 मिलियन तत्वों की तालिका में अंतिम उद्धरण डिस्क पर एक सेकंड और स्मृति में एक दर्जन मिलीसेकंड लेता है।

टाइम ज्वाइन का एक उदाहरण है क्वोट टेबल को मेमोरी में मैप किया जाता है, इसलिए VOD.L को निर्दिष्ट करने की आवश्यकता नहीं होती है, जहाँ, सिम्बल कॉलम पर इंडेक्स का उपयोग किया जाता है और यह तथ्य कि डेटा समय के अनुसार हल हो जाता है। क्यू में लगभग सभी जॉइन सामान्य कार्य हैं, चयनित स्टेटमेंट का हिस्सा नहीं:

 1. aj[`sym`time;select from trade where date=2019.03.26, sym=`VOD.L;select from quote where date=2019.03.26] 

अंत में, यह ध्यान देने योग्य है कि KX में इंजीनियर, आर्थर व्हिटनी के साथ खुद को शुरू करते हैं, वास्तव में दक्षता से ग्रस्त हैं और मानक Q फ़ंक्शन से सबसे अधिक लाभ उठाने और सबसे सामान्य उपयोग पैटर्न का अनुकूलन करने के लिए हर संभव प्रयास कर रहे हैं।

परिणाम

KDB + मुख्य रूप से अपनी असाधारण बहुमुखी प्रतिभा के कारण व्यवसायों के बीच लोकप्रिय है - यह इन-मेमोरी बेस के रूप में समान रूप से और ऐतिहासिक डेटा के टेराबाइट्स के भंडारण के लिए एक आधार के रूप में और डेटा विश्लेषण के लिए एक मंच के रूप में समान रूप से कार्य करता है। इस तथ्य के कारण कि डेटा प्रोसेसिंग सीधे डेटाबेस में होती है, ऑपरेशन और संसाधन बचत की एक उच्च गति प्राप्त की जाती है। डेटाबेस फ़ंक्शन के साथ एकीकृत एक पूर्ण-विकसित प्रोग्रामिंग भाषा, आपको एक ही मंच पर आवश्यक प्रक्रियाओं के पूरे ढेर को लागू करने की अनुमति देती है - डेटा प्राप्त करने से लेकर उपयोगकर्ता अनुरोधों तक।

अतिरिक्त जानकारी

कमियों

केडीबी + / क्यू का एक महत्वपूर्ण दोष इसकी उच्च प्रविष्टि सीमा है। भाषा में एक अजीब वाक्यविन्यास है, कुछ फ़ंक्शन बहुत अधिक अधिभार हैं (मूल्य, उदाहरण के लिए, लगभग 11 उपयोग के मामले हैं)। सबसे महत्वपूर्ण बात, इसे लिखने के कार्यक्रमों के लिए एक अलग दृष्टिकोण की आवश्यकता है। एक वेक्टर भाषा में, आपको हर समय सरणी परिवर्तनों के संदर्भ में सोचने की जरूरत है, नक्शे के कई विकल्पों / कम करने वाले कार्यों (क्यू में कहावत कहा जाता है) के माध्यम से सभी चक्रों को लागू करें, कभी भी परमाणु वाले लोगों के साथ वेक्टर संचालन को बदलकर पैसे बचाने की कोशिश न करें। उदाहरण के लिए, किसी सरणी में किसी तत्व की Nth घटना का सूचकांक खोजने के लिए, लिखें:

 1. (where element=vector)[N] 

यद्यपि यह सी / जावा मानकों द्वारा बहुत ही अयोग्य दिखता है (= एक बूलियन वेक्टर बनाता है, जहां इसमें सच्चे तत्वों के सूचकांक लौटाता है)। लेकिन इस तरह के रिकॉर्ड से अभिव्यक्ति का अर्थ और अधिक समझ में आता है और आप धीमे परमाणु के बजाय तेज वेक्टर ऑपरेशन का उपयोग करते हैं। वेक्टर भाषा और बाकी के बीच वैचारिक अंतर प्रोग्रामिंग के लिए अनिवार्य और कार्यात्मक दृष्टिकोणों के बीच अंतर के बराबर है, और आपको इसके लिए तैयार रहने की आवश्यकता है।

कुछ उपयोगकर्ता QSQL से भी नाखुश हैं। तथ्य यह है कि यह केवल वास्तविक एसक्यूएल जैसा दिखता है। वास्तव में, यह एसक्यूएल जैसी अभिव्यक्तियों का एक दुभाषिया है जो क्वेरी अनुकूलन का समर्थन नहीं करता है। उपयोगकर्ता को स्वयं को इष्टतम क्वेरी और क्यू पर लिखना होगा, जिसके लिए कई तैयार नहीं हैं। दूसरी ओर, निश्चित रूप से, आप हमेशा अपनी खुद की इष्टतम क्वेरी लिख सकते हैं, और एक ब्लैक बॉक्स-ऑप्टिमाइज़र पर भरोसा नहीं कर सकते हैं।

प्लस के रूप में, क्यू - क्यू फॉर मॉर्टल्स पर एक पुस्तक कंपनी की वेबसाइट पर मुफ्त में उपलब्ध है, और कई अन्य उपयोगी सामग्रियां भी हैं।

एक और बड़ा ऋण लाइसेंस की लागत है। यह एक CPU के लिए प्रति वर्ष हजारों डॉलर है। केवल बड़ी फर्में ही इस तरह का खर्च वहन कर सकती हैं। हाल ही में, KX ने लाइसेंसिंग नीति को और अधिक लचीला बना दिया है और केवल Google और अमेज़न बादलों में KDB + के उपयोग या किराए के लिए भुगतान करने की क्षमता प्रदान करता है। केएक्स गैर-वाणिज्यिक उद्देश्यों (अनुरोध पर 32-बिट संस्करण या 64-बिट) के लिए एक मुफ्त संस्करण डाउनलोड करने की भी पेशकश करता है।

प्रतियोगियों

समान सिद्धांतों पर निर्मित काफी विशिष्ट डेटाबेस हैं - स्तंभ, इन-मेमोरी, बहुत बड़ी मात्रा में डेटा पर केंद्रित है। समस्या यह है कि ये विशेष डेटाबेस हैं। एक प्रमुख उदाहरण Clickhouse है। इस डेटाबेस में डिस्क पर डेटा को संग्रहीत करने और सूचकांक के निर्माण के KDB + सिद्धांत के समान है, यह KDB + की तुलना में तेज़ी से कुछ प्रश्न करता है, हालांकि उल्लेखनीय रूप से नहीं। लेकिन यहां तक ​​कि Clickhouse डेटाबेस KDB + - वेब एनालिटिक्स बनाम आर्बिटर्ड टाइम सीरीज़ की तुलना में अधिक विशिष्ट है (यह अंतर बहुत महत्वपूर्ण है - क्योंकि, उदाहरण के लिए, Clickhouse में रिकॉर्ड ऑर्डर का उपयोग करने का कोई तरीका नहीं है)। लेकिन, सबसे महत्वपूर्ण बात, क्लिकहाउस में केडीबी + की सार्वभौमिकता नहीं है, एक ऐसी भाषा जो आपको डेटाबेस में सीधे डेटा को संसाधित करने की अनुमति देती है, बजाय इसे पहले एक अलग एप्लिकेशन में लोड किए, मनमाने ढंग से एसक्यूएल अभिव्यक्तियों का निर्माण करने, एक क्वेरी में मनमाने कार्यों का उपयोग करने, ऐतिहासिक आधार के कार्यों के निष्पादन से संबंधित प्रक्रिया नहीं बनाने की। । इसलिए, अन्य डेटाबेस के साथ KDB + की तुलना करना मुश्किल है, वे अलग-अलग उपयोग के मामलों में बेहतर हो सकते हैं या बस बेहतर अगर हम क्लासिक डेटाबेस के कार्यों के बारे में बात कर रहे हैं, लेकिन मैं अस्थायी डेटा को संसाधित करने के लिए एक और समान रूप से प्रभावी और सार्वभौमिक उपकरण नहीं जानता।

पायथन एकीकरण

KDB + को लोगों के लिए नई तकनीक के लिए आसान बनाने के लिए, KX ने एकल प्रक्रिया में अजगर के साथ घनिष्ठ एकीकरण के लिए पुस्तकालय बनाए हैं। आप या तो क्यू से किसी भी पायथन फ़ंक्शन को कॉल कर सकते हैं, या इसके विपरीत - पायथन (विशेष रूप से QSQL) से किसी भी क्यू फ़ंक्शन को कॉल कर सकते हैं। लाइब्रेरी एक भाषा के प्रारूप से दूसरे के प्रारूप के लिए आवश्यक होने पर (दक्षता के लिए हमेशा नहीं) डेटा परिवर्तित करती हैं। नतीजतन, क्यू और पायथन ऐसे घनिष्ठ सहजीवन में रहते हैं कि उनके बीच की सीमाएं मिट जाती हैं। नतीजतन, एक प्रोग्रामर, एक तरफ, कई उपयोगी पायथन पुस्तकालयों तक पूरी पहुंच है, दूसरी ओर, उसे पायथन में एकीकृत बड़े डेटा के साथ काम करने का एक तेज़ आधार मिलता है, जो विशेष रूप से मशीन सीखने या मॉडलिंग में शामिल लोगों के लिए उपयोगी है।

पायथन में क्यू के साथ काम करना:

 1. >>> q() 2.q)trade:([]date:();sym:();qty:()) 3. q)\ 4. >>> q.insert('trade', (date(2006,10,6), 'IBM', 200)) 5. k(',0') 6. >>> q.insert('trade', (date(2006,10,6), 'MSFT', 100)) 7. k(',1') 

संदर्भ

कंपनी की वेबसाइट - https://kx.com/
डेवलपर्स के लिए वेबसाइट - https://code.kx.com/v2/
क्यू फॉर मोर्टल्स बुक (अंग्रेजी में) - https://code.kx.com/q4m3/
KDB कर्मचारियों के KDB + / Q अनुप्रयोगों के विषय पर लेख - https://code.kx.com/v2/wp/