QVD फाइलें - अंदर क्या है

QlikView और उनके छोटे भाई QlikSense अद्भुत BI उपकरण हैं जो हमारे देश और विदेश में काफी लोकप्रिय हैं। बहुत बार, ये सिस्टम अपने काम के "मध्यवर्ती" परिणामों को सहेजते हैं - डेटा जो उनके "डैशबोर्ड" की कल्पना करते हैं - तथाकथित "क्यूवीडी फ़ाइलों" में। अक्सर QVD फ़ाइलों का उपयोग Qlik के आधार पर निर्मित बहु-चरण ETL प्रक्रियाओं में मुख्य भंडारण के रूप में किया जाता है। और फिर कुछ (उदाहरण के लिए, मैं - मैं कंपनी में डेटा इंजीनियरिंग से निपटता हूं) का एक सवाल है - क्या यह संभव है और QlikView / QlikSense के बिना इस डेटा का उपयोग कैसे करें? या कोई और - और क्या है और क्या यह सही है कि इसे गिना गया था?

QVD एक फ़ाइल स्वरूप है, जो QlikView / QlikSense के लिए अनुकूलित है (इस प्रारूप की फाइलों के लिए इन एप्लिकेशन द्वारा जानकारी लिखने से पढ़ने से किसी भी अन्य प्रारूप की फ़ाइलों की तुलना में बहुत तेज है)। इस फ़ाइल की संरचना अविभाजित है और एक "स्वामित्व की चमक" के साथ कवर किया गया है, व्यावहारिक रूप से कोई अनुप्रयोग नहीं हैं जो ऐसी फ़ाइलों के साथ काम कर सकते हैं (पढ़ें और इससे भी अधिक लिखें)। लेखों की इस श्रृंखला में मैं अपने अनुभव और प्राप्त किए गए व्यावहारिक ज्ञान को साझा करूंगा: मुझे पता है कि QVD कैसे काम करता है, मैं इसे सीधे और तेज़ी से पढ़ और लिख सकता हूं।

इस जानकारी में कौन रुचि रखेगा: सबसे पहले, जो लोग QlikView / QlikSense के साथ काम करते हैं, साथ ही साथ जो लोग (मेरे जैसे) QVD फ़ाइलों में संग्रहीत डेटा का उपयोग करना चाहते हैं। और, ज़ाहिर है, हर किसी के लिए जिज्ञासु।

इस श्रृंखला में लिखी गई हर चीज मेरे व्यक्तिगत अनुभव पर आधारित है, जो निश्चित रूप से एक "प्रलेखन" या एक "गारंटी" नहीं है (कि आपकी फाइलें बिल्कुल वैसी ही होंगी जैसा मैंने बताया था। या कि यह हमेशा के लिए होगी। )। मैं यह भी गारंटी नहीं दे सकता कि मैंने सभी मामलों का पता लगा लिया है - निश्चित रूप से ऐसी फाइलें हो सकती हैं जिनमें कुछ ऐसा होगा जो मेरे द्वारा वर्णित नहीं है (यदि केवल इसलिए कि मैं ऐसे विकल्पों में नहीं आया था)। हालाँकि, मुझे ध्यान देना चाहिए कि QlikView / QlikSense के विभिन्न संस्करणों का उपयोग करके विभिन्न प्रणालियों के विभिन्न लोगों द्वारा बनाई गई फ़ाइलों के एक बड़े (कई सौ) सेट पर जानकारी की जाँच की जाती है।

और मैंने इसे कैसे किया इसके बारे में थोड़ा: मैंने एक सरल शुरुआत की - क्यूवीडी में एक छोटा सा इनलाइन उदाहरण। आगे - बाइनरी फ़ाइल का विश्लेषण, मस्तिष्क के प्रयास, परीक्षण और त्रुटियां। आगे देखते हुए (मैं श्रृंखला के समापन में इसके बारे में और अधिक विस्तार से बात करूंगा), मैं मध्यम आकार के क्यूवीडी फाइलों (सैकड़ों गीगाबाइट्स) को काफी कुशलता से पढ़ने और लिखने में कामयाब रहा। क्यूवीडी दुनिया में मेरी यात्रा का शुरुआती बिंदु यह गिटहब था, लेखक के लिए बहुत धन्यवाद (उससे संपर्क करने की कोशिश की - कोई जवाब नहीं देता)।

मेरा लक्ष्य क्या था (जिज्ञासा के अलावा और डेटा QlikView / QlikSense के साथ काम करने की शुद्धता को सत्यापित करने की इच्छा), मुझे QVD फ़ाइल की सामग्री को पढ़ने की आवश्यकता थी, अर्थात्। इसके आधार पर एक संबंधपरक तालिका को पुन: बनाएँ। इसके विपरीत, संबंध तालिका डेटा को QVD पर अपलोड करें ताकि QlikView इसे सही तरीके से लोड कर सके।

मैं लेखों की इस श्रृंखला को कैसे देखता हूं

• परिचय, फ़ाइल संरचना, मेटाडेटा (यह लेख)
• स्तंभ जानकारी का संग्रहण
• लाइन सूचना, उपलब्धियों, योजनाओं को संग्रहीत करना

फ़ाइल संरचना

QVD फाइल को QlikView / QlikSense स्क्रिप्ट द्वारा एप्लिकेशन मेमोरी में डेटा लोड करने की प्रक्रिया में (STORE कमांड का परिणाम) बनाया जाता है और एक (संबंधपरक) QlikView / QlikSense तालिका से मेल खाती है। इसमें दो भाग होते हैं

• शाब्दिक (मेटाडेटा) और
• बाइनरी (कॉलम और पंक्तियाँ)

मेटाडेटा को XML के रूप में प्रस्तुत किया गया है (उदाहरण नीचे दिया जाएगा), बाइनरी हिस्सा पाठ के तुरंत बाद शुरू होता है और इसमें दो ब्लॉक होते हैं

• सभी स्तंभों के अद्वितीय मान (स्रोत तालिका)
• पंक्तियाँ (स्रोत तालिका) जो अद्वितीय स्तंभ मानों का संदर्भ देती हैं

इस प्रकार, N कॉलम की तालिका के लिए, फ़ाइल में N + 1 बाइनरी ब्लॉक होंगे। फ़ाइल के सभी भाग "कसकर सरेस से जोड़ा हुआ" हैं और एक के बाद एक बिना किसी भराव और "शैंक" के चलते हैं।

मेटाडेटा (XML)

QVD फ़ाइल में बहुत अधिक मेटाडेटा है - "डेटा के बारे में डेटा"। यह लगभग आत्मनिर्भर है, अपने लिए जज करें, यहां मेटाडेटा में क्या है इसकी एक छोटी सूची है (मैं उन्हें नीचे और अधिक विस्तार से वर्णन करूंगा):

• सॉफ्टवेयर का संस्करण जो फ़ाइल उत्पन्न करता है
• फ़ाइल निर्माण तिथि और समय
• QlikView / QlikSense फ़ाइल, जिसकी स्क्रिप्ट ने फ़ाइल के निर्माण का नेतृत्व किया
• स्क्रिप्ट स्रोत कोड जो QVD फ़ाइल उत्पन्न करता है
• तालिका का नाम
• स्तंभ जानकारी (नाम, प्रकार, अद्वितीय मानों की मात्रा)
• पंक्ति की गिनती

मेटाडेटा को पाठ रूप में एक फ़ाइल में संग्रहीत किया जाता है और किसी भी प्रोग्राम में देखा जा सकता है जो फ़ाइल को पाठ रूप में प्रदर्शित कर सकता है (अच्छी तरह से, लगभग किसी भी ... बड़ी फ़ाइलों से डरने वाला नहीं)। व्यक्तिगत रूप से, मैं अधिक उपयोग करते हुए मेटा-सूचना को देखता हूं - यह काफी सुविधाजनक है।
निम्नलिखित प्रस्तुति में, मैं परीक्षण तालिका का उपयोग करूंगा (मैं QlikView वाक्यविन्यास का उपयोग करता हूं, लेकिन मुझे लगता है कि अनुमान लगाना आसान होगा):

SET NULLINTERPRET =<sym>; tab1: LOAD * INLINE [ ID, NAME 123.12,"Pete" 124,12/31/2018 -2,"Vasya" 1,"John" <sym>,"None" ]; 

मैं इस प्लेट के लिए मेटाडेटा एक उदाहरण के रूप में दूंगा

 <?xml version="1.0" encoding="UTF-8" standalone="yes"?> <QvdTableHeader> <QvBuildNo>7314</QvBuildNo> <CreatorDoc></CreatorDoc> <CreateUtcTime>2019-04-03 06:24:33</CreateUtcTime> <SourceCreateUtcTime></SourceCreateUtcTime> <SourceFileUtcTime></SourceFileUtcTime> <SourceFileSize>-1</SourceFileSize> <StaleUtcTime></StaleUtcTime> <TableName>tab1</TableName> <Fields> <QvdFieldHeader> <FieldName>ID</FieldName> <BitOffset>0</BitOffset> <BitWidth>3</BitWidth> <Bias>-2</Bias> <NumberFormat> <Type>0</Type> <nDec>0</nDec> <UseThou>0</UseThou> <Fmt></Fmt> <Dec></Dec> <Thou></Thou> </NumberFormat> <NoOfSymbols>4</NoOfSymbols> <Offset>0</Offset> <Length>40</Length> </QvdFieldHeader> <QvdFieldHeader> <FieldName>NAME</FieldName> <BitOffset>3</BitOffset> <BitWidth>5</BitWidth> <Bias>0</Bias> <NumberFormat> <Type>0</Type> <nDec>0</nDec> <UseThou>0</UseThou> <Fmt></Fmt> <Dec></Dec> <Thou></Thou> </NumberFormat> <NoOfSymbols>5</NoOfSymbols> <Offset>40</Offset> <Length>37</Length> </QvdFieldHeader> </Fields> <Compression></Compression> <RecordByteSize>1</RecordByteSize> <NoOfRecords>5</NoOfRecords> <Offset>77</Offset> <Length>5</Length> </QvdTableHeader> 

QVD के साथ मेरा अनुभव बताता है कि XML संरचना फ़ाइल से फ़ाइल में नहीं बदलती है।

मैं सबसे महत्वपूर्ण मेटाडेटा तत्वों पर टिप्पणी करूंगा।

सामान्य जानकारी

QvBuildNo

QVikView / QlikSense एप्लिकेशन की बिल्ड संख्या जिसने QVD फ़ाइल बनाई है।

CreatorDoc

एक नियम के रूप में, इसमें QVW फ़ाइल का नाम है, जिसकी स्क्रिप्ट QVD फ़ाइल जनरेट करती है। यह उदाहरण रिक्त है, संभवतः क्योंकि व्यक्तिगत संस्करण का उपयोग किया गया था।

CreateUtcTime

QVD फ़ाइल निर्माण समय।

SourceCreateUtcTime, SourceFileUtcTime, SourceFileSize, StaleUtcTime

मैंने उन फ़ाइलों को नहीं देखा, जिनमें ये फ़ील्ड भरे जाएँगे - एक पूछताछ दिमाग में: शायद कुछ सेटिंग्स गायब हैं?

TableName

QlikView में तालिका का नाम (ऊपर उदाहरण देखें)।

खेतों के बारे में जानकारी (कॉलम)

वैसे, मेरे लिए "फ़ील्ड" और "कॉलम" शब्द समानार्थक हैं, अगर मैं उन दोनों का उपयोग नहीं करता हूं (मैं ऐसा नहीं करने की कोशिश करूंगा, लेकिन फिर भी ...)।

प्रत्येक क्षेत्र के बारे में जानकारी QVD में संग्रहीत है

FieldName

फ़ील्ड का नाम (फिर से QlikView के संदर्भ में, अर्थात "AS" को ध्यान में रखते हुए)

BitOffset, BitWidth, Bias

अभी के लिए, चलो छोड़ें - यह "डिकोडिंग स्ट्रिंग्स" के लिए सूचना है, हम तीसरे भाग पर विचार करेंगे, जब हम स्ट्रिंग्स से निपटेंगे।

प्रकार, nDec, UseThou, Fmt, Dec, तू

अच्छी तरह से कल्पना की गई है (नामों से पहचानना), लेकिन मेरी लक्ष्य जानकारी प्राप्त करने के दृष्टिकोण से बिल्कुल बेकार है (अधिक जानकारी के लिए, दूसरा भाग देखें, जहां हम स्तंभों के बारे में बात करेंगे)। यह बेकार क्यों है? - टैग "प्रकार" बाइनरी भाग में संग्रहीत डेटा के प्रकार के साथ संबद्ध नहीं है। इससे स्तंभ प्रकार को पुनर्स्थापित करना असंभव है (ऐसा लगता है कि यह आसान हो सकता है, एक प्रकार का टैग है!)। 90% मामलों में, इस टैग का मूल्य स्ट्रिंग UNKNOWN होगा ...

स्तंभों के बारे में मेटाडेटा में अभी भी ऐसा डेटा है (उदाहरण के मेटाडेटा में यह छोटा नहीं होने के कारण स्पष्ट रूप से नहीं है)

 <Comment></Comment> <Tags> <String>$numeric</String> <String>$integer</String> </Tags> 

टिप्पणी को टिप्पणियों की आवश्यकता नहीं है (वैसे, मैंने जिन फाइलों के साथ काम किया है वे 100% खाली हैं ...)।

टैग भी बेकार हैं (तालिका संरचना को बहाल करने के दृष्टिकोण से) जानकारी। लेकिन इससे आप मोटे तौर पर अनुमान लगा सकते हैं कि कॉलम में किस प्रकार की जानकारी संग्रहीत है। मैं दूसरे भाग में अधिक विस्तार से टाइप करने पर स्पर्श करूंगा - जब मैं कॉलम के बारे में बात करूंगा: यह महत्वपूर्ण है। लेकिन जितना मैं चाहूंगा उससे थोड़ा अधिक जटिल।

NoOfSymbols

इस कॉलम से संबंधित बाइनरी हिस्से में प्रविष्टियों की संख्या। जैसा कि हम देखते हैं, हमारे उदाहरण में यह 5. सूचना है जो डिक्रिप्शन के लिए बहुत महत्वपूर्ण है।

ओफ़्सेट

फ़ाइल के बाइनरी भाग की शुरुआत के सापेक्ष बाइट्स में इस कॉलम के डेटा ब्लॉक की ऑफसेट। इसके अलावा बहुत महत्वपूर्ण है।

लंबाई

बाइट्स में इस कॉलम के पूरे डेटा ब्लॉक की लंबाई। ध्यान दें कि स्तंभ तत्व (टेबल सेल) के द्विआधारी प्रतिनिधित्व में आम तौर पर एक चर लंबाई (पंक्ति, उदाहरण के लिए) होती है, इसलिए लंबाई की गणना नहीं की जा सकती है, आप केवल इस टैग (मुस्कान) से ले सकते हैं।

स्ट्रिंग सूचना

दबाव

कभी भी भरा हुआ (उस डेटा में जो मैंने काम किया था)। शायद हम इस विकल्प का उपयोग नहीं कर रहे हैं ...

RecordByteSize

बाइट्स में पंक्ति प्रविष्टि का आकार। सभी स्ट्रिंग्स को बिट इंडेक्स के बाइनरी ब्लॉक में बिट इंडेक्स (तीसरे भाग में इस पर अधिक) के रूप में दर्शाया जाता है, बिट इंडेक्स में समान लंबाई की पंक्तियाँ होती हैं।

NoOfRecords

पंक्तियों की संख्या (बिट इंडेक्स में और स्रोत तालिका में)।

ओफ़्सेट

फ़ाइल के बाइनरी भाग की शुरुआत के सापेक्ष बाइट्स में बिट इंडेक्स (स्ट्रिंग की जानकारी के साथ ब्लॉक) की ऑफसेट।

लंबाई

बाइट्स में बिट इंडेक्स की लंबाई।

तार के बारे में मेटाडेटा में अभी भी ऐसा डेटा है (फिर से - एक छोटा उदाहरण आपको सब कुछ देखने की अनुमति नहीं देता है, लेकिन यह आपको जटिल समझने की अनुमति देता है)

 <Lineage> <LineageInfo> <Discriminator>Provider=OraOLEDB.Oracle.1;Persist Security Info=True;Data Source=XXXX;Extended Properties=&quot;&quot;</Discriminator> <Statement>LinkTable: LOAD SOURCE_NAME &amp; '_' &amp; SOURCE_ID as SYSKEY, HID_PARTY;SQL SELECT * FROM UNITED_VIEW</Statement> </LineageInfo> <LineageInfo> <Discriminator>Provider=OraOLEDB.Oracle.1;Persist Security Info=True;Data Source=XXXX;Extended Properties=&quot;&quot;</Discriminator> <Statement>SQL SELECT * FROM UNITED_VIEW</Statement> </LineageInfo> <LineageInfo> <Discriminator>STORE - \\xxx.ru\mfs\SPECIAL\Qlikview\QVData\LinkTable.qvd (qvd)</Discriminator> <Statement></Statement> </LineageInfo> </Lineage> <Comment></Comment> 

मैं इस बिंदु पर बहुत अधिक नहीं आया, यह बहुत समझ में आता है (मूल चयन जो QlikView में तालिका उत्पन्न करता है), मैंने अभी भी यह पता नहीं लगाया है (कभी-कभी वे दोगुने होते हैं) ... (एक को छोड़कर) 100% कोई टिप्पणी नहीं (मुस्कान) ।

संक्षेप में देना

• QVD फ़ाइल स्व-सम्‍मिलित है (अर्थात इसका अन्य डेटा से अलगाव में विश्लेषण किया जा सकता है)
• QVD फ़ाइल में पाठ (मेटाडेटा) और बाइनरी (कॉलम और बिट इंडेक्स) भाग होते हैं
• मेटाडेटा स्पष्ट शब्दार्थ के साथ एक्सएमएल है

एक जिज्ञासु पाठक यहाँ पूछने का हकदार है: "अब तक कुछ भी नया नहीं सुना गया है, उपरोक्त सभी को QVD फ़ाइल के XML हेडर में लिया जा सकता है और देखा जा सकता है ... इस बारे में अलग-अलग इंटरनेट पर कई बार पहले ही लिखा जा चुका है, नवीनता क्या है?" यह सही है - पहला भाग लगभग पूरी तरह से मेटाडेटा को समर्पित है। लेकिन यह अंत नहीं है।

आगे क्या - अगले भाग में, हम QVD फ़ाइल के बाइनरी भाग की संरचना के बारे में विस्तार से जाँच करेंगे जिसमें स्तंभों के बारे में जानकारी होगी (तालिका के सभी स्तंभों के अद्वितीय मूल्य)।