QVD फ़ाइल की संरचना पर पहले लेख में , मैंने पर्याप्त रूप से मेटाडेटा पर सामान्य संरचना और आवास का वर्णन किया। इस लेख में, मैं कॉलम के बारे में जानकारी संग्रहीत करने के लिए प्रारूप का वर्णन करूंगा, और इस डेटा की व्याख्या करने में अपने अनुभव को साझा करूंगा।

तो (याद रखें) एक QVD फ़ाइल एक संबंधपरक तालिका से मेल खाती है, जो, जैसा कि आप जानते हैं, इसमें पंक्तियाँ होती हैं। तालिका की प्रत्येक पंक्ति, बदले में, स्तंभों (या फ़ील्ड्स) से युक्त होती है, और पंक्तियों में एक ही संरचना होती है, जिसका वर्णन किया जा सकता है, उदाहरण के लिए, SQL ऑपरेटर (तालिका बनाएँ)।

QVD फ़ाइल में, एक तालिका को दो अप्रत्यक्ष रूप से संबंधित भागों के रूप में संग्रहीत किया जाता है:

चरित्र तालिका (मेरा शब्द) में स्रोत तालिका में प्रत्येक स्तंभ के लिए अनन्य मान हैं। यह उनके बारे में है कि हम नीचे चर्चा करेंगे।

पंक्ति तालिका में स्रोत तालिका की पंक्तियाँ होती हैं, प्रत्येक पंक्ति संबंधित प्रतीक तालिका में पंक्ति के स्तंभ (फ़ील्ड) मानों के सूचकांकों को संग्रहीत करती है। मैं इस श्रृंखला के तीसरे भाग में पंक्ति तालिका पर अधिक विस्तार से चर्चा करूंगा।

हमारी प्लेट के उदाहरण पर (याद रखें - पहले भाग से)

SET NULLINTERPRET =<sym>; tab1: LOAD * INLINE [ ID, NAME 123.12,"Pete" 124,12/31/2018 -2,"Vasya" 1,"John" <sym>,"None" ]; 

इस प्लेट में:

• 5 लाइनों
• "आईडी" फ़ील्ड में 4 अद्वितीय मान हैं (NULL को मान नहीं माना जाता है, तीसरे भाग में इसके बारे में अधिक विस्तार से)
• फ़ील्ड "NAME" में 5 अद्वितीय मान हैं
• पंक्ति तालिका में पहली पंक्ति में क्रमश: 123.12 और "पीट" के अनुरूप सूचकांक 0 और 0 शामिल होंगे

विशेष अवसर

एक नियम के रूप में, क्यूवीडी फ़ाइल में सभी टेबल फ़ील्ड के लिए प्रतीक टेबल बनाए जाते हैं। लेकिन बारीकियां हैं।

यदि फ़ील्ड का एक मान है, तो यह मान आमतौर पर प्रतीक तालिका में संग्रहीत किया जाता है (इस मामले में, प्रतीक तालिका में एक रिकॉर्ड होगा)। और पंक्तियों की तालिका में फ़ील्ड अनुपस्थित होगी (इसलिए यह स्पष्ट है कि इस फ़ील्ड का मान प्रत्येक पंक्ति में क्या होना चाहिए ...)

यदि फ़ील्ड में कोई मान नहीं है (हमेशा NULL होता है), तो उस पर कोई प्रतीक तालिका नहीं बनाई गई है।

इन विशेष मामलों को तीसरे भाग में वर्णित किया जाएगा, जब हम लाइनों और एल्गोरिथ्म को उनके मनोरंजन के लिए प्राप्त करते हैं।

किसी फ़ाइल में वर्ण तालिकाएँ संग्रहीत करना

प्रत्येक प्रतीक तालिका एक QVD फ़ाइल में एक बाइनरी ब्लॉक के रूप में संग्रहीत की जाती है, इसकी ऑफसेट (बाइनरी ब्लॉक की शुरुआत के सापेक्ष) इस क्षेत्र के मेटाडेटा अनुभाग के ऑफसेट क्षेत्र में निहित है, लंबाई (बाइट्स में) मेटाडेटा के लंबाई क्षेत्र में है।

इस प्रकार, पहली वर्ण तालिका में हमेशा 0 की भरपाई होगी।

प्रतीक टेबल एक के बाद एक का पालन करते हैं और किसी भी तरह से एक दूसरे से अलग नहीं होते हैं।

चरित्र तालिका संरचना

प्रतीक तालिका में फ़ील्ड मान होते हैं जो विभाजक के बिना एक दूसरे का अनुसरण करते हैं, प्रत्येक मान निम्नानुसार दर्शाया जाता है:

• एक बाइट क्षेत्र के प्रकार को कूटबद्ध करता है (मैं नीचे वर्णन करूंगा)
• फिर वैकल्पिक बाइनरी वैल्यू आता है (क्षेत्र के प्रकार पर निर्भर करता है)
• वैकल्पिक स्ट्रिंग मान के बाद (क्षेत्र के प्रकार पर निर्भर करता है)

स्ट्रिंग्स को "जैसा है" (मेटाडेटा में निर्दिष्ट एन्कोडिंग में) संग्रहीत किया जाता है, स्ट्रिंग एक शून्य बाइट के साथ समाप्त होती है। स्ट्रिंग में शून्य लंबाई हो सकती है, अर्थात्। केवल शून्य बाइट से मिलकर।

द्विआधारी मूल्यों को आर्किटेक्चर के नियमों के अनुसार संग्रहीत किया जाता है जहां क्यूवीडी फ़ाइल उत्पन्न हुई थी (मेरे अनुभव से, आप बस उन्हें बाइनरी मानों के साथ एक आँख से "एंडियन" के रूप में पढ़ सकते हैं)।

फ़ील्ड प्रकार

QVD डेटा प्रकार की पूरी विविधता तीन बुनियादी के साथ लाया

• (1) पूर्णांक (4 बाइट्स)
• (2) फ्लोटिंग पॉइंट (8 बाइट्स)
• (४) शून्य के साथ समाप्त होने वाली रेखा

संयुक्त प्रकार भी हैं

• (5) एक पूर्णांक इसके स्ट्रिंग प्रतिनिधित्व के बाद (4 बाइट्स प्लस एक स्ट्रिंग के साथ एक शून्य बाइट)
• (6) एक फ्लोटिंग-पॉइंट नंबर जिसके बाद उसका स्ट्रिंग प्रतिनिधित्व (8 बाइट्स प्लस एक स्ट्रिंग विथ जीरो बाइट)

कोष्ठक में मैंने "प्रकार" (प्रतीक तालिका में क्षेत्र मान का पहला बाइट) के संख्यात्मक मान दिए हैं।

एक जिज्ञासु मन पूछेगा, "तीन कहाँ है?" यह मेरे लिए नहीं है, मेरे पास कई सवाल भी हैं, यहां टिप्पणियों से, जैसा कि खबेंस्की के नायक ने प्रसिद्ध फिल्म "मैं मना करूंगा ..." में कहा।

सामान्य तौर पर, यह सब, यह मुश्किल नहीं है - सही है?

दो नहीं बहुत व्यावहारिक व्यावहारिक टिप्पणियों

एक और एक ही क्षेत्र में प्रतीक तालिका (पूर्णांक, फ्लोटिंग और स्ट्रिंग्स) में विभिन्न प्रकार के मूल्य हो सकते हैं। मैं खुद इस पर विश्वास नहीं करता था जब तक कि मैंने प्रयोगों की एक श्रृंखला आयोजित नहीं की ... केवल एक चीज जो "गारंटी" हो सकती है (पहले भाग से चेतावनी के साथ - कुछ भी गारंटी नहीं दी जा सकती है) - "संख्या" और "स्ट्रिंग के साथ संख्या" का कोई मिश्रण नहीं हो सकता है (या तो एक या दूसरे के साथ) )। यह महत्वपूर्ण है, एक पूछताछ दिमाग :-) समझ जाएगा।

गैर-संख्यात्मक फ़ील्ड (ऊपर संकेतन में टाइप 1 और 2 नहीं) के मूल्यों को एक पंक्ति में पढ़ा जाना चाहिए - यह फ़ील्ड नंबर एन पर खुद को स्थिति में लाना असंभव है ... यह समझ में आता है, लेकिन अक्षम (प्रसंस्करण के संदर्भ में) है।

ऊपर हमारे लेबल पर फिर से विचार करें, आईडी फ़ील्ड के वर्णों की तालिका इस तरह दिखाई देगी (मैं बाइट / चरित्र लिखता हूं):

• संख्या 6 (प्रकार) + 8 बाइट्स (अस्थायी मान 123.12) + 7 बाइट्स (स्ट्रिंग "123.12" शून्य बाइट के साथ)
• संख्या 5 (प्रकार) + 4 बाइट्स (पूर्णांक मूल्य 124) + 4 बाइट्स (स्ट्रिंग "124" जीरो बाइट के साथ)
• संख्या 5 (प्रकार) + 4 बाइट्स (पूर्णांक -2) + 3 बाइट्स (स्ट्रिंग "-2" शून्य बाइट के साथ)
• संख्या 5 (प्रकार) + 4 बाइट्स (पूर्णांक 1) + 2 बाइट्स (स्ट्रिंग "1" शून्य बाइट के साथ)

कुल 40 बाइट्स (पिछला हिस्सा देखें - मेटाडेटा, आईडी फ़ील्ड के लिए लंबाई विशेषता का मूल्य)।

अभ्यास से

व्यावहारिक कार्य (एक), जैसा कि मैंने पहले ही लिखा था, मेरे लिए QVD फ़ाइल का उपयोग करके तालिका को फिर से बनाना था। ऊपर से यह निम्नानुसार है (कम से कम - इसका पालन करना चाहिए, मैंने कोशिश की :-)) कि कॉलम (मेटाडेटा प्लस डेटा) के विवरण से यह स्पष्ट रूप से फ़ील्ड के प्रकार को निर्धारित करना असंभव है (एक, उदाहरण के लिए, "तालिका ..." में लिखें) ।

जैसा कि मैंने पहले भाग में उल्लेख किया है - 90% क्षेत्रों में मेटाडेटा में UNKNOWN प्रकार है, टैग भी आपको विशिष्ट प्रकार का फ़ील्ड सेट करने की अनुमति नहीं देते हैं (मैं विवरण के साथ पाठक को लोड नहीं करूँगा - मेरा विश्वास करो ...)

कैसे हो?

अपने काम में, मैं सांख्यिकीय पथ पर चला गया - मैं स्तंभ मानों का एक निश्चित प्रतिशत का विश्लेषण करता हूं और, परिणामों के आधार पर, एक निष्कर्ष निकालता हूं - इसे किस प्रकार असाइन करना है। सटीकता काफी संतोषजनक है, परेशानी यह है कि आपको (सामान्य मामले में) सभी डेटा का विश्लेषण करने की आवश्यकता है ... मेरे व्यवहार में, मैंने खुद को पहले 5-10% क्षेत्र मूल्यों तक सीमित कर लिया।

यदि हम डेटा प्रकारों के बारे में समाप्त करते हैं, तो एक पूछताछ करने वाला दिमाग एक उचित प्रश्न पूछेगा - उल्लेखित "बनाएँ तालिका" का अर्थ है बहुत अधिक डेटा डेटा ...

मैं यह कहूंगा: संसाधित फ़ाइलों में ऊपर सूचीबद्ध लोगों के अलावा कोई डेटा प्रकार नहीं मिला। फाइलें वास्तविक डेटाबेस के बहुत वास्तविक तालिकाओं के अनुरूप थीं और इसमें डेटा प्रकारों के पूरे स्पेक्ट्रम शामिल थे (उदाहरण के लिए, मैं भी ब्लब्स हो गया ... वे क्यूवीडी में क्यों हैं ??? टिप्पणियाँ लिखना बेहतर होगा)।

संभवतः, डेटा प्रकारों के साथ चित्र को पूरा करने के लिए, आपको तिथियों और टाइमस्टैम्प्स के बारे में समझाने की आवश्यकता है (अन्य प्रकार लंबाई की बात है)।

तिथियों को QVD में पूर्णांक के रूप में प्रस्तुत किया जाता है - युग की शुरुआत से दिनों की संख्या (युग पर क्लिक करें)। QlikView / QlikSense विशेषज्ञ आपको आसानी से बताएंगे कि यह कब शुरू हुआ (हालांकि यह 30 दिसंबर, 1899 था, यह मत पूछो क्यों)।

QVD में टाइमस्टैम्प्स को एक फ्लोटिंग-पॉइंट संख्या द्वारा दर्शाया गया है जिसमें ऊपर वर्णित तारीख है, और आंशिक भाग में समय (जहाँ .0 समय से संबंधित है "00:00:00" और .999999 समय से मेल खाती है "23:59:59 - देखें) अधिक विस्तार से, उदाहरण के लिए, यहाँ )।

मैंने अभी तक इस दिशा में गहरी खाई नहीं बनाई है - क्यूवीडी से पुनर्निर्मित मेरी तालिकाओं में "तिथि" और "डेटाइम" जैसे क्षेत्रों के लिए पूर्णांक और फ्लोटिंग प्रकार हैं। वैकल्पिक रूप से, आप स्ट्रिंग प्रतिनिधित्व का उपयोग कर सकते हैं - इस प्रकार के क्षेत्रों के लिए एक संयुक्त प्रतिनिधित्व हमेशा उपयोग किया जाता है (प्रकार 5 और 6)।

अंतिम (अभ्यास के बारे में) - बड़ी फ़ाइलों को पढ़ते समय, स्ट्रिंग फ़ील्ड के लिए अनुक्रमणिका बनाना तर्कसंगत है, जो मैंने किया था। यह उन मामलों में प्रसंस्करण समय को काफी कम कर देता है जहां प्रतीक तालिका का आकार पंक्तियों की संख्या से बहुत कम है (यानी, मूल तालिका के क्षेत्र में एक से अधिक बार एक मूल्य होता है)।

संक्षेप में देना

इस लेख में, हमने फ़ील्ड (कॉलम) के अनन्य मानों के संग्रहण की जांच की, देखा कि कॉलम अद्वितीय मानों के अनुक्रम के रूप में संग्रहीत हैं, यह महसूस किया कि डेटा प्रकार मिश्रित हैं और केवल तीन प्रकार (पूर्णांक, फ्लोटिंग और पंक्ति) हैं।

अगला, हमें यह जानने की जरूरत है कि तार कैसे संग्रहीत किए जाते हैं - क्यूवीडी संरचना के बारे में लेखों की श्रृंखला का तीसरा और अंतिम भाग इसके लिए समर्पित होगा।