यादृच्छिक डेटाबेस। ओरेकल एंटरप्राइज डेटा क्वालिटी - एंटरप्राइज स्टोरेज के लिए शील्ड और स्वॉर्ड

किसी भी व्यक्ति की सोचने की प्रक्रिया का गणित करना मुश्किल है। कोई भी व्यवसाय कार्य औपचारिक और अनौपचारिक दस्तावेजों का एक सेट उत्पन्न करता है, जिसमें से जानकारी कॉर्पोरेट रिपॉजिटरी में परिलक्षित होती है। प्रत्येक कार्य जो किसी भी सूचना प्रक्रिया को उत्पन्न करता है, अपने चारों ओर दस्तावेजों का एक सेट और उनके प्रसंस्करण का तर्क बनाता है, जो कॉर्पोरेट भंडारण वातावरण में बहुत कम औपचारिक है। सूचना प्रवाह को साफ़ करने के लिए डेटा वेयरहाउस के अंदर संरचनाएँ होनी चाहिए। ओरेकल एंटरप्राइज डेटा क्वालिटी उत्पाद, जिसे "गंदे" डेटा को साफ करने के कार्यों को हल करने के लिए डिज़ाइन किया गया है, मदद कर सकता है। लेकिन यह इसके उपयोग तक सीमित नहीं है।

1. एक यादृच्छिक डेटाबेस की अवधारणा।

किसी व्यक्ति के पहले व्यावसायिक कनेक्शन को औपचारिक और अनौपचारिक दस्तावेजों जैसे कि एक बयान, घोषणा, रोजगार अनुबंध, प्लेसमेंट के लिए आवेदन, संसाधन के लिए आवेदन द्वारा वर्णित किया जाता है। ये दस्तावेज़ व्यावसायिक प्रक्रियाओं के बीच तार्किक संबंध बनाते हैं, लेकिन, एक नियम के रूप में, कार्यालय प्रबंधकों की सोच का एक उत्पाद हैं और खराब रूप से औपचारिक हैं।

किसी भी कम से कम कुछ जटिल अनुकूलन का कार्य न केवल औपचारिक और अनौपचारिक नियमों को समझना है, बल्कि, अक्सर, एक सामान्य जानकारी के आधार पर असमान ज्ञान को लाना है।

परिभाषा। एक यादृच्छिक डेटाबेस तथ्यों, दस्तावेजों, मैनुअल नोट्स, औपचारिक दस्तावेजों का एक सेट है जो किसी विशिष्ट व्यवसाय प्रक्रिया के लिए किसी व्यक्ति द्वारा संसाधित किया जाता है, लेकिन मानव कारक के मजबूत प्रभाव के कारण पूरी तरह से स्वचालित रूप से संसाधित नहीं किया जा सकता है।

एक उदाहरण है। सचिव औपचारिक रूप से कॉल प्राप्त करता है। कॉलर किसी उत्पाद या सेवा में रुचि रखता है। कॉल करने वाला CRM के लिए ज्ञात नहीं है। प्रश्न: किसी विशेषज्ञ द्वारा सुने जाने के लिए कॉलर को क्या कहना चाहिए?

अधिक सटीक होना: यदि इस प्रकार की गतिविधि के लिए जिम्मेदार विशेषज्ञ तैयार नहीं है तो सचिव के व्यावसायिक निर्देश व्यवसाय के बारे में औपचारिक बातचीत की अनुमति कैसे देते हैं?

यह पता चला है कि हम फिर से एक यादृच्छिक डेटाबेस की परिभाषा में आते हैं।

हो सकता है कि इसमें सचिव से अधिक तथ्य शामिल हों। लेकिन इसमें प्राप्त जानकारी अतिश्योक्तिपूर्ण नहीं हो सकती। सामान्य तौर पर, जब एक यादृच्छिक डेटाबेस के यादृच्छिक तथ्य एक औपचारिक प्रणाली के इनपुट पर आते हैं, तो सूचना अधिभार के रूप में ऐसी चीज उत्पन्न होती है - और सभी जानकारी अधिभार न केवल सचिव, बल्कि पूरी कंपनी के प्रदर्शन को प्रभावित कर सकते हैं।

यदि इसका उपयोग प्रसंस्करण उद्देश्यों के लिए किया जाता है, तो एक मशीन जो इस जानकारी की स्थिति को पढ़ती है, वह व्यक्ति के विपरीत स्थिति के लिए तार्किक निष्कर्ष के आधार पर आती है - सूचना अधिभार। मानवीय तर्क अधिक लचीला है।

2. वास्तविक कार्यों के लिए परिभाषा का अनुप्रयोग।

एक स्टोर की कल्पना करें जिसमें यादृच्छिक सामानों के लिए मूल्य टैग काफ़ी अधिक या कम हैं। जब आप इस स्टोर को छोड़ देते हैं, तो खरीदारी की सूची वाले अनुभवहीन ग्राहक के सिर में सबसे लोकप्रिय सामान की कीमत 5-7 (या 3 भी) होगी, जिसकी कीमत कुल चेक के आकार को प्रभावित कर सकती है। यह पता चला है कि यदि सामानों की सूची जानना संभव था, तो खरीदारों की कीमत सबसे अधिक बार याद की जाती है, तो बाकी की कीमतें अपेक्षाकृत व्यापक श्रेणी में भिन्न हो सकती हैं।

क्या आपने कभी सोचा है कि क्यों, लेंट से पहले, मांस पहले से सस्ता हो जाता है, और फिर यह तेजी से मूल्य में वृद्धि कर सकता है, और फिर गायब हो सकता है? किसी उत्पाद की कीमत, जिसके लिए मांग शून्य हो सकती है, पहले कृत्रिम रूप से गर्म हो जाती है, फिर, एक निश्चित स्तर की मांग को पारित करना, यह तय होना शुरू हो जाता है, और थोड़ी देर बाद यह जोरदार रूप से बढ़ जाता है, क्योंकि लालच उचित मूल्य पर अनूठे सामान देने की अनुमति नहीं देता है।

डेटा मार्केट में लगभग समान स्थिति मौजूद है। सबसे उपयोगी जानकारी लगभग हमेशा माध्यमिक परिकल्पना द्वारा अपनी प्रयोज्यता और निष्कर्षण के बारे में छिपी होती है।
यह किसी भी जानकारी को बाहर करने के लिए पर्याप्त है जो किसी भी अपेक्षाकृत असुरक्षित संसाधन पर 5000-7000 लोगों के लिए दिलचस्प है, निश्चित रूप से कॉपी-पेस्ट साइटें हैं।

या फोन कोड के साथ प्रसिद्ध खेल "मुझे किसने बुलाया?"। रूनेट में लगभग एक हजार साइटें केवल विभिन्न ऑपरेटरों के फोन नंबरों से मिलकर बनी होती हैं ताकि खोज परिणामों में थोड़ा अधिक हो, किसी तरह डोमेन नाम को बेचने और विज्ञापन को अधिक महंगा बनाने की कोशिश की जा सके।

3. "गंदे" डेटा के साथ काम करते समय मुद्दे की कीमत।

लेख के लेखक के शोध के अनुसार, प्रत्येक परियोजना के 10% श्रम संसाधनों को कुछ डेटा सफाई प्रक्रियाओं को लिखने के लिए डायवर्ट किया जाता है। यदि आप पूरी तरह से सामान्य प्रकार और लंबाई, अर्थात् अद्वितीय पहचानकर्ता, डेटाबेस अखंडता नियम और व्यावसायिक अखंडता नियम, मात्रात्मक और गुणात्मक इकाई तराजू, श्रम इकाई प्रणाली और किसी भी अन्य राज्यों, प्रभावों, बदलावों की तैयारी नहीं करते हैं, जिसकी तैयारी सामान्य सांख्यिकीय की तरह है तार्किक और गंभीर व्यापार विश्लेषण। आवश्यकताओं का औपचारिककरण रिपॉजिटरी बनाने और फ्रंट-एंड पर मुद्दों को हल करने के लिए दोनों के लिए तथ्य-आयाम संबंध को औपचारिक बनाने की आवश्यकता पर आता है।

सहमत हूँ, अगर ईटीएल प्रक्रिया किसी भी भंडारण के काम के समय के 70% पर कब्जा कर लेती है, तो 200,000 ग्राहकों के सशर्त भंडारण पर डेटा की सही सफाई पर 5-7% संसाधनों की बचत पहले से ही एक अच्छा बोनस है?

हम तैयार सिस्टम में "गंदे" डेटा के मुद्दों को थोड़ा कवर करेंगे। मान लीजिए कि आप मेल के माध्यम से 10,000 ग्राहकों को एक राष्ट्रीय अवकाश पर बधाई भेजते हैं। मेलबॉक्स में सर्वश्रेष्ठ पोस्टकार्ड के साथ कितने लोग आपके पत्र को फेंक देंगे, यदि आप नाम, उपनाम, या फ़ॉर्म में गलत तरीके से भरते हैं? आपके प्रयासों की कीमत किसी भी उपयोगकर्ता के मूड को शून्य तक कम कर सकती है!

4. ओरेकल एंटरप्राइज डेटा क्वालिटी - कॉर्पोरेट स्टोरेज की ढाल और तलवार।

स्क्रीनशॉट हम ओरेकल एंटरप्राइज डेटा क्वालिटी की क्षमताओं का वर्णन करते हैं।

तो, अपने डेटाबेस या पाठ दस्तावेज़ पर किसी को पानी छिड़कने दें।


यहां मानक प्रोसेसर (तार्किक इकाइयां) की एक सूची है जो आपको उपयोग करने की अनुमति देती है
एक या अन्य परिकल्पना के डेटा, या आवश्यक के लिए खोज):


रैंडम डेटाबेस प्रोफाइलर कार्रवाई:


वित्तीय शोधन क्षमता का प्राथमिक लेखा-परीक्षण:


ज़िप कोड के साथ काम करें:


डाक पते की सफाई:


उपयोगकर्ता डेटा साफ़ करना:


एक या एक से अधिक विश्वास अंतराल के लिए एक रिकॉर्ड का असाइनमेंट:


अप्रत्यक्ष डेटा से उपयोगकर्ता के लिंग का निर्धारण:


शहर और देश की परिभाषा, राज्य:


यादृच्छिक डेटाबेस में सबसे सरल कुंजी खोज:


उपयोगकर्ता डेटा का समर्पण:


5. ओरेकल ईडीक्यू पर काम के परिणामों पर किए गए मजेदार अवलोकन।

लेखकों और कवियों के योगदान को साहित्य से तुलना करने के सिद्धांतों में से एक उनके काव्य और साहित्यिक शब्दकोशों की तुलना करना है। हम Oracle EDQ, पायथन, जावा के लिए तैयार समाधानों के परीक्षणों के लिए खाली समय में संकलित कई शब्दकोश देते हैं। हम आभारी होंगे यदि टिप्पणियों में विज्ञानी अपने परिणाम पोस्ट करते हैं।

संख्या p.p.	शब्द	घटना की आवृत्ति
		सिंह टॉल्स्टॉय, युद्ध और शांति। आवृत्ति तालिका का टुकड़ा कॉपीराइट शब्दकोश।	मैं ब्रोडस्की, यूरेनिया।	मैं Brodsky पूरा काम करता है, आवृत्ति शब्दकोश का एक टुकड़ा लेखक।	एन नेक्रासोव, पूर्ण संग्रह के लिए आवृत्ति शब्दकोश का एक टुकड़ा काम करता है।
1।	और	10,351	में 1037	में 5745	और 3420
3।	में	5185	और 647	और 4500	में 2108
4।	नहीं	4292	नहीं 391	नहीं 3022	नहीं 1726
5।	कि	3845	पर 341	पर 2239	मैं 1040
6।	वह है	3730	कैसे 329	कैसे 1758	साथ 883
7।	पर	3305	साथ 237	साथ 1674	पर 854
8।	साथ	3030	कि 168	कि 1531	कैसे 763
9।	कैसे	2097	को 148	और 1200	कि 693
10।	मैं	1896	से 147	मैं 1040	वह है 644
11।	उसकी	1882	से 104	को 922	आप 475
12।	को	1771	मैं 90	से 810	लेकिन 472
13।		1600	जहाँ 88	सब 748	और 449
14।	वह है	1564	से 88	पर 744	इतना 383
15।	लेकिन	1234	के लिए 76	आप 721	को 367
16।	यह है	1208	पर 74	713	सब 344
17।	उन्होंने कहा कि	1135	लेकिन 72	के लिए 687	के लिए 313
18।	यह था	1125	या 70	से 635	मेरे लिए 309
19।	इतना	1032	चाहेंगे 69	लेकिन 617	हां 294
20।	राजकुमार	1012	67	वह है 592	उसकी 275
21।	के लिए	985	आप 67	लेकिन 584	232
22।	और	962	के बारे में 66	540	यह था 229
23।	उसे करने के लिए	918	लेकिन 63	के बारे में 538	पर 224
24।	सब	908	वहाँ है 61	यह है 524	नहीं 223
25।	पर	895	मैं हूं 61	मैं हूं 489	या 222
26।	इसके	885		और 463	के बारे में 213
27।	से	845		जहाँ 449	उनके 212
28।				से 443	से 209
29।				एक 428	से 207
30।				समान 422	हम हैं 206

निष्कर्ष: व्यक्तिगत शब्दों की आवृत्ति के मामले में पिछले सौ वर्षों में रूसी भाषा के आँकड़े बहुत बदल नहीं गए हैं, कवियों के बीच - शब्द अधिक "मधुर" हैं। वैसे, डारिया डोनट्सोवा के आंकड़े बड़े पैमाने पर लियो टॉल्स्टॉय के साथ पूर्ण कार्यों की आवृत्ति शब्दकोश के क्षेत्र में मेल खाते हैं।

6. निष्कर्ष के रूप में कई औपचारिक गणना।

हमारे देश में लगभग 60 हजार इवानोव इवानोव इवानोविच रहते हैं। यह मानते हुए कि कहीं न कहीं, काल्पनिक रूप से, 100 तालिकाएँ औसत डेटाबेस में संग्रहीत की जाती हैं, प्रत्येक तालिका में 10 प्रमुख फ़ील्ड और प्रत्येक कुंजी 60 हज़ार मान ले सकती है, हमें पता चलता है कि डेटाबेस के अंदर अद्वितीय कुंजी राज्यों की कुल संख्या लगभग 60 मिलियन है। यहां तक ​​कि अगर दो कुंजियों को एक तालिका में मिलाया जाता है, तो भी वे एक तालिका में 20 अद्वितीय राज्य उत्पन्न कर सकती हैं। कुल मिलाकर, कई हजार तक अद्वितीय राज्यों के आधार में चल सकते हैं। सहमत हैं कि विकास के समय का 10% और ईटीएल निष्पादन का 5-7% इस तरह के trifles को पकड़ने के लिए एक अभेद्य लक्जरी है?

UPD1 यदि आप अपने काम में प्रत्येक कम या ज्यादा महत्वपूर्ण निर्देशिका के लिए नियंत्रण प्रणाली को खींचते हुए थक गए हैं, तो एमडीएम (मास्टर डेटा मैनेजमेंट) सिस्टम आपकी सहायता के लिए आएगा। बेशक, हम ऐसे सिस्टम को बाजार में वितरित करते हैं, जिसमें मुफ्त सॉफ्टवेयर पर एक संस्करण भी शामिल है।

UPD2 अक्सर सम्मेलनों में सवाल पूछा जाता है: "एक सस्ता डेटा गुणवत्ता प्रबंधन प्रणाली कैसे बनाएं"। मैं आपको इस लेख को EDQ कार्यक्षमता के कुछ सरलीकरण के साथ इस मुद्दे पर एक छोटे से परिचय पर विचार करने के लिए कहता हूं। हां, और फिर भी, आप ODI + EDQ का एक गुच्छा ले सकते हैं और इसे बहुत अच्छी तरह से कर सकते हैं, लेकिन यह आगे कथन का विषय है।