बिग डेटा विश्लेषण मुद्दे

बिग डेटा एनालिसिस की चुनौतियां क्या हैं

बिग डेटा ऐसी विशेषताएं बनाता है जो पारंपरिक डेटा सेट द्वारा साझा नहीं की जाती हैं। ये विशेषताएं डेटा विश्लेषण के लिए महत्वपूर्ण समस्याएं पैदा करती हैं और नए सांख्यिकीय तरीकों के विकास को प्रेरित करती हैं। पारंपरिक डेटा सेटों के विपरीत, जहां नमूना आकार आमतौर पर माप से बड़ा होता है, बिग डेटा को एक विशाल नमूना आकार और उच्च आयाम की विशेषता होती है। सबसे पहले, हम विषमता को समझने पर बड़े नमूना आकारों के प्रभाव पर चर्चा करेंगे: एक तरफ, बड़े नमूना आकार हमें आबादी के छोटे उपसमूह और संपूर्ण आबादी के बीच खराब समानता से जुड़े छिपे हुए पैटर्न को उजागर करने की अनुमति देते हैं। दूसरी ओर, बिग डेटा की आंतरिक विषमता को मॉडलिंग करने के लिए अधिक परिष्कृत सांख्यिकीय तरीकों की आवश्यकता होती है। दूसरी बात, हम उच्च आयामीता से जुड़ी कई अनोखी घटनाओं पर चर्चा करेंगे, जिनमें शोर संचय, झूठी सहसंबंध, और यादृच्छिक एंडोजेनिटी शामिल हैं। ये विशिष्ट विशेषताएं पारंपरिक सांख्यिकीय प्रक्रियाओं को अमान्य करती हैं।

विविधता

बिग डेटा अक्सर विभिन्न उपसमूहों के अनुरूप कई डेटा स्रोतों को मिलाकर बनाया जाता है। प्रत्येक उपसमूह कुछ अनूठी विशेषताओं को प्रदर्शित कर सकता है जो दूसरों द्वारा साझा नहीं की जाती हैं। शास्त्रीय स्थितियों में, जब नमूना आकार छोटा या मध्यम होता है, तो छोटे उप-योगों के डेटा बिंदुओं को आमतौर पर "विचलन" के रूप में वर्गीकृत किया जाता है, और टिप्पणियों की अपर्याप्त संख्या के कारण यह व्यवस्थित रूप से कठिन है। हालांकि, बिग डेटा के युग में, बड़े नमूने का आकार हमें अध्ययनों पर प्रकाश डालकर बेहतर ढंग से विषमता को समझने की अनुमति देता है जैसे कि कुछ कोवरिएट्स (जैसे जीन या एसएनपी) और दुर्लभ परिणाम (जैसे कि दुर्लभ आबादी या छोटी आबादी में बीमारियां) और समझ के बीच संबंध का अध्ययन करना। क्यों कुछ उपचार (जैसे कीमोथेरेपी) एक आबादी को फायदा पहुंचाते हैं और दूसरे को नुकसान पहुंचाते हैं। इस बिंदु को बेहतर ढंग से समझने के लिए, हम जनसंख्या के लिए निम्नलिखित मॉडल पेश करते हैं:

$$$ $ $ $ $ λ1p1 (y; (1 (x)) + $ + λmpm (y; (m (x)), λ1p1 (y; θ1 (x)) + ⋯ + λmpm (y; θm (x)),; 1) $ $ प्रदर्शन $ $

जहाँ λj represents 0 jth उपसमूह के अंश का प्रतिनिधित्व करता है, pj (y; θj (x)) jth उपसमूह की प्रतिक्रिया की संभाव्यता वितरण है, जिसे पैरामीटर वेक्टर के रूप में θj (x) के साथ x के सहसंयोजक दिए गए हैं। व्यवहार में, कई उप-योग शायद ही कभी देखे जाते हैं, अर्थात, λj बहुत छोटा है। जब नमूना आकार n मध्यम होता है, तो nλj छोटा हो सकता है, जो जानकारी की कमी के कारण कोवरिएट-निर्भर मापदंडों duej (x) को प्राप्त करना असंभव बनाता है। हालाँकि, बिग डेटा का बड़ा नमूना आकार n है, इसलिए jth जनसंख्या समूह के लिए नमूना आकार nλj मध्यम रूप से बड़ा हो सकता है, भले ही λj बहुत छोटा हो। यह हमें अधिक सटीक रूप से उप-संरचना ·j (·) के मापदंडों के बारे में निष्कर्ष निकालने की अनुमति देता है। संक्षेप में, बिग डेटा का मुख्य लाभ उप-योगों की विविधता की समझ है, जैसे कि कुछ व्यक्तिगत उपचारों के लाभ जो छोटे या मध्यम नमूना आकार के साथ संभव नहीं हैं।

बिग डेटा भी हमें अनुमति देता है, बड़े नमूना आकार के कारण, पूरी आबादी के बीच एक कमजोर समुदाय की पहचान करने के लिए। उदाहरण के लिए, प्रति दिन एक गिलास रेड वाइन के दिल के लाभ का आकलन करना बड़े नमूना आकार के बिना मुश्किल हो सकता है। इसी तरह, कुछ पर्यावरणीय कारकों के संपर्क में आने से जुड़े स्वास्थ्य संबंधी जोखिमों का मूल्यांकन केवल तभी किया जा सकता है जब नमूना आकार काफी बड़ा हो।

उपरोक्त लाभों के अलावा, बिग डेटा की विविधता सांख्यिकीय अनुमान के लिए भी महत्वपूर्ण चुनौतियां हैं। बड़े डेटा सेट के लिए (1) में मिश्रण मॉडल की व्युत्पत्ति के लिए जटिल सांख्यिकीय और कम्प्यूटेशनल विधियों की आवश्यकता होती है। छोटे माप में, अंतिम मिश्रण मॉडल के लिए प्रतीक्षा-अधिकतमकरण एल्गोरिथ्म जैसे मानक तरीकों का उपयोग किया जा सकता है। बड़े पैमाने पर, हालांकि, हमें ओवरफिटिंग या जमा होने वाले शोर से बचने और अच्छे कम्प्यूटेशनल एल्गोरिदम को विकसित करने के लिए मूल्यांकन प्रक्रिया को सावधानीपूर्वक व्यवस्थित करने की आवश्यकता है।

शोर का जमाव

बिग डेटा विश्लेषण के लिए हमें एक ही समय में कई मापदंडों का मूल्यांकन और सत्यापन करने की आवश्यकता होती है। जब निर्णय या भविष्यवाणी नियम ऐसे मापदंडों की एक बड़ी संख्या पर निर्भर करता है तो अनुमान त्रुटियां जमा होती हैं। शोर के संचय का यह प्रभाव विशेष रूप से बड़े आयामों में गंभीर है और यहां तक ​​कि सच्चे संकेतों पर भी हावी हो सकता है। यह आमतौर पर विरलता की धारणा द्वारा नियंत्रित किया जाता है।

उदाहरण के लिए, एक बहुआयामी वर्गीकरण को लें। गरीब वर्गीकरण कई कमजोरियों की उपस्थिति के कारण होता है जो वर्गीकरण त्रुटियों को कम करने में योगदान नहीं करते हैं। एक उदाहरण के रूप में, वर्गीकरण समस्या पर विचार करें जब डेटा दो वर्गों से आता है:

$$$ $ $ $ $ $ X1, और Y1, ........ XndNd (μ1, Id), Yn μNd (μ2, Id) .X1, ..., Xn∼Nd (μ1, Id) और Y1, ..., Yn∼ एनडी (μ2, आईडी)। (2) $ $ प्रदर्शन $ $

हम एक ऐसे वर्गीकरण नियम का निर्माण करना चाहते हैं जो पहली या दूसरी कक्षा में एक नए अवलोकन ZdRdZdRd को वर्गीकृत करता है। वर्गीकरण में शोर संचय के प्रभाव को स्पष्ट करने के लिए, हम n = 100 और d = 1000 निर्धारित करते हैं। हम μ1 = 0μ1 = 0 और μ2 को विरल के रूप में सेट करते हैं, अर्थात। μ2 के केवल पहले 10 रिकॉर्ड 3 के मान के साथ नॉनजरो हैं, और अन्य सभी रिकॉर्ड शून्य हैं। चित्र 1, पहले m = 2, 40, 200 तत्वों और 1000 से अधिक तत्वों का उपयोग करके पहले दो मुख्य घटकों को दर्शाता है। जैसा कि इन रेखांकन में दिखाया गया है, जब m = 2, हमें उच्च स्तर का भेदभाव मिलता है। हालांकि, शोर संचय के कारण मी बहुत बड़ी होने पर भेदभाव करने वाली शक्ति बहुत कम हो जाती है। पहले 10 कार्य वर्गीकरण में योगदान करते हैं, जबकि बाकी नहीं करते हैं। इसलिए, जब एम> 10, प्रक्रियाओं को कोई अतिरिक्त संकेत नहीं मिलता है, लेकिन शोर जमा होता है: अधिक मीटर, अधिक शोर जमा होता है, जो आयामीता के कारण वर्गीकरण प्रक्रिया को बिगड़ता है। एम = 40 पर, संचित संकेत संचित शोर के लिए क्षतिपूर्ति करते हैं, ताकि पहले दो मुख्य घटकों में अभी भी अच्छी पहचान क्षमता हो। जब एम = 200, संचित शोर सिग्नल लाभ से अधिक हो जाता है।

ऊपर चर्चा विरल मॉडल के उपयोग और शोर संचय के प्रभाव को दूर करने के लिए चर की पसंद को प्रेरित करती है। उदाहरण के लिए, वर्गीकरण मॉडल (2) में, सभी कार्यों का उपयोग करने के बजाय, हम सबसे अच्छा सिग्नल-टू-शोर अनुपात प्राप्त करने वाली सुविधाओं का सबसेट चुन सकते हैं। ऐसा विरल मॉडल उच्च वर्गीकरण दक्षता प्रदान करता है। दूसरे शब्दों में, प्रतिगमन के वर्गीकरण और भविष्यवाणी में शोर के संचय पर काबू पाने में चर की पसंद एक महत्वपूर्ण भूमिका निभाती है। हालांकि, झूठे सहसंबंध, यादृच्छिक एंडोजेनिटी, विषमता और माप त्रुटियों के कारण बड़े आयामों में चर का चयन चुनौतीपूर्ण है।

मिथ्या सहसंबंध

उच्च आयामीता में एक गलत सहसंबंध भी होता है, इस तथ्य का हवाला देते हुए कि कई असंबद्ध यादृच्छिक चर बड़े आयामों में उच्च नमूना सहसंबंध हो सकते हैं। गलत सहसंबंध गलत वैज्ञानिक खोजों और गलत सांख्यिकीय निष्कर्षों को जन्म दे सकता है।

एक रैखिक मॉडल के गुणांक वेक्टर problem के आकलन की समस्या पर विचार करें

$$$ $ प्रदर्शन $ $ y = Xβ + display, Var (=) = I2Id, y = Xϵ + ϵ, Var (ϵ) = σ2Id, (3) $ $ प्रदर्शन $ $

जहां y whereRny∈Rn प्रतिक्रिया वेक्टर का प्रतिनिधित्व करता है, X = [X1, ..., xn] T∈Rn × dX = [X1, ..., xn] T∈Rn × d प्रोजेक्शन मैट्रिक्स का प्रतिनिधित्व करता है, ∈Rnϵ∈Rn स्वतंत्र यादृच्छिक वेक्टर का प्रतिनिधित्व करता है शोर और आईडी d × d पहचान मैट्रिक्स है। शोर संचय की समस्या से निपटने के लिए, जब आकार d, नमूना आकार n की तुलना में या उससे बड़ा होता है, तो यह माना जाता है कि उत्तर केवल थोड़ी संख्या में चर देता है, अर्थात of एक विरल वेक्टर है। इस विरलता धारणा के अनुसार, शोर संचय से बचने, भविष्यवाणी के प्रदर्शन में सुधार और रूढ़िवादी प्रतिनिधित्व के साथ एक मॉडल की व्याख्या में सुधार करने के लिए एक चर का चयन किया जा सकता है।

बड़े आकारों के लिए, यहां तक ​​कि (3) के रूप में इस तरह के एक सरल मॉडल के लिए, झूठी सहसंबंध की उपस्थिति के कारण चर का विकल्प मुश्किल है। विशेष रूप से, उच्च आयामीता के साथ, महत्वपूर्ण चर को कई झूठे चर के साथ दृढ़ता से सहसंबद्ध किया जा सकता है जो वैज्ञानिक रूप से संबंधित नहीं हैं। इस घटना को दर्शाते हुए एक सरल उदाहरण पर विचार करें। एक्स 1, ..., xn एक d- आयामी गाऊसी यादृच्छिक वेक्टर X = (X1, ..., Xd) T XNd (0, Id) X = (X1, ..., Xd) T∼Nd (0, Id) obs के स्वतंत्र अवलोकन हैं । हम बार-बार n = 60 और d = 800 और 6400 1000 बार डेटा का अनुकरण करते हैं। चित्रा 2 ए पहले चर के बीच अधिकतम पूर्ण नमूना सहसंबंध गुणांक के अनुभवजन्य वितरण को दर्शाता है, और बाकी को इस प्रकार परिभाषित किया गया है:

$$$ $ प्रदर्शन $ $ rˆ = maxj≥2 | Corr X1 (X1, Xj) |, r ^ = maxj ^2 | संवाददाता ^ (X1, Xj) |, (4) $ $ प्रदर्शन $$

जहाँ पर ^ ^ (X1, Xj) संवाददाता ^ (X1, Xj) चर X1 और Xj के बीच नमूना संबंध है। हम देखते हैं कि नमूने का अधिकतम पूर्ण सहसंबंध बढ़ते आयाम के साथ अधिक हो जाता है।

इसके अलावा, हम एक्स 1 और कई अप्रासंगिक पक्ष चर के रैखिक संयोजनों के बीच अधिकतम पूर्ण बहु सहसंबंध की गणना कर सकते हैं:

$$$ $ प्रदर्शन $ $ Rˆ = अधिकतम | S | = 4max {ˆj} 4j = 1∣∣∣∣Corr∑ (X1, X1j∈SβjXj) ∣∣∣∣.R ^ = max | S | = 4max {βj} j = 14 | संवाददाता ^ (X1, ∈j |SXjXj) | (5) $ $ प्रदर्शन $ $

मानक विन्यास का उपयोग करते हुए, X1 और βj j S∈jXj के बीच नमूना सहसंबंध के अधिकतम पूर्ण गुणांक का अनुभवजन्य वितरण दिया जाता है, जहां S {2, ..., d} से चौथे आकार का कोई भी सबसेट है, और X1j सबसे कम वर्ग प्रतिगमन गुणांक Xj है, जब X1 {Xj} पर फिर से आता है। j completely S. फिर, हम देखते हैं कि X 1 पूरी तरह से X2 से स्वतंत्र है, ..., Xd, X1 के बीच संबंध और {Xj} j to 1 से X1 तक किसी भी चार चर के निकटतम रैखिक संयोजन बहुत अधिक हो सकता है।

गलत सहसंबंध चर की पसंद पर महत्वपूर्ण प्रभाव डालता है और गलत वैज्ञानिक खोजों को जन्म दे सकता है। बता दें कि XS = (Xj) j be S एक यादृच्छिक वेक्टर है जिसे S द्वारा अनुक्रमित किया गया है, और S beS ^ चयनित सेट है जिसे एक्स 1 के साथ एक उच्च परजीवी सहसंबंध है, जैसे कि अंजीर में है। 2. उदाहरण के लिए, जब n = 60 और d = 6400 होता है, तो हम देखते हैं कि X1, SASSS ^ के सेट के लिए XSXS ^ से व्यावहारिक रूप से अप्रभेद्य है। S | = 4 | S ^ | = 4 =। यदि X1 रोग के लिए जिम्मेदार जीन की अभिव्यक्ति के स्तर का प्रतिनिधित्व करता है, तो हम इसे SONS ^ में अन्य चार जीनों से अलग नहीं कर सकते हैं, जिनके पास एक समान शक्ति है, हालांकि वे वैज्ञानिक रूप से महत्वपूर्ण नहीं हैं।

चरों की पसंद के अलावा, एक गलत सहसंबंध भी गलत सांख्यिकीय निष्कर्ष का कारण बन सकता है। हम इसे (3) के रूप में फिर से उसी रैखिक मॉडल पर विचार करके समझाते हैं। यहां, हम शेष के मानक त्रुटि का अनुमान लगाना चाहते हैं, जो प्रतिगमन गुणांक, मॉडल चयन, पत्राचार परीक्षण और सीमांत प्रतिगमन के सांख्यिकीय निष्कर्षों में विशेष रूप से प्रकट होता है। S LetS ^ चयनित चर का सेट हो, और PS ^PS ^ कॉलम स्पेस XS⁠XS ^ ˆ पर प्रोजेक्शन मैट्रिक्स हो। चयनित चर पर आधारित अवशिष्ट विचरण का मानक अनुमान:

$$$ $ प्रदर्शन $ $ =2 = yT (In - PS y) ynˆ | S $ | σ ^ 2 = yT (In - PS ^) yn− | S ^ | (6) $ $ प्रदर्शन $ $

मूल्यांकनकर्ता (6) निष्पक्ष है जब चर डेटा से चयनित नहीं होते हैं और मॉडल सही होता है। हालांकि, स्थिति पूरी तरह से अलग है जब चर डेटा के आधार पर चुने जाते हैं। विशेष रूप से, लेखकों ने दिखाया कि जब कई गलत चर होते हैं, तो seriously2 को गंभीरता से कम करके आंका जाता है, इससे गलत सांख्यिकीय निष्कर्ष निकलता है, जिसमें मॉडल या महत्व के परीक्षण और गलत वैज्ञानिक खोजों जैसे आणविक तंत्र की गलत जीन की खोज शामिल है। वे समस्या को कम करने के लिए एक उन्नत क्रॉस-सत्यापन विधि भी प्रदान करते हैं।

रैंडम एंडोजेनिटी

यादृच्छिक अंतर्जातता उच्च आयामीता से उत्पन्न होने वाली एक और सूक्ष्म समस्या है। प्रतिगमन सेटिंग में, Y = ∑dj = 1XjXj + =Y = ∑j = 1d +jXj +,, शब्द "एंडोजेनिटी" का अर्थ है कि कुछ भविष्यवक्ता {Xj} अवशिष्ट शोर के साथ सहसंबंधित हैं। सामान्य विरल मॉडल मानता है

$$$ $ $ $ Y = ∑jβjXj + and, और E ($Xj) = 0 के लिए j = 1, ..., d, Y = βjβjXJ + ε, और E (jXj) = 0 for j = 1, ..., d , (7) $ $ $ $ प्रदर्शित

एक छोटे से सेट के साथ S = {j: smallj} 0}। बहिर्जात धारणा (7) कि अवशिष्ट शोर ous सभी भविष्यवाणियों के साथ संबंध नहीं रखता है, अधिकांश मौजूदा सांख्यिकीय विधियों की विश्वसनीयता के लिए महत्वपूर्ण है, जिसमें चर की पसंद में स्थिरता भी शामिल है। हालांकि यह धारणा निर्दोष लगती है, बड़े आयामों में इसका उल्लंघन करना आसान है, क्योंकि कुछ चर {Xj} बेतरतीब ढंग से rel के साथ सहसंबंधित हैं, जो कि अधिकांश बहुआयामी प्रक्रियाओं को सांख्यिकीय रूप से अमान्य बनाता है।

एंडोजेनिटी समस्या को और अधिक विस्तार से समझाने के लिए, मान लीजिए कि अज्ञात उत्तर Y तीन सहसंयोजकों के साथ जुड़ा हुआ है:

$$$ $ $ $ $ Y = X1 + X2 + X3 + Y, withEjXj = 0, j = 1, 2, 3.Y = X1 + X2 + X3 + ε, withEεXj = 0 के लिए, j = 1, 2, 3 के लिए । $ $ प्रदर्शन $ $

डेटा संग्रह के चरण में, हम सच्चे मॉडल को नहीं जानते हैं और इसलिए हम उतने अधिक covariates एकत्र करते हैं, जितना संभवतः Y के साथ S (7) में सभी शर्तों को शामिल करने की उम्मीद में जुड़े होते हैं। वैसे, इनमें से कुछ Xj (jj 1, 2, 3 के लिए) अवशिष्ट शोर से जुड़े हो सकते हैं। यह (7) में बहिर्जात मॉडलिंग की धारणा को बाधित करता है। वास्तव में, अधिक कोवरिअट एकत्र या मापा जाता है, यह धारणा जितनी जटिल है।

झूठी सहसंबंध के विपरीत, यादृच्छिक एंडोजेनिटी अनपेक्षित चर के बीच सहसंबंधों के वास्तविक अस्तित्व को संदर्भित करता है। पहला इस तथ्य के समान है कि दो लोग एक दूसरे के समान हैं, लेकिन एक आनुवंशिक संबंध नहीं है, और दूसरा एक परिचित की तरह है जो आसानी से एक बड़े शहर में होता है। अधिक सामान्य अर्थों में, पसंद, माप त्रुटियों और लापता चर के पूर्वाग्रह से परिणामी समानता है। बिग डेटा का विश्लेषण करते समय ये घटनाएं अक्सर उत्पन्न होती हैं, मुख्यतः दो कारणों से:

• नए उच्च-प्रदर्शन माप तरीकों के लिए धन्यवाद, वैज्ञानिक इसके लिए अधिक से अधिक कार्य एकत्र कर सकते हैं और इसके लिए प्रयास कर सकते हैं। यह तदनुसार, इस संभावना को बढ़ाता है कि उनमें से कुछ को अवशिष्ट शोर के साथ सहसंबद्ध किया जा सकता है।
• बिग डेटा आमतौर पर संभावित विभिन्न डेटा पीढ़ी योजनाओं के साथ कई स्रोतों से संयुक्त होता है। इससे चयन और माप त्रुटियों में पूर्वाग्रह की संभावना बढ़ जाती है, जिससे संभावित यादृच्छिक एंडोजेनिटी भी होती है।

क्या वास्तविक डेटा सेटों में यादृच्छिक एंडोजेनिटी दिखाई देती है और हम इसे व्यवहार में कैसे परख सकते हैं? हम एक जीनोमिक्स अध्ययन पर विचार कर रहे हैं जिसमें 148 माइक्रोएरे नमूने GEO और ArrayExpress डेटाबेस से डाउनलोड किए गए हैं। ये नमूने प्रोस्टेट कैंसर वाले लोगों के लिए Affymetrix HGU133a प्लेटफॉर्म पर बनाए गए थे। प्राप्त डेटा सेट में 22,283 जांच शामिल हैं, जो 12,719 जीन से मेल खाती है। इस उदाहरण में, हम "डिस्कॉइडिन डोमेन रिसेप्टर परिवार के सदस्य 1" (संक्षिप्त DDR1) नामक जीन में रुचि रखते हैं। DDR1 रिसेप्टर टायरोसिन कीनेस को एनकोड करता है, जो कोशिकाओं के कनेक्शन के लिए उनके माइक्रोएन्वायरमेंट के साथ महत्वपूर्ण भूमिका निभाता है। यह ज्ञात है कि DDR1 प्रोस्टेट कैंसर से निकटता से संबंधित है, और हम कैंसर के रोगियों में अन्य जीनों के साथ इसके संबंधों का अध्ययन करना चाहते हैं। हमने प्रतिक्रिया चर Y के रूप में DDR1 जीन अभिव्यक्ति और भविष्यवाणियों के रूप में शेष सभी 12,718 जीनों की अभिव्यक्ति को लिया। बाएं फलक में, अंजीर। चित्रा 3 प्रतिक्रिया और व्यक्तिगत भविष्यवक्ताओं के बीच सहसंबंधों के अनुभवजन्य वितरण को दर्शाता है।

एंडोजेनिटी के अस्तित्व का वर्णन करने के लिए, हम डेटा के लिए L1 कम से कम वर्ग प्रतिगमन (लास्सो) फिट करते हैं, और जुर्माना स्वचालित रूप से 10 गुना क्रॉस-सत्यापन (37 जीन चयनित) का उपयोग करके चुना जाता है। फिर हम अवशिष्ट वेक्टर की गणना करने के लिए चयनित मॉडल के लिए सामान्य न्यूनतम वर्ग प्रतिगमन को पुनर्स्थापित करेंगे। दाहिने फलक में, अंजीर। 3, हम भविष्यवक्ताओं और अवशिष्टों के बीच सहसंबंधों के एक अनुभवजन्य वितरण का निर्माण करते हैं। हम देखते हैं कि अवशिष्ट शोर कई भविष्यवक्ताओं के साथ दृढ़ता से संबंध रखता है। यह सुनिश्चित करने के लिए कि ये सहसंबंध शुद्ध रूप से गलत सहसंबंध के कारण नहीं हैं, हम प्रोजेक्ट मैट्रिक्स में पंक्ति के आदेशों को बेतरतीब ढंग से पुन: व्यवस्थित करके झूठे सहसंबंधों के "शून्य वितरण" का परिचय देते हैं, ताकि भविष्यवाणियां अवशिष्ट शोर से स्वतंत्र हों। इन दो वितरणों की तुलना करने पर, हम देखते हैं कि कच्चे डेटा में भविष्यवाणियों और अवशिष्ट शोर के बीच सहसंबंधों के वितरण ("कच्चे डेटा" के रूप में चिह्नित) को पुन: व्यवस्थित डेटा ("पुन: व्यवस्थित डेटा" के रूप में चिह्नित किया गया है) की तुलना में भारी पूंछ है। यह परिणाम अंतर्जात के लिए मजबूत सबूत प्रदान करता है।