पुस्तक "बिग डेटा के लिए सैद्धांतिक न्यूनतम। आपको बड़े डेटा के बारे में जानने की जरूरत है ”

बिग डेटा आज बड़ा व्यवसाय है। सूचना हमारे जीवन को नियंत्रित करती है, और इस पर पूंजी लगाना आधुनिक संगठनों के काम के लिए केंद्रीय है। कोई फर्क नहीं पड़ता कि आप कौन हैं - एनालिटिक्स के साथ काम करने वाला एक व्यवसायी, एक नौसिखिया प्रोग्रामर या डेवलपर, "बिग डेटा सैद्धांतिक न्यूनतम" आपको आधुनिक तकनीक के तूफानी सागर में नहीं डूबने देगा और एक नए और तेजी से विकसित होने वाले बड़े डेटा प्रोसेसिंग उद्योग की मूल बातें समझ सकता है।

बड़े डेटा के बारे में जानना चाहते हैं और इसके साथ कैसे काम करना है? एक अलग अध्याय प्रत्येक एल्गोरिथ्म के लिए समर्पित है, जो न केवल काम के मूल सिद्धांतों की व्याख्या करता है, बल्कि वास्तविक समस्याओं में उपयोग के उदाहरण भी देता है। बड़ी संख्या में चित्र और सरल टिप्पणियां बिग डेटा के सबसे जटिल पहलुओं को समझना आसान बनाती हैं।

हम आपको "मुख्य घटक" मार्ग से परिचित कराने की पेशकश करते हैं

प्रिंसिपल कंपोनेंट एनालिसिस (CIM) विधि मूलभूत चर (प्रमुख घटकों के रूप में ज्ञात) को खोजने का एक तरीका है जो आपके डेटा तत्वों को एक इष्टतम तरीके से अलग करता है। ये मुख्य घटक डेटा का सबसे बड़ा बिखराव देते हैं (चित्र 2)।

मुख्य घटक एक या अधिक चर को व्यक्त कर सकता है। उदाहरण के लिए, हम एकल चर "विटामिन सी" का उपयोग कर सकते हैं। चूंकि विटामिन सी सब्जियों में पाया जाता है, लेकिन मांस में नहीं, अंतिम ग्राफ (अंजीर 3 में बाएं स्तंभ) सब्जियों को वितरित करेगा, लेकिन सभी मांस एक ढेर में होंगे।

मांस उत्पादों के वितरण के लिए, हम वसा को दूसरे चर के रूप में उपयोग कर सकते हैं, क्योंकि यह मांस में मौजूद है, लेकिन यह सब्जियों में लगभग अनुपस्थित है। हालांकि, चूंकि वसा और विटामिन सी को विभिन्न इकाइयों में मापा जाता है, इसलिए हमें उन्हें संयोजित करने से पहले मानकीकृत करना चाहिए।


मानकीकरण प्रतिशत में प्रत्येक चर की अभिव्यक्ति है, जो इन चर को एक एकल पैमाने में परिवर्तित करता है, जिससे हमें एक नए चर की गणना करने के लिए उन्हें संयोजित करने की अनुमति मिलती है:

विटामिन सी - वसा

चूंकि विटामिन सी ने सब्जियों को पहले ही फैला दिया है, इसलिए हम मांस को नीचे वितरित करने के लिए वसा को घटाते हैं। इन दो चर के संयोजन से हमें सब्जियों और मांस उत्पादों (अंजीर 3 में मध्य में स्तंभ) को वितरित करने में मदद मिलेगी।


हम आहार फाइबर को ध्यान में रखते हुए प्रसार को बेहतर कर सकते हैं, सब्जियों में सामग्री भिन्न होती है:

(विटामिन सी + आहार फाइबर) - वसा।

यह नया चर हमें इष्टतम डेटा तितर बितर करता है (चित्र 3 में दायां स्तंभ)।
जबकि हमें परीक्षण और त्रुटि के द्वारा इस उदाहरण में मुख्य घटक मिले, CIM इसे व्यवस्थित आधार पर कर सकता है। हम देखेंगे कि यह निम्नलिखित उदाहरण में कैसे काम करता है।

उदाहरण: खाद्य समूह विश्लेषण

अमेरिकी कृषि विभाग के डेटा का उपयोग करते हुए, हमने खाद्य पदार्थों के एक यादृच्छिक सेट के पोषण गुणों का विश्लेषण किया, जिसमें चार खाद्य चर: वसा, प्रोटीन, आहार फाइबर, और विटामिन सी शामिल हैं। 4, कुछ पोषक तत्व अक्सर खाद्य पदार्थों में एक साथ पाए जाते हैं।

विशेष रूप से, वसा और प्रोटीन का स्तर एक दिशा में इसके विपरीत बढ़ता है जिसमें फाइबर और विटामिन सी का स्तर बढ़ता है। हम अपनी मान्यताओं की पुष्टि कर सकते हैं कि कौन सा चर सहसंबंधी है (खंड 6.5 देखें)। दरअसल, हम प्रोटीन और वसा (आर = 0.56) के स्तर और आहार फाइबर और विटामिन सी (आर = 0.57) के स्तर के बीच एक महत्वपूर्ण सकारात्मक सहसंबंध पाते हैं।

इस प्रकार, व्यक्तिगत रूप से चार खाद्य चर का विश्लेषण करने के बजाय, हम अत्यधिक सहसंबद्ध लोगों को जोड़ सकते हैं, विचार के लिए केवल दो प्राप्त कर सकते हैं। इसलिए, प्रमुख घटक विधि को आयामी कमी तकनीकों के रूप में जाना जाता है।


इसे हमारे खाद्य डेटासेट में लागू करने पर, हमें अंजीर में दिखाए गए मुख्य घटक मिलते हैं। 5।

प्रत्येक प्रमुख घटक खाद्य चर का एक संयोजन है, जिसका मूल्य सकारात्मक, नकारात्मक या शून्य के करीब हो सकता है। उदाहरण के लिए, किसी व्यक्तिगत उत्पाद के लिए घटक 1 प्राप्त करने के लिए, हम निम्नलिखित गणना कर सकते हैं:

.55 (आहार फाइबर) + .44 (विटामिन सी) - .45 (वसा) -
.55 (प्रोटीन)


यही है, परीक्षण और त्रुटि से चर के संयोजन के बजाय, जैसा कि हमने पहले किया था, प्रिंसिपल घटक विधि स्वयं सटीक सूत्रों की गणना करती है जिसके साथ हम अपने पदों में अंतर कर सकते हैं।

कृपया ध्यान दें कि हमारा मुख्य घटक 1 (PC1) तुरंत प्रोटीन, और विटामिन सी के साथ आहार फाइबर के साथ वसा को जोड़ता है, और ये जोड़े विपरीत आनुपातिक हैं।

जबकि PC1 सब्जियों से मांस को अलग करता है, घटक 2 (PC2) मांस के आंतरिक उपश्रेणियों (वसा सामग्री पर आधारित) और सब्जियों (विटामिन सी सामग्री के आधार पर) को अधिक विस्तार से पहचानता है। हम ग्राफ के लिए दोनों घटकों का उपयोग करके सबसे अच्छा डेटा तितर बितर हो जाएगा (छवि 6)।


मांस उत्पादों में घटक 1 के निम्न मूल्य होते हैं, इसलिए वे चार्ट के बाईं ओर केंद्रित होते हैं, सब्जी वाले से विपरीत दिशा में। यह भी देखा गया है कि गैर-वनस्पति उत्पादों के बीच, समुद्री भोजन की कम वसा वाली सामग्री, इसलिए, उनके लिए घटक 2 का मूल्य कम है, और वे स्वयं ग्राफ के निचले हिस्से में जाते हैं। इसी तरह, जो सब्जियां साग नहीं हैं, उनमें घटक 2 का मान कम होता है, जिसे दाईं ओर ग्राफ के नीचे देखा जा सकता है।

घटकों की संख्या का विकल्प । इस उदाहरण में, डेटा सेट में प्रारंभिक चर की संख्या से चार मुख्य घटक बनाए जाते हैं। चूंकि मुख्य घटक साधारण चर के आधार पर बनाए जाते हैं, इसलिए डेटा तत्वों के वितरण की जानकारी उनके प्रारंभिक सेट तक सीमित है।

उसी समय, परिणामों की सादगी और मापनीयता को बनाए रखने के लिए, हमें विश्लेषण और दृश्य के लिए केवल पहले कुछ मुख्य घटकों का चयन करना चाहिए। मुख्य घटक डेटा तत्वों के वितरण की दक्षता में भिन्न होते हैं, और उनमें से पहला अधिकतम सीमा तक ऐसा करता है। विचार करने के लिए प्रमुख घटकों की संख्या को स्केरी ग्राफ का उपयोग करके निर्धारित किया जाता है, जिसकी हमने पिछले अध्याय में जांच की थी।

ग्राफ डेटा तत्वों को विभेदित करने में बाद के प्रमुख घटकों की घटती दक्षता को दर्शाता है। एक नियम के रूप में, प्रिंसिपल घटकों की एक मात्रा का उपयोग किया जाता है जो स्केरी प्लॉट में एक तीव्र फ्रैक्चर की स्थिति से मेल खाती है।

अंजीर में। 7 फ्रैक्चर लगभग दो घटकों पर स्थित है। इसका मतलब यह है कि हालांकि तीन या अधिक प्रमुख घटक डेटा तत्वों को बेहतर ढंग से अलग कर सकते हैं, यह अतिरिक्त जानकारी अंतिम समाधान की जटिलता को सही नहीं ठहरा सकती है। जैसा कि स्केरी ग्राफ से देखा जा सकता है, पहले दो मुख्य घटक पहले से ही 70% प्रसार देते हैं। डेटा विश्लेषण के लिए मुख्य घटकों की एक छोटी संख्या का उपयोग करना सुनिश्चित करता है कि योजना भविष्य की जानकारी के लिए उपयुक्त है।

प्रतिबंध

प्रमुख घटक विधि कई चर के साथ डेटा सेट का विश्लेषण करने के लिए एक उपयोगी तरीका है। हालांकि, इसमें कमियां भी हैं।

वितरण को अधिकतम करें । CIM महत्वपूर्ण धारणा से आगे बढ़ता है कि जो माप सबसे बड़ा बिखराव देते हैं वे सबसे अधिक उपयोगी होते हैं। हालांकि, यह हमेशा मामला नहीं होता है। एक प्रसिद्ध काउंटरटेक्म्प्ल एक स्टैक में पेनकेक्स की गिनती की समस्या है।


पेनकेक्स की गणना करने के लिए, हम ऊर्ध्वाधर अक्ष के साथ एक को अलग करते हैं (अर्थात, स्टैक की ऊंचाई)। हालांकि, यदि स्टैक छोटा है, तो एमएचसी गलत तरीके से तय करेगा कि क्षैतिज अक्ष (पैनकेक व्यास) सबसे अच्छा मुख्य घटक होगा, इस तथ्य के कारण कि इस माप में आप मूल्यों की एक विस्तृत श्रृंखला पा सकते हैं।

घटकों की व्याख्या। CIM के साथ मुख्य कठिनाई यह है कि उत्पन्न घटकों की व्याख्या आवश्यक है, और कभी-कभी आपको यह समझाने के लिए बहुत प्रयास करने की आवश्यकता है कि चर को चुने हुए तरीके से क्यों जोड़ा जाना चाहिए।

फिर भी, प्रारंभिक सामान्य जानकारी हमारी मदद कर सकती है। हमारे उदाहरण में, मुख्य घटकों के लिए खाद्य चर अपनी श्रेणियों के बारे में प्रारंभिक ज्ञान की मदद से उत्पादों को मिलाते हैं।

»पुस्तक की अधिक जानकारी प्रकाशक की वेबसाइट पर पाई जा सकती है
» सामग्री
» अंश

फेरीवालों के लिए कूपन पर 20% की छूट - BigData