डेटा साइंस प्रोजेक्ट में डेटा तैयार करना: युवा गृहिणियों के लिए व्यंजन विधि

पिछले लेख में मैंने आईबीएम कार्यप्रणाली सामग्रियों पर आधारित एक डेटा साइंस परियोजना की संरचना के बारे में बात की थी: यह कैसे संरचित है, इसमें कौन से चरण होते हैं, प्रत्येक चरण में कौन से कार्य हल किए जाते हैं। अब मैं सबसे अधिक समय लेने वाली अवस्था का अवलोकन करना चाहूंगा, जो कुल परियोजना समय का 90% तक ले सकती है: ये डेटा - संग्रह, विश्लेषण और सफाई की तैयारी से जुड़े चरण हैं।

कार्यप्रणाली के मूल विवरण में, डेटा विज्ञान परियोजना की तुलना एक डिश की तैयारी के साथ की जाती है, और विश्लेषक एक शेफ के साथ। तदनुसार, डेटा तैयार करने के चरण की तुलना उत्पादों की तैयारी के साथ की जाती है: हमने डिश के लिए नुस्खा पर फैसला किया है जिसके बाद हम व्यापार कार्य का विश्लेषण करने के चरण में तैयार करेंगे, हमें खोजने, एक जगह इकट्ठा करने, सामग्री को साफ और काट लेने की आवश्यकता है। तदनुसार, पकवान का स्वाद इस बात पर निर्भर करेगा कि यह चरण कितना अच्छा प्रदर्शन किया गया था (मान लीजिए कि हमने नुस्खा के साथ अनुमान लगाया था, खासकर जब से सार्वजनिक डोमेन में बहुत सारे व्यंजन हैं)। अवयवों के साथ काम करना, यानी डेटा तैयार करना, हमेशा एक गहने, श्रमसाध्य और जिम्मेदार व्यवसाय है: एक खराब या अनचाहे उत्पाद - और सभी काम बर्बाद हो जाते हैं।

डेटा संग्रह

हमें उन सामग्रियों की एक सूची प्राप्त होने के बाद, जिनकी हमें आवश्यकता हो सकती है, हम समस्या को हल करने के लिए डेटा खोजने के लिए आगे बढ़ते हैं और एक नमूना बनाते हैं जिसे हम भविष्य में काम करेंगे। याद रखें कि हमें एक नमूने की आवश्यकता क्यों है: सबसे पहले, हम इसका उपयोग डेटा तैयार करने के चरण में डेटा की प्रकृति का अनुमान लगाने के लिए करते हैं, और दूसरी बात, हम मॉडल के विकास और कॉन्फ़िगरेशन के चरणों में इसमें से परीक्षण और प्रशिक्षण नमूने बनाएंगे।


बेशक, हम ऐसे मामलों को नहीं लेते हैं जब आप एक कठिन एनडीए के खतरे के तहत, बड़े पैमाने पर परियोजना में डेटा के बारे में कुछ समझना चाहिए, और आप एक गंभीर ग्राहक से फ्लैश ड्राइव पर या पत्र के लिए अनुलग्नक के रूप में डेटा प्राप्त करते हैं। मान लीजिए कि आप अच्छा कर रहे हैं और डेटा तक पहुंच है। इस स्तर पर, एक नमूना तैयार करना आवश्यक है जो:

1. जनसंख्या के सभी आवश्यक गुणों को प्रतिबिंबित किया
2. यह काम करने के लिए सुविधाजनक था, यानी बहुत बड़ा नहीं था।

ऐसा लगता है, बड़े डेटा के युग में डेटा की मात्रा तक खुद को सीमित क्यों करें? यह समाजशास्त्र में है, एक नियम के रूप में, सामान्य आबादी उपलब्ध नहीं है: जब हम सार्वजनिक राय की जांच करते हैं, तो सभी लोगों से सवाल करना असंभव है, यहां तक ​​कि सिद्धांत में भी। या चिकित्सा में, जहां एक निश्चित संख्या में प्रयोगात्मक खरगोशों / चूहों / मक्खियों पर एक नई दवा का अध्ययन किया जा रहा है: अध्ययन समूह में प्रत्येक अतिरिक्त वस्तु महंगी, परेशानी और मुश्किल है। हालांकि, भले ही पूरी आबादी वास्तव में हमारे लिए उपलब्ध है, बड़े डेटा को कंप्यूटिंग के लिए एक उपयुक्त बुनियादी ढांचे की आवश्यकता होती है, और इसकी तैनाती अपने आप में महंगी है (हम उन मामलों के बारे में बात नहीं कर रहे हैं जहां तैयार और कॉन्फ़िगर किया गया बुनियादी ढांचा आपकी उंगलियों पर है)। यही है, भले ही यह सभी डेटा की गणना करने के लिए सैद्धांतिक रूप से संभव हो, यह आमतौर पर पता चलता है कि यह लंबा, महंगा और आम तौर पर क्यों है, क्योंकि आप यह सब बिना कर सकते हैं यदि आप उच्च गुणवत्ता वाले, छोटे, नमूना, उदाहरण के लिए, कई हजार रिकॉर्डों से मिलकर तैयार करते हैं।

नमूना बनाने में बिताया गया समय और प्रयास आपको डेटा खनन में अधिक समय देने की अनुमति देता है: उदाहरण के लिए, आउटलेयर या गुम डेटा में बहुमूल्य जानकारी हो सकती है, लेकिन लाखों रिकॉर्ड के बीच इसे ढूंढना असंभव है, और कई हजार में से यह पूरी तरह से है।

डेटा प्रतिनिधित्व का मूल्यांकन कैसे करें?

यह समझने के लिए कि हमारा नमूना कैसा है, सामान्य ज्ञान और आँकड़े हमारे लिए उपयोगी हैं। श्रेणीबद्ध डेटा के लिए, हमें यह सुनिश्चित करने की आवश्यकता है कि हमारे नमूने में व्यवसाय की समस्या के दृष्टिकोण से होने वाली प्रत्येक विशेषता को उसी अनुपात में प्रस्तुत किया जाए जैसा कि सामान्य जनसंख्या में होता है। उदाहरण के लिए, यदि हम क्लिनिक में रोगियों के डेटा की जांच करते हैं और सवाल सभी उम्र के लोगों को चिंतित करता है, तो नमूना जिसमें केवल बच्चे शामिल हैं, हमारे लिए उपयुक्त नहीं होगा। ऐतिहासिक डेटा के लिए, यह जांचने योग्य है कि डेटा एक प्रतिनिधि समय अंतराल को कवर करता है जिस पर जांच के तहत सुविधाएँ सभी संभावित मूल्यों को लेती हैं। उदाहरण के लिए, यदि हम सरकारी एजेंसियों से अपील का विश्लेषण करते हैं, तो जनवरी के पहले सप्ताह का डेटा हमारे लिए सबसे उपयुक्त नहीं होगा, क्योंकि इस समय अपील में गिरावट आती है। संख्यात्मक संकेतों के लिए, यह बुनियादी आँकड़ों की गणना करने के लिए समझ में आता है (कम से कम बिंदु आँकड़े: औसत, मंझला, परिवर्तनशीलता और सामान्य जनसंख्या के समान आँकड़ों के साथ तुलना करें, यदि संभव हो तो)।

डेटा संग्रह के मुद्दे

अक्सर ऐसा होता है कि हमारे पास डेटा की कमी होती है। उदाहरण के लिए, एक सूचना प्रणाली बदल गई है और पुरानी प्रणाली से डेटा उपलब्ध नहीं है, या डेटा संरचना अलग है: नई कुंजियों का उपयोग किया जाता है और पुराने और नए डेटा के बीच संबंध स्थापित करना असंभव है। संगठनात्मक समस्याएं भी असामान्य नहीं हैं जब डेटा विभिन्न मालिकों द्वारा आयोजित किया जाता है और सभी को तीसरे पक्ष के प्रोजेक्ट के लिए अपलोड करने पर समय और संसाधन खर्च करने के लिए कॉन्फ़िगर नहीं किया जा सकता है।

इस मामले में क्या करना है? कभी-कभी यह एक प्रतिस्थापन खोजने के लिए निकलता है: यदि ताजा टमाटर नहीं हैं, तो डिब्बाबंद ऊपर आ सकते हैं। और अगर गाजर सभी सड़ा हुआ हो, तो आपको एक नए हिस्से के लिए बाजार जाने की आवश्यकता है। इसलिए यह बहुत संभव है कि इस स्तर पर हमें पिछले चरण में वापस लौटना होगा, जहाँ हमने व्यावसायिक कार्य का विश्लेषण किया था और सोचा था कि क्या किसी भी तरह से प्रश्न का सुधार संभव है: उदाहरण के लिए, हम स्पष्ट रूप से यह निर्धारित नहीं कर सकते हैं कि ऑनलाइन स्टोर पेज का कौन सा संस्करण बेहतर है एक उत्पाद बेचता है (उदाहरण के लिए, पर्याप्त बिक्री डेटा नहीं है), लेकिन हम कह सकते हैं कि किस पृष्ठ पर उपयोगकर्ता अधिक समय बिताते हैं और कौन सी कम विफलताएं (बहुत कम ब्राउज़िंग सत्र कुछ सेकंड लंबे)।

व्याख्यात्मक डेटा विश्लेषण

मान लीजिए कि डेटा प्राप्त हो गया है, और विश्वास है कि वे सामान्य आबादी को दर्शाते हैं और इसमें पेश किए गए व्यवसाय कार्य का उत्तर शामिल है। अब यह समझने की जरूरत है कि डेटा उत्पाद हमारे हाथों में किस गुणवत्ता के हैं और क्या वे इच्छित नुस्खा के लिए उपयुक्त हैं। मान लीजिए कि हमने पहले ही रिकॉर्ड के कुछ उदाहरण ले लिए हैं, यह पता लगाया है कि कुंजी क्या है और इसमें किस प्रकार के डेटा हैं: संख्यात्मक, बाइनरी, श्रेणीबद्ध। उसके बाद, आप प्रत्येक लक्षण का व्यक्तिगत रूप से अध्ययन करना शुरू कर सकते हैं। अनुसंधान के लिए मुख्य उपकरण वर्णनात्मक आँकड़े हैं।

केंद्रीय स्थिति का मूल्यांकन

अध्ययन के पहले चरण में, यह समझना अच्छा होगा कि प्रत्येक विशेषता के लिए क्या मूल्य विशिष्ट हैं। सबसे सरल अनुमान अंकगणित माध्य है: एक सरल और प्रसिद्ध संकेतक। हालांकि, यदि डेटा का बिखराव बड़ा है, तो औसत हमें विशिष्ट मूल्यों के बारे में अधिक नहीं बताएगा: उदाहरण के लिए, हम एक अस्पताल में वेतन के स्तर को समझना चाहते हैं। ऐसा करने के लिए, निदेशक सहित सभी कर्मचारियों के वेतन को जोड़ें, जो नर्स से कई गुना अधिक प्राप्त करते हैं। प्राप्त अंकगणितीय माध्य किसी भी कर्मचारी (निदेशक को छोड़कर) के वेतन से अधिक होगा और हमें विशिष्ट वेतन के बारे में कुछ भी नहीं बताएगा। इस तरह के एक संकेतक केवल स्वास्थ्य मंत्रालय को रिपोर्ट करने के लिए उपयुक्त है, जो गर्व से वेतन वृद्धि की रिपोर्ट करेगा। प्राप्त मूल्य सीमा मूल्यों के प्रभाव के अधीन है। आउटलेर्स (एटिपिकल, लिमिट वैल्यूज़) के प्रभाव से बचने के लिए, अन्य आँकड़ों का उपयोग किया जाता है: माध्यिका, जिसे सॉर्ट किए गए मानों में केंद्रीय मान के रूप में परिकलित किया जाता है।

यदि डेटा बाइनरी या श्रेणीबद्ध है, तो आपको यह पता लगाना चाहिए कि कौन से मूल्य अधिक सामान्य हैं और कौन से सामान्य हैं। ऐसा करने के लिए, मॉड का उपयोग करें: सबसे सामान्य मूल्य या श्रेणी। यह नमूना के प्रतिनिधित्व को समझने के लिए अन्य बातों के अलावा उपयोगी है: उदाहरण के लिए, हमने रोगी के मेडिकल रिकॉर्ड के आंकड़ों की जांच की और पाया कि records कार्ड महिलाओं के हैं। यह आपको आश्चर्यचकित करेगा कि यदि नमूना लेते समय कोई त्रुटि हुई थी। एक दूसरे के सापेक्ष श्रेणी अनुपात प्रदर्शित करने के लिए, डेटा का एक चित्रमय प्रतिनिधित्व उपयोगी है, उदाहरण के लिए, बार या पाई चार्ट के रूप में।

डेटा परिवर्तनशीलता का आकलन

हमारे नमूने के विशिष्ट मूल्यों को निर्धारित करने के बाद, हम atypical मानों - आउटलेर्स को देख सकते हैं। उत्सर्जन हमें डेटा की गुणवत्ता के बारे में कुछ बता सकते हैं: उदाहरण के लिए, वे त्रुटियों के संकेत हो सकते हैं: आयामीता का भ्रम, दशमलव स्थानों का नुकसान या एन्कोडिंग वक्र। वे यह भी बात करते हैं कि डेटा कितना भिन्न होता है, अध्ययन किए गए विशेषताओं के सीमित मूल्य क्या हैं।

अगला, हम एक सामान्य मूल्यांकन के लिए आगे बढ़ सकते हैं कि डेटा कितना भिन्न होता है। भिन्नता (यह भी फैलाव है) दिखाता है कि लक्षण के मूल्य कितने भिन्न हैं। परिवर्तनशीलता को मापने का एक तरीका केंद्रीय मूल्य से सुविधाओं के विशिष्ट विचलन का मूल्यांकन करना है। यह स्पष्ट है कि इन विचलन औसत हमें ज्यादा नहीं देंगे, क्योंकि नकारात्मक विचलन सकारात्मक लोगों को बेअसर करते हैं। परिवर्तनशीलता के सबसे प्रसिद्ध अनुमान विचरण और मानक विचलन हैं, विचलन के पूर्ण मूल्य को ध्यान में रखते हुए (विचरण वर्ग विचलन का मतलब है, और मानक विचलन विचरण का वर्गमूल है)।

एक अन्य दृष्टिकोण सॉर्ट किए गए डेटा के प्रसार पर विचार करने पर आधारित है (बड़े डेटा सेट के लिए, इन उपायों का उपयोग नहीं किया जाता है, क्योंकि आपको पहले मानों को क्रमबद्ध करना होगा, जो अपने आप में महंगा है)। उदाहरण के लिए, प्रतिशत का उपयोग करके मूल्यांकन (आप भी सिर्फ सेंटीले पा सकते हैं)। Nth प्रतिशतक - ये ऐसे मूल्य हैं जो कम से कम N प्रतिशत डेटा ऐसा मान या अधिक लेते हैं। बाहरी संवेदनशीलता को रोकने के लिए, प्रत्येक छोर से मूल्यों को गिराया जा सकता है। परिवर्तनशीलता का आम तौर पर स्वीकृत उपाय 25 वीं और 75 वीं प्रतिशतता के बीच का अंतर है - इंटरक्वेर्टाइल रेंज।

डेटा वितरण सर्वेक्षण

सामान्यीकृत संख्यात्मक विशेषताओं का उपयोग करके डेटा का मूल्यांकन करने के बाद, हम अनुमान लगा सकते हैं कि संपूर्ण रूप में डेटा वितरण कैसे होता है। यह दृश्य मॉडलिंग टूल - ग्राफ़ का उपयोग करके सबसे आसानी से किया जाता है।

सबसे अधिक इस्तेमाल किए जाने वाले प्रकार के चार्ट एक बॉक्स चार्ट (या मूंछ वाले बॉक्स) और बार चार्ट होते हैं। मूंछों वाला एक बॉक्स - चयन का एक सुविधाजनक कॉम्पैक्ट प्रतिनिधित्व, आपको एक छवि पर कई अध्ययन किए गए विशेषताओं को देखने की अनुमति देता है, और इसलिए, उन्हें एक-दूसरे के साथ तुलना करें। अन्यथा, इस प्रकार के चार्ट को बॉक्स-एंड-व्हिस्कर्स आरेख या प्लॉट, बॉक्स प्लॉट कहा जाता है। एक समझने योग्य रूप में इस तरह का आरेख औसत (या यदि आवश्यक हो तो औसत), निचले और ऊपरी चतुर्थक, नमूना और आउटलेर के न्यूनतम और अधिकतम मूल्यों को दर्शाता है। इनमें से कई बक्से एक दूसरे के साथ एक वितरण की तुलना करने के लिए कंधे से कंधा मिलाकर खींचे जा सकते हैं; उन्हें क्षैतिज और लंबवत दोनों तरह से रखा जा सकता है। बॉक्स के विभिन्न हिस्सों के बीच की दूरी आपको फैलाव (फैलाव), डेटा विषमता की डिग्री निर्धारित करने और आउटलेर्स की पहचान करने की अनुमति देती है।


इसके अलावा एक उपयोगी उपकरण एक प्रसिद्ध हिस्टोग्राम है - आवृत्ति तालिका का दृश्य, जहां आवृत्ति अक्ष को एक्स अक्ष और वाई अक्ष पर डेटा की मात्रा में प्लॉट किया जाता है। ऐतिहासिक डेटा पर शोध के लिए एक बार चार्ट भी उपयोगी होगा: यह समझने में मदद करेगा कि समय के साथ रिकॉर्ड कैसे वितरित किए गए थे। क्या आप उन पर भरोसा कर सकते हैं ग्राफ का उपयोग करना, दोनों नमूना त्रुटियों और टूटे हुए डेटा की पहचान करना संभव है: अप्रत्याशित स्थानों में फटने या भविष्य से संबंधित रिकॉर्ड की उपस्थिति से डेटा प्रारूप के साथ समस्याओं का पता लगाना संभव हो सकता है, उदाहरण के लिए, नमूना भाग में दिनांक प्रारूपों को मिलाकर।

सह-संबंध

जब हमने सभी चर देखे, तो हमें यह समझने की आवश्यकता है कि क्या उनके बीच कोई अतिरिक्त हैं। ऐसा करने के लिए, सहसंबंध गुणांक का उपयोग किया जाता है - एक मीट्रिक संकेतक जो उस डिग्री को मापता है जिसमें संख्यात्मक चर एक दूसरे से संबंधित होते हैं और 1 से -1 के बीच की सीमा में मान लेते हैं। सहसंबंध मैट्रिक्स एक तालिका है जिसमें पंक्तियाँ और स्तंभ चर हैं। और सेल वैल्यू इन चर के बीच सहसंबंध हैं। स्कैटरिंग आरेख - एक्स अक्ष के साथ एक चर के मानों, वाई अक्ष के साथ - दूसरा।

डेटा की सफाई

हमने डेटा की जांच करने के बाद, इसे साफ करने और संभवतः रूपांतरित करने की आवश्यकता है। इस स्तर पर, हमें इस प्रश्न का उत्तर प्राप्त करना चाहिए: हमें यथासंभव कुशलतापूर्वक उपयोग करने के लिए डेटा को तैयार करने की आवश्यकता कैसे है? हमें गलत डेटा से छुटकारा पाने, रिकॉर्ड गायब करने की प्रक्रिया, डुप्लिकेट को हटाने, और सुनिश्चित करें कि सब कुछ ठीक से स्वरूपित है। इसके अलावा इस स्तर पर हम सुविधाओं के एक सेट को परिभाषित करते हैं जिस पर मशीन लर्निंग आगे बनाया जाएगा। इस चरण के निष्पादन की गुणवत्ता यह निर्धारित करेगी कि डेटा में संकेत मशीन लर्निंग एल्गोरिदम के लिए अलग-अलग है या नहीं। यदि हम पाठ के साथ काम कर रहे हैं, तो मॉडल में उपयोग के लिए उपयुक्त विशेषताओं के एक सेट में असंरचित डेटा को चालू करने के लिए अतिरिक्त चरणों की आवश्यकता हो सकती है। डेटा तैयारी वह नींव है जिस पर अगले चरण बनाए जाएंगे। खाना पकाने में, बस एक खराब या बिना पका हुआ घटक पूरे पकवान को बर्बाद कर सकता है। डेटा को संभालने में कोई लापरवाही इस तथ्य को जन्म दे सकती है कि मॉडल अच्छे परिणाम नहीं दिखाएगा और कुछ कदम पीछे हटना होगा।

अवांछित प्रविष्टियों को हटाएं

पहला डेटा क्लीनअप ऑपरेशन में से एक अनावश्यक रिकॉर्ड को हटाना है। इसमें दो चरण शामिल हैं: डुप्लिकेट या गलत प्रविष्टियों को हटाना। जब हमने आउटलेर्स और एटिपिकल वैल्यूज़ का अध्ययन किया, तो हमें पिछले चरण में गलत मान मिले। हम विभिन्न स्रोतों से समान डेटा प्राप्त होने पर डुप्लिकेट डेटा प्राप्त कर सकते हैं।

संरचनात्मक त्रुटि सुधार

अक्सर ऐसे मामले होते हैं जहां समान श्रेणियों को अलग-अलग नाम दिया जा सकता है (बदतर, जब अलग-अलग श्रेणियों का एक ही नाम होता है): उदाहरण के लिए, मास्को सरकार के खुले आंकड़ों में, निर्माण डेटा को त्रैमासिक रूप से प्रस्तुत किया जाता है, लेकिन वर्ष के लिए कुल मात्रा एक वर्ष के रूप में हस्ताक्षरित होती है, और कुछ रिकॉर्ड 4 तिमाही के रूप में निर्दिष्ट हैं। इस मामले में, हम सही श्रेणी मान (यदि संभव हो) बहाल करते हैं।

यदि आपको पाठ डेटा के साथ काम करना है, तो कम से कम आपको निम्नलिखित जोड़तोड़ करने की आवश्यकता है: रिक्त स्थान निकालें, सभी स्वरूपण निकालें, मामले को संरेखित करें, वर्तनी की त्रुटियों को ठीक करें।

बाहर निकालना

मशीन सीखने के कार्यों के लिए, नमूने में डेटा में आउटलेर नहीं होना चाहिए और जितना संभव हो उतना मानकीकृत होना चाहिए, इसलिए इकाई सीमा मान को हटा दिया जाना चाहिए।

गुम डेटा प्रबंधन

लापता डेटा के साथ काम करना डेटा को साफ करने में सबसे कठिन चरणों में से एक है। डेटा के एक हिस्से की अनुपस्थिति, एक नियम के रूप में, अधिकांश एल्गोरिदम के लिए एक समस्या है, इसलिए आपको या तो उन रिकॉर्ड्स का उपयोग नहीं करना होगा जहां डेटा का एक हिस्सा गायब है, या डेटा की प्रकृति के बारे में किसी भी धारणा के आधार पर लापता लोगों को पुनर्स्थापित करने का प्रयास करें। उसी समय, हम समझते हैं कि डेटा अंतराल भरना (कोई फर्क नहीं पड़ता कि हम इसे कैसे परिष्कृत करते हैं) नई जानकारी नहीं जोड़ रहा है, लेकिन बस एक बैसाखी जो आपको अधिक प्रभावी रूप से बाकी जानकारी का उपयोग करने की अनुमति देती है। दोनों दृष्टिकोण इतनी आग नहीं हैं, क्योंकि किसी भी मामले में, हम जानकारी खो देते हैं। हालांकि, डेटा की कमी अपने आप में एक संकेत हो सकती है। उदाहरण के लिए, हम ईंधन भरने वाले डेटा की जांच करते हैं और सेंसर डेटा की कमी उल्लंघन का एक स्पष्ट संकेत हो सकता है।

श्रेणीबद्ध डेटा के साथ काम करते समय, इस प्रकार के लापता डेटा के साथ सबसे अच्छा हम इसे "लापता" के रूप में चिह्नित कर सकते हैं। इस कदम में वास्तव में एक नया श्रेणीबद्ध डेटा वर्ग जोड़ना शामिल है। एक समान तरीका संख्यात्मक प्रकार के लापता डेटा से निपटने के लिए है: आपको किसी तरह लापता डेटा को चिह्नित करने की आवश्यकता है, उदाहरण के लिए, लापता डेटा को शून्य से बदलें। लेकिन आपको यह ध्यान रखने की आवश्यकता है कि शून्य हमेशा फिट नहीं होता है। उदाहरण के लिए, हमारे डेटा काउंटर रीडिंग हैं और रीडिंग की अनुपस्थिति को डेटा मानों में वास्तविक शून्य के साथ भ्रमित नहीं किया जा सकता है।

डेटा सफाई उपकरण

एक नियम के रूप में, डेटा की सफाई एक बार की घटना नहीं है, सबसे अधिक संभावना है कि हमें नमूने में नए डेटा को जोड़ना होगा, जिसे फिर से विकसित सफाई प्रक्रियाओं से गुजरना होगा। प्रक्रिया का अनुकूलन करने के लिए, विशेष अनुप्रयोगों का उपयोग करना अच्छा है (इसके अलावा, निश्चित रूप से, एक्सेल 'I, जो उपयोगी भी हो सकता है), उदाहरण के लिए:

• टैलेंड डेटा तैयारी एक विज़ुअल इंटरफ़ेस वाला एक मुफ्त डेस्कटॉप अनुप्रयोग है जो डेटा सफाई कार्यों को सरल और स्वचालित करता है: यह आपको एक कस्टम डेटा प्रोसेसिंग पाइपलाइन बनाने की अनुमति देता है। आप कई प्रकार के डेटा स्रोतों का उपयोग कर सकते हैं, जिसमें टैलेंड शामिल हैं, जिसमें सीएसवी फाइलें या एक्सेल डेटा शामिल हैं।
• OpenRefine। इस उपकरण को Google Refine या Freebase Gridworks कहा जाता था। अब OpenRefine डेटा प्रारूपों को साफ करने और परिवर्तित करने के लिए एक लोकप्रिय डेस्कटॉप एप्लिकेशन है।
• ट्रिक्टीरा रैंगलर - एक डेस्कटॉप एप्लिकेशन जो आपको जटिल डेटा प्रकारों के साथ काम करने की अनुमति देता है, खोजपूर्ण डेटा विश्लेषण के लिए भी उपयोगी है। इसके लिए विशेष उपयोगकर्ता प्रशिक्षण की आवश्यकता नहीं है।

खैर, निश्चित रूप से, डेटा सफाई पाइपलाइन को किसी भी सुविधाजनक प्रोग्रामिंग भाषा में लागू किया जा सकता है - पायथन से लेकर स्काला तक, मुख्य बात यह है कि प्रसंस्करण एक स्वीकार्य समय लेता है।

और अंत में ...

जब हमने डेटा को साफ और बदल दिया, तो यह पता चल सकता है कि डेटा किसी तरह पर्याप्त नहीं है, इसलिए यह सामान्य है यदि आपको इस चरण से डेटा प्राप्त करने के चरण पर वापस लौटना है, तो चयन में अधिक मान जोड़ें, या नए डेटा स्रोतों की खोज करें। यह सामान्य है।

निष्कर्ष

, － , , , , : , , .

, .

PS: , , , !