कुछ समय पहले, एंड्रयू Ng की पुस्तक मशीन लर्निंग ईयरिंग के लिए मेरे फेसबुक फीड पर एक लिंक दिखाई दिया, जिसे मशीन लर्निंग पैशन या मशीन लर्निंग प्यास के रूप में अनुवादित किया जा सकता है।

इस क्षेत्र में मशीन सीखने या काम करने के इच्छुक लोगों को एंड्रयू को पेश करने की आवश्यकता नहीं है। बिन बुलाए के लिए, यह कहना पर्याप्त है कि वह कृत्रिम बुद्धिमत्ता के क्षेत्र में एक विश्वस्तरीय सितारा है। वैज्ञानिक, इंजीनियर, उद्यमी, कोर्टेरा के संस्थापकों में से एक। वे मशीन लर्निंग और डीप लर्निंग विशेषज्ञता को बनाने वाले पाठ्यक्रमों के लिए एक उत्कृष्ट परिचय के लेखक हैं।

एंड्रयू के लिए मेरे मन में गहरा सम्मान है, मैंने उनके पाठ्यक्रमों को लिया, इसलिए मैंने तुरंत प्रकाशित पुस्तक को पढ़ने का फैसला किया। यह पता चला कि पुस्तक अभी तक लिखी नहीं गई है और इसे भागों में प्रकाशित किया गया है, जैसा कि लेखक द्वारा लिखा गया है। सामान्य तौर पर, यह एक पुस्तक भी नहीं है, लेकिन भविष्य की पुस्तक का एक मसौदा (चाहे वह कागज के रूप में प्रकाशित किया जाएगा अज्ञात है)। तब यह विचार प्रकाशित होने वाले अध्यायों का अनुवाद करने के लिए आया था। वर्तमान में अनुवादित 14 अध्याय (यह पुस्तक का पहला प्रकाशित अंश है)। मैं इस काम को जारी रखने और पूरी किताब का अनुवाद करने की योजना बना रहा हूं। मैं अपने ब्लॉग में अनूदित अध्यायों को Habré पर प्रकाशित करूँगा।

इन पंक्तियों को लिखने के समय, लेखक ने ५६ में से ५२ अध्याय प्रकाशित किए हैं (५२ जुलाई को ५२ अध्यायों की तत्परता की सूचना मेरे मेल पर आई थी)। वर्तमान में उपलब्ध सभी अध्यायों को यहां डाउनलोड किया जा सकता है या इंटरनेट पर स्वयं पाया जा सकता है।

अपना अनुवाद प्रकाशित करने से पहले, मैंने अन्य अनुवादों की तलाश की, मुझे यह मिल गया, यह भी हैबे पर प्रकाशित हुआ। सच है, केवल पहले 7 अध्यायों का अनुवाद किया गया है। मैं यह नहीं आंक सकता कि किसका अनुवाद बेहतर है। न तो मैं और न ही IliaSafonov (जैसा कि मैं पढ़ने से महसूस करता हूं) पेशेवर अनुवादक हैं। मुझे कुछ भाग अधिक पसंद हैं, कुछ इल्या। इल्या की प्रस्तावना में, आप पुस्तक के बारे में दिलचस्प विवरण पढ़ सकते हैं, जिसे मैं छोड़ देता हूं।

मैं अपने अनुवाद को बिना प्रूफरीडिंग के, "ओवन से" प्रकाशित करता हूं, मैं कुछ स्थानों पर लौटने और इसे सही करने की योजना बनाता हूं (यह विशेष रूप से ट्रेन / देव / परीक्षण डेटासेट के साथ भ्रम पर लागू होता है)। अगर लेखक की शैली के बारे में टिप्पणियों, त्रुटियों आदि पर टिप्पणी दी जाएगी, साथ ही साथ पाठ के बारे में जानकारीपूर्ण होने पर मैं आभारी रहूंगा।

सभी चित्र मूल (एंड्रयू यून से) हैं, उनके बिना पुस्तक अधिक उबाऊ होगी।

तो, पुस्तक के लिए:

अध्याय 1. हमें मशीन सीखने की रणनीति की आवश्यकता क्यों है?

मशीन लर्निंग अनगिनत महत्वपूर्ण अनुप्रयोगों के केंद्र में है, जिसमें वेब खोज, ईमेल एंटीस्पैम, भाषण पहचान, उत्पाद सिफारिशें और अन्य शामिल हैं। मुझे लगता है कि आप या आपकी टीम मशीन सीखने के अनुप्रयोगों पर काम कर रही है। और यह कि आप इस कार्य में अपनी प्रगति में तेजी लाना चाहते हैं। यह पुस्तक आपको ऐसा करने में मदद करेगी।

उदाहरण: एक बिल्ली के समान चित्र पहचान स्टार्टअप बनाना

मान लीजिए आप एक स्टार्टअप में काम कर रहे हैं, जो कैट प्रेमियों के लिए कैट फोटोज की अंतहीन स्ट्रीम प्रोसेस करता है।

आप तस्वीरों में बिल्लियों को पहचानने के लिए कंप्यूटर विजन सिस्टम बनाने के लिए एक न्यूरल नेटवर्क का उपयोग करते हैं।

लेकिन दुर्भाग्य से, आपके सीखने के एल्गोरिथ्म की गुणवत्ता अभी भी पर्याप्त नहीं है और आप पर अपने बिल्ली डिटेक्टर को सुधारने का जबरदस्त दबाव है।
क्या करें?

आपकी टीम के पास कई विचार हैं, जैसे:

• अधिक डेटा प्राप्त करें: बिल्लियों की अधिक तस्वीरें एकत्र करें।
• अधिक विषम डेटासेट लीजिए। उदाहरण के लिए, असामान्य स्थिति में बिल्लियों की तस्वीरें; असामान्य रंग के साथ बिल्लियों की तस्वीरें; विभिन्न कैमरा सेटिंग्स के साथ चित्र ...
• ढाल वंश की पुनरावृत्तियों की संख्या में वृद्धि करके एल्गोरिथ्म को अधिक समय तक प्रशिक्षित करें
• कई परतों / छिपे हुए न्यूरॉन्स / मापदंडों के साथ तंत्रिका नेटवर्क को बढ़ाने की कोशिश करें।
• तंत्रिका नेटवर्क को कम करने का प्रयास करें।
• नियमित करने की कोशिश करें (जैसे L2 नियमितिकरण)
• तंत्रिका नेटवर्क (सक्रियण फ़ंक्शन, छिपे हुए न्यूरॉन्स की संख्या, आदि) की वास्तुकला बदलें
• ...

यदि आप सफलतापूर्वक इन संभावित दिशाओं के बीच चयन करते हैं, तो आप एक अग्रणी कैट इमेज प्रोसेसिंग प्लेटफॉर्म का निर्माण करेंगे और अपनी कंपनी को सफलता की ओर ले जाएंगे। यदि आपकी पसंद असफल है, तो आप महीनों के काम को बेकार कर सकते हैं।
क्या करें?

यह पुस्तक आपको बताएगी कि कैसे।

अधिकांश मशीन सीखने के कार्यों में संकेत होते हैं जो आपको बता सकते हैं कि क्या प्रयास करना उपयोगी होगा और क्या प्रयास करना बेकार है। यदि आप इन युक्तियों को पढ़ना सीखते हैं, तो आप महीनों और वर्षों के विकास को बचा सकते हैं।

2. अपनी टीम को काम करने में मदद करने के लिए इस पुस्तक का उपयोग कैसे करें

जब आप इस पुस्तक को पढ़ना समाप्त कर लेते हैं, तो आपको इस बात की गहरी समझ होगी कि मशीन सीखने की परियोजना के लिए तकनीकी दिशा का चयन कैसे करें।

लेकिन यह आपके साथियों के लिए स्पष्ट नहीं हो सकता है कि आप एक निश्चित दिशा की सिफारिश क्यों करते हैं। शायद आप चाहते हैं कि आपकी टीम एल्गोरिथम की गुणवत्ता का आकलन करने में एक-पैरामीटर मीट्रिक का उपयोग करे, लेकिन सहकर्मियों को यकीन नहीं है कि यह एक अच्छा विचार है। आप उन्हें कैसे मनाते हैं?

इसलिए मैंने अध्यायों को छोटा बना दिया: ताकि आप उन्हें प्रिंट कर सकें और अपने सहकर्मियों को एक या दो पेज वाली सामग्री दे सकें, जिसके साथ आपको टीम को परिचित करना होगा।

प्राथमिकता में छोटे बदलाव आपकी टीम की उत्पादकता पर भारी प्रभाव डाल सकते हैं। इन छोटे बदलावों की मदद से, मुझे आशा है कि आप अपनी टीम के महानायक बन सकते हैं!

3. पृष्ठभूमि और टिप्पणी

यदि आपने मशीन सीखने का कोर्स पूरा कर लिया है, जैसे कि कोर्टेरा में मेरा एमओओसी मशीन सीखने का कोर्स, या यदि आपके पास एक शिक्षक के साथ शिक्षण एल्गोरिदम का अनुभव है, तो आपके लिए इस पाठ को समझना मुश्किल नहीं होगा।

मुझे लगता है कि आप "शिक्षक प्रशिक्षण" से परिचित हैं: एक फ़ंक्शन सीखना जो लेबल प्रशिक्षण उदाहरणों (x, y) का उपयोग करके x को y से जोड़ता है। एक शिक्षक के साथ लर्निंग एल्गोरिदम में रैखिक प्रतिगमन, लॉजिस्टिक प्रतिगमन, तंत्रिका नेटवर्क और अन्य शामिल हैं। आज, मशीन लर्निंग के कई रूप और दृष्टिकोण हैं, लेकिन व्यावहारिक महत्व के अधिकांश दृष्टिकोण कक्षा के एल्गोरिदम से सीखते हैं "एक शिक्षक के साथ सीखना।"

मैं अक्सर तंत्रिका नेटवर्क ("गहन सीखने" के लिए) का उल्लेख करूंगा। इस पाठ को समझने के लिए आपको केवल मूल विचारों की आवश्यकता है।

यदि आप यहां बताई गई अवधारणाओं से परिचित नहीं हैं, तो Coursera http://ml-class.org/ पर मशीन लर्निंग कोर्स के पहले तीन हफ्तों का वीडियो देखें

4. मशीन सीखने में प्रगति पट्टी

गहरी शिक्षा (तंत्रिका नेटवर्क) के लिए कई विचार दशकों से मौजूद हैं। ये विचार आज ही क्यों उमड़ पड़े?

हाल की प्रगति के दो सबसे बड़े चालक हैं:

• डेटा उपलब्धता आज, लोग कंप्यूटिंग डिवाइस (लैपटॉप, मोबाइल डिवाइस) के साथ बहुत समय बिताते हैं। उनकी डिजिटल गतिविधि बड़ी मात्रा में डेटा उत्पन्न करती है जिसे हम अपने शिक्षण एल्गोरिदम को खिला सकते हैं।
• कम्प्यूटिंग पावर केवल कुछ साल पहले यह पर्याप्त रूप से बड़े आकार के तंत्रिका नेटवर्क को प्रशिक्षित करना संभव हो गया, जिससे आपको हमारे पास मौजूद विशाल डेटासेट का उपयोग करने का लाभ मिल सके।

यदि आप बहुत अधिक डेटा जमा करते हैं, तो मैं स्पष्ट करता हूं, आमतौर पर पुराने लर्निंग एल्गोरिदम की सटीकता की वृद्धि वक्र, जैसे कि लॉजिस्टिक रिग्रेशन "सपाट" होता है। इसका मतलब यह है कि सीखने की अवस्था "चपटा" है और एल्गोरिथ्म की भविष्यवाणी की गुणवत्ता इस तथ्य के बावजूद बढ़ती जा रही है कि आप इसे प्रशिक्षण के लिए अधिक डेटा देते हैं।

ऐसा लगता है कि पुराने एल्गोरिदम को पता नहीं है कि इस सभी डेटा के साथ क्या करना है जो अब हमारे निपटान में है।

यदि आप एक "शिक्षक के साथ सीखने" के लिए एक छोटे तंत्रिका नेटवर्क (एनएन) को प्रशिक्षित करते हैं, तो आपको "पुराने एल्गोरिदम" की तुलना में थोड़ा बेहतर परिणाम मिल सकता है।

यहाँ, "छोटा एनएन" से हमारा तात्पर्य है एक छोटी संख्या में छिपे हुए न्यूरॉन्स / परतों / मापदंडों के साथ एक तंत्रिका नेटवर्क। अंत में, यदि आप कभी बड़े और बड़े तंत्रिका नेटवर्क को प्रशिक्षित करना शुरू करते हैं, तो आप कभी भी उच्च गुणवत्ता प्राप्त कर सकते हैं।

लेखक का ध्यान दें : यह चित्र दिखाता है कि तंत्रिका नेटवर्क छोटे डेटासेट मोड में बेहतर प्रदर्शन करते हैं। यह प्रभाव तंत्रिका नेटवर्क के प्रभाव से कम स्थिर है जो विशाल डेटासेट मोड में अच्छी तरह से काम करता है। छोटे डेटा मोड में, सुविधाओं के प्रसंस्करण (सुविधाओं की इंजीनियरिंग की गुणवत्ता के आधार पर) के आधार पर, पारंपरिक एल्गोरिदम तंत्रिका नेटवर्क की तुलना में बेहतर और खराब दोनों काम कर सकते हैं। उदाहरण के लिए, यदि आपके पास प्रशिक्षण के लिए 20 उदाहरण हैं, तो यह वास्तव में मायने नहीं रखता है यदि आप लॉजिस्टिक प्रतिगमन या एक तंत्रिका नेटवर्क का उपयोग करते हैं; एल्गोरिथ्म की पसंद की तुलना में सुविधा की तैयारी का अधिक प्रभाव है। हालांकि, यदि आपके पास 1 मिलियन प्रशिक्षण उदाहरण हैं, तो मैं एक तंत्रिका नेटवर्क पसंद करूंगा।

इस प्रकार, आपको एल्गोरिथ्म की सबसे अच्छी गुणवत्ता मिलती है जब आप (i) एक बहुत बड़े तंत्रिका नेटवर्क को प्रशिक्षित करते हैं, जिस स्थिति में आप ऊपर की तस्वीर में हरे रंग की वक्र पर हैं; (ii) आपके पास अपने निपटान में बड़ी मात्रा में डेटा है।

कई अन्य विवरण, जैसे तंत्रिका नेटवर्क वास्तुकला भी महत्वपूर्ण हैं, और इस क्षेत्र में कई अभिनव समाधान बनाए गए हैं। लेकिन आज एल्गोरिथ्म की गुणवत्ता में सुधार करने का सबसे विश्वसनीय तरीका अभी भी है (i) प्रशिक्षण के लिए अधिक डेटा प्राप्त करने वाले प्रशिक्षित तंत्रिका नेटवर्क (ii) के आकार में वृद्धि।

संयुक्त रूप से शर्तों को पूरा करने की प्रक्रिया (i) और (ii) व्यवहार में आश्चर्यजनक रूप से जटिल है। इस पुस्तक में इसके विवरण पर विस्तार से चर्चा होगी। हम सामान्य रणनीतियों के साथ शुरू करते हैं जो पारंपरिक एल्गोरिदम और तंत्रिका नेटवर्क दोनों के लिए समान रूप से उपयोगी हैं, और फिर गहन शिक्षण प्रणालियों के डिजाइन और विकास में उपयोग की जाने वाली सबसे आधुनिक रणनीतियों का अध्ययन करते हैं।

5. एल्गोरिदम के प्रशिक्षण और परीक्षण के लिए नमूने बनाना

आइए ऊपर हमारी बिल्ली के फोटो उदाहरण पर जाएं: आपने एक मोबाइल एप्लिकेशन लॉन्च किया है और उपयोगकर्ता आपके एप्लिकेशन पर बड़ी संख्या में विभिन्न फ़ोटो अपलोड करते हैं। आप स्वचालित रूप से बिल्लियों की तस्वीरें ढूंढना चाहते हैं।

आपकी टीम बिल्लियों की तस्वीरें (सकारात्मक उदाहरण) और उन तस्वीरों को डाउनलोड करके एक बड़ा प्रशिक्षण सेट प्राप्त करती है जिसमें विभिन्न वेबसाइटों से कोई भी बिल्लियों (नकारात्मक उदाहरण) नहीं हैं। उन्होंने डेटासेट को प्रशिक्षण और परीक्षण में 70% से 30% के अनुपात में विभाजित किया। इस डेटा का उपयोग करते हुए, उन्होंने एक एल्गोरिथ्म का निर्माण किया जो बिल्लियों को ढूंढता है जो प्रशिक्षण और परीक्षण डेटा दोनों पर अच्छी तरह से काम करता है।

हालाँकि, जब आपने इस क्लासिफायर को मोबाइल एप्लिकेशन में पेश किया, तो आपने पाया कि इसकी गुणवत्ता बहुत खराब है!

क्या हुआ?

आपको अचानक पता चलता है कि उपयोगकर्ता जो तस्वीरें आपके मोबाइल एप्लिकेशन पर अपलोड करते हैं, वे उन वेबसाइटों की तस्वीरों की तुलना में पूरी तरह से अलग हैं जो आपके प्रशिक्षण डेटासेट बनाती हैं: उपयोगकर्ता मोबाइल फोन कैमरों के साथ ली गई तस्वीरें अपलोड करते हैं, जो आमतौर पर होती हैं कम संकल्प, कम तेज और कम रोशनी में बनाया गया। वेबसाइटों से तस्वीरों से एकत्र किए गए अपने प्रशिक्षण / परीक्षण के नमूनों पर प्रशिक्षण के बाद, आपका एल्गोरिथ्म आपके आवेदन के लिए प्रासंगिक डेटा के वास्तविक वितरण (मोबाइल फोन कैमरों के साथ ली गई तस्वीरें) के परिणामों को गुणात्मक रूप से सामान्य नहीं कर सकता है।

बड़े डेटा के आधुनिक युग के आगमन से पहले, मशीन लर्निंग का सामान्य नियम 70% से 30% के अनुपात में डेटा को शैक्षिक और परीक्षण डेटा में विभाजित करना था। इस तथ्य के बावजूद कि यह दृष्टिकोण अभी भी काम करता है, इसे अधिक से अधिक अनुप्रयोगों में उपयोग करने के लिए एक बुरा विचार होगा जहां प्रशिक्षण नमूने का वितरण (ऊपर चर्चा की गई उदाहरणों में वेबसाइटों से फोटो), वितरण में उपयोग किए जाने वाले डेटा के वितरण से अलग है आपके एप्लिकेशन का मोड (मोबाइल फोन के कैमरे से तस्वीरें)।

निम्नलिखित परिभाषाओं का आमतौर पर उपयोग किया जाता है:

• प्रशिक्षण सेट - डेटा का एक नमूना जिसका उपयोग एल्गोरिदम को प्रशिक्षित करने के लिए किया जाता है
• सत्यापन नमूना (देव (विकास) सेट) - एक डेटा नमूना जो मापदंडों का चयन करने, सुविधाओं का चयन करने और एल्गोरिथ्म के प्रशिक्षण के संबंध में अन्य निर्णय लेने के लिए उपयोग किया जाता है। इसे कभी-कभी होल्ड-आउट क्रॉस सत्यापन सेट के रूप में भी संदर्भित किया जाता है।
• परीक्षण नमूना - एक नमूना जिसका उपयोग एल्गोरिथ्म की गुणवत्ता का आकलन करने के लिए किया जाता है, जबकि इसका उपयोग एल्गोरिदम या इस प्रशिक्षण में उपयोग किए जाने वाले मापदंडों को सिखाने के लिए नहीं किया जाता है।

अनुवादक की टिप्पणी: एंड्रयू यूं विकास और देव सेट की अवधारणा का उपयोग रूसी में और रूसी भाषा में मशीन सीखने की शब्दावली में करते हैं, ऐसा कोई शब्द नहीं होता है। "डिजाइन नमूना" या "डिजाइन नमूना" (अंग्रेजी शब्दों का सीधा अनुवाद) बोझिल लगता है। इसलिए, मैं देव सेट के अनुवाद के रूप में वाक्यांश "सत्यापन चयन" का उपयोग करना जारी रखूंगा।

अनुवादक 2 का रिमार्क: DArtN ने देव सेट को "डिबगिंग सैंपलिंग" के रूप में अनुवाद करने का सुझाव दिया; मुझे लगता है कि यह एक बहुत अच्छा विचार है, लेकिन मैंने पहले ही पाठ की एक बड़ी मात्रा पर "सत्यापन नमूना" शब्द का इस्तेमाल किया है और अब इसे बदलने के लिए श्रमसाध्य है। निष्पक्षता में, मैं ध्यान देता हूं कि "सत्यापन नमूना" शब्द का एक फायदा है - इस नमूने का उपयोग एल्गोरिदम की गुणवत्ता का मूल्यांकन करने के लिए किया जाता है (प्रशिक्षण नमूने में प्रशिक्षित एल्गोरिथ्म की गुणवत्ता का आकलन करने के लिए), इसलिए, एक अर्थ में, यह "परीक्षण" है, शब्द "सत्यापन"। इस पहलू को शामिल करता है। विशेषण "डिबगिंग" ट्यूनिंग मापदंडों पर केंद्रित है। लेकिन कुल मिलाकर, यह एक बहुत अच्छा शब्द है (विशेषकर रूसी भाषा के दृष्टिकोण से) और अगर यह पहले मेरे दिमाग में आया था, तो मैं "सत्यापन नमूना" शब्द के बजाय इसका इस्तेमाल करूंगा।

सत्यापन और परीक्षण नमूने चुनें ताकि यह (मापदंडों के चयन (समायोजन) को छोड़कर) उस डेटा को प्रतिबिंबित करे जो आप भविष्य में प्राप्त करने की अपेक्षा करते हैं और चाहते हैं कि आपका एल्गोरिदम उन पर अच्छा काम करे।
दूसरे शब्दों में, आपके परीक्षण का नमूना उपलब्ध डेटा का सिर्फ 30% नहीं होना चाहिए, खासकर यदि आप उम्मीद करते हैं कि भविष्य में आने वाले डेटा (मोबाइल फोन से फोटो) आपके प्रशिक्षण सेट (वेब ​​से ली गई तस्वीरों) से अलग-अलग होंगे। साइटों)।

यदि आपने अभी तक अपना मोबाइल एप्लिकेशन लॉन्च नहीं किया है, तो आपके पास उपयोगकर्ता नहीं हो सकते हैं, और परिणामस्वरूप, ऐसे डेटा उपलब्ध नहीं हो सकते हैं जो मुकाबला डेटा को दर्शाता है जिसे आपके एल्गोरिथ्म को संभालना चाहिए। लेकिन आप उन्हें अनुमानित करने की कोशिश कर सकते हैं। उदाहरण के लिए, अपने दोस्तों को मोबाइल फोन का उपयोग करके बिल्लियों की तस्वीरें लेने और उन्हें आपके पास भेजने के लिए कहें। अपना एप्लिकेशन लॉन्च करने के बाद, आप वर्तमान उपयोगकर्ता डेटा का उपयोग करके अपने सत्यापन और परीक्षण नमूनों को अपडेट कर पाएंगे।

यदि आप उन डेटा को प्राप्त करने में असमर्थ हैं जो उपयोगकर्ताओं द्वारा अपलोड किए जाने वाले डेटा का अनुमान लगाते हैं, तो आप संभवतः वेबसाइटों से फ़ोटो का उपयोग शुरू करने का प्रयास कर सकते हैं। लेकिन आपको पता होना चाहिए कि यह जोखिम उठाता है कि सिस्टम मुकाबला डेटा के साथ अच्छी तरह से काम नहीं करेगा (इसकी सामान्य क्षमता उनके लिए अपर्याप्त होगी)।

सत्यापन और परीक्षण के नमूनों के विकास के लिए एक गंभीर दृष्टिकोण और गहन विचार की आवश्यकता है। शुरू में यह मत कहो कि आपके प्रशिक्षण सेट का वितरण परीक्षण सेट के वितरण से बिल्कुल मेल खाना चाहिए। परीक्षण के मामलों को इस तरह से चुनने की कोशिश करें कि वे उस डेटा के वितरण को दर्शाते हैं जिस पर आप चाहते हैं कि आपका एल्गोरिदम अंत में अच्छी तरह से काम करे, न कि प्रशिक्षण नमूना बनाते समय आपके निपटान में मौजूद डेटा।

6. सत्यापन और परीक्षण के नमूनों का समान वितरण होना चाहिए

मान लीजिए कि आपकी कैट फोटो ऐप का डेटा आपके सबसे बड़े बाजारों के अनुरूप चार क्षेत्रों में विभाजित है: (i) यूएसए, (ii) चीन, (iii) भारत, (iv) अन्य।

मान लीजिए कि हमने अमेरिकी और भारतीय बाजारों से प्राप्त आंकड़ों से एक सत्यापन नमूना बनाया, और एक परीक्षण चीनी और अन्य डेटा के आधार पर किया। दूसरे शब्दों में, हम एक सत्यापन नमूना प्राप्त करने के लिए दो खंडों को यादृच्छिक रूप से असाइन कर सकते हैं और दो अन्य को एक परीक्षण नमूना प्राप्त कर सकते हैं। है न?

आपके द्वारा सत्यापन और परीक्षण नमूने निर्धारित करने के बाद, आपकी टीम सत्यापन नमूने पर एल्गोरिथ्म के संचालन को बेहतर बनाने पर ध्यान केंद्रित करेगी। इस प्रकार, सत्यापन नमूना को उन कार्यों को प्रतिबिंबित करना चाहिए जिन्हें हल करना सबसे महत्वपूर्ण है - एल्गोरिथ्म को सभी चार भौगोलिक खंडों पर अच्छी तरह से काम करना चाहिए, और केवल दो नहीं।

सत्यापन और परीक्षण के नमूनों के विभिन्न वितरणों से उत्पन्न दूसरी समस्या यह है कि यह संभावना है कि आपकी टीम कुछ ऐसा विकसित करेगी जो सत्यापन नमूने पर अच्छी तरह से काम करेगी केवल यह पता लगाने के लिए कि यह परीक्षण नमूने में खराब गुणवत्ता का उत्पादन करता है। मैंने कई निराशाएं देखी हैं और इस वजह से प्रयासों को बर्बाद किया है। आपके साथ ऐसा होने से बचें।

उदाहरण के लिए, मान लीजिए कि आपकी टीम ने एक प्रणाली विकसित की है जो एक मान्य नमूने पर अच्छी तरह से काम करती है, लेकिन एक परीक्षण पर काम नहीं करती है। यदि आपका सत्यापन और परीक्षण नमूने समान वितरण से प्राप्त किए जाते हैं, तो आप [उस का एक बहुत ही स्पष्ट निदान प्राप्त कर सकते हैं] आसानी से निदान कर सकते हैं कि क्या गलत हुआ: आपका एल्गोरिथ्म सत्यापन नमूने पर मुकर गया। इस समस्या का स्पष्ट इलाज सत्यापन नमूनाकरण के लिए अधिक डेटा का उपयोग करना है।

, .

2. , . , .
3. , , . . .

. , — . , , , .

, , , ( ). , , , . — , . , , , , . .

7. ?

, . , 90.0% 90.1%, , , 100 , 0.1%.
: . ( ), .

— , , -, , , 0.01% , . , 10000, , .

? . 30% . , , 100 10000 . , , , , , . / , , .

8.

: ( ), , , . , 97% , 90%, .

(precision) (recall), . . . :

, .

: (precision) () , , . (recall) () , , . , .

, , , , . . , (accuracy) , .

, , . , . F1 , , .
: F1 , . ​https://en.wikipedia.org/wiki/F1_score , « » , 2/((1/Precision)+(1/Recall)).

, . .

, , : (i) , (ii) , (iii) (iv) . . , . .

9.

.
, . :

, , [] — 0.5*[] , .

: -, , «». , 100 . , . (satisficing) — , , 100 . .

N , ( - , ), , , N-1 . . . , . (N-) , . , , , .

, , « », ( , ). , Amazon Echo «Alexa»; Apple Siri «Hey Siri»; Android «Okay, Google»; Baidu «Hello Baidu». false-positive — , , false-negative — . false-negative ( ) false positive 24 ( ).

.

10

, . - . , :

1. ,
2. ( )
3. , . ( !) , .

. , . : , , .

, , . , - , , . ! , 95.0% 95.1%, 0.1% () . 0.1%- . , , ( ) , , .

11 (dev/test sets)

, , .

, . - , . , . , . , .

, dev/test , , . , + A , B, , , , dev/test .

, - :

1. , , dev/test

, dev/test . , , , . dev/test , , . dev/test , .

2. (dev set)

एक सत्यापन सेट (देव सेट) पर विचारों के कई विकास की प्रक्रिया आपके एल्गोरिथ्म को धीरे-धीरे उस पर पीछे ले जाती है। जब आपने विकास पूरा कर लिया है, तो आप एक परीक्षण नमूने पर अपने सिस्टम की गुणवत्ता का मूल्यांकन करते हैं। यदि आप पाते हैं कि सत्यापन सेट (परीक्षण सेट) की तुलना में आपके एल्गोरिथ्म की वैल्यूएशन सेट (डेव सेट) की गुणवत्ता बेहतर है, तो यह इंगित करता है कि आप सत्यापन के नमूने पर मुकर गए। इस मामले में, आपको एक नया सत्यापन नमूना प्राप्त करने की आवश्यकता है।

यदि आपको अपनी टीम की प्रगति को ट्रैक करने की आवश्यकता है, तो आप एक परीक्षण नमूने पर एल्गोरिथ्म की गुणवत्ता के मूल्यांकन का उपयोग करके, नियमित रूप से, आपके सिस्टम की गुणवत्ता, साप्ताहिक या मासिक का मूल्यांकन भी कर सकते हैं। हालांकि, एल्गोरिथ्म के बारे में कोई भी निर्णय लेने के लिए परीक्षण सेट का उपयोग न करें, जिसमें पिछले सप्ताह परीक्षण किए गए सिस्टम के पिछले संस्करण में वापस आना शामिल है। यदि आप एल्गोरिथ्म को बदलने के लिए परीक्षण नमूने का उपयोग करना शुरू करते हैं, तो आप परीक्षण नमूने पर फिर से देखना शुरू कर देंगे और अपने एल्गोरिथ्म की गुणवत्ता का एक उद्देश्य मूल्यांकन प्राप्त करने के लिए उस पर भरोसा नहीं कर सकते हैं (जो आपको शोध लेख प्रकाशित करने की आवश्यकता है, या शायद इन मैट्रिक्स का उपयोग करें व्यापार के महत्वपूर्ण निर्णय लेने के लिए)।

3. मीट्रिक कुछ अलग करता है जो परियोजना के उद्देश्यों के लिए अनुकूलित होने की आवश्यकता है

मान लें कि आपकी फ़लाइन ऐप के लिए, आपकी मीट्रिक वर्गीकरण सटीकता है। यह मीट्रिक वर्तमान में क्लासिफायर ए को एक श्रेष्ठ क्लासिफायरियर बी के रूप में रैंक करता है। लेकिन मान लीजिए कि आपने दोनों एल्गोरिदम की कोशिश की और पाया कि यादृच्छिक अश्लील चित्र क्लासिफायर ए के माध्यम से फिसल जाते हैं। हालांकि क्लासिफायर A अधिक सटीक है, लेकिन बेतरतीब अश्लील चित्रों द्वारा छोड़ी गई खराब छाप इसकी गुणवत्ता को असंतोषजनक बनाती है। आपने क्या गलत किया?

इस स्थिति में, मीट्रिक जो एल्गोरिदम की गुणवत्ता का मूल्यांकन करता है वह यह निर्धारित नहीं कर सकता है कि एल्गोरिथम बी आपके उत्पाद के लिए एल्गोरिथम ए से बेहतर है। इस प्रकार, आप अब सर्वश्रेष्ठ एल्गोरिथ्म का चयन करने के लिए मीट्रिक पर भरोसा नहीं कर सकते। गुणवत्ता मूल्यांकन मीट्रिक को बदलने का समय आ गया है। उदाहरण के लिए, आप अश्लील चित्र को लंघन के लिए एल्गोरिथ्म पर एक गंभीर जुर्माना लगाकर मीट्रिक को बदल सकते हैं। मैं एक नए मीट्रिक को चुनने की अत्यधिक अनुशंसा करता हूं और इस नए मीट्रिक का उपयोग टीम के लिए एक नया लक्ष्य स्पष्ट रूप से निर्धारित करने के लिए करता हूं, न कि किसी गैर-विश्वसनीय मीट्रिक के साथ बहुत लंबे समय तक काम करने के लिए, प्रत्येक बार क्लासिफायरफायर के बीच मैनुअल चयन के लिए वापस जाने के लिए।

देव / परीक्षण के नमूने बदलने या किसी परियोजना पर काम करते समय गुणवत्ता मूल्यांकन मीट्रिक को बदलने के लिए ये काफी सामान्य दृष्टिकोण हैं। मूल देव / परीक्षण नमूने और मेट्रिक्स होने से आप जल्दी से अपनी परियोजना पर चलना शुरू कर सकते हैं। यदि आप यह भी पाते हैं कि चयनित देव / परीक्षण चयन या मैट्रिक्स अब आपकी टीम को सही दिशा में उन्मुख नहीं करते हैं, तो यह वास्तव में मायने नहीं रखता है! बस उन्हें बदलें और सुनिश्चित करें कि आपकी टीम एक नई दिशा के बारे में जानती है।

12 सिफारिशें: हम सत्यापन (विकास) और परीक्षण नमूने तैयार करते हैं

• एक वितरण से देव और परीक्षण नमूनों का चयन करें जो उस डेटा को दर्शाता है जिसे आप भविष्य में प्राप्त करने की उम्मीद करते हैं और जिस पर आप चाहते हैं कि आपका एल्गोरिथ्म अच्छी तरह से काम करे। ये नमूने आपके प्रशिक्षण डेटासेट के वितरण के साथ मेल नहीं खा सकते हैं।
• यदि संभव हो तो उसी वितरण से देव परीक्षण सेट का चयन करें
• अपनी टीम के लिए अनुकूलन के लिए एल्गोरिदम की गुणवत्ता का मूल्यांकन करने के लिए एक-पैरामीटर मीट्रिक चुनें। यदि आपके पास कई लक्ष्य हैं जो आपको एक ही समय में प्राप्त करने की आवश्यकता है, तो उन्हें एक ही सूत्र में संयोजित करने पर विचार करें (जैसे कि औसतीकृत मल्टीमीटर व्यास की मीट्रिक) या प्रतिबंधात्मक और अनुकूलन मेट्रिक्स को परिभाषित करें।
• मशीन लर्निंग एक उच्च पुनरावृत्ति प्रक्रिया है: आप एक को खोजने से पहले कई विचारों की कोशिश कर सकते हैं जो आपको संतुष्ट करता है।
• देव / परीक्षण नमूनों की उपस्थिति और एक-पैरामीटर गुणवत्ता मूल्यांकन मीट्रिक आपको एल्गोरिदम का शीघ्रता से मूल्यांकन करने में मदद करेगा, और इस प्रकार, तेजी से पुनरावृति।
• जब एक नया अनुप्रयोग का विकास शुरू होता है, तो देव / परीक्षण के नमूने और गुणवत्ता मूल्यांकन मीट्रिक को जल्दी से स्थापित करने का प्रयास करें, कहते हैं, इस पर एक सप्ताह से अधिक नहीं खर्च करें। परिपक्व अनुप्रयोगों के लिए, यह सामान्य है अगर यह प्रक्रिया काफी समय लेती है।
• प्रशिक्षण और परीक्षण के नमूनों को 70% से 30% तक विभाजित करने की अच्छी पुरानी अनुमानी उन समस्याओं पर लागू नहीं होती है जिनमें बड़ी मात्रा में डेटा होता है; देव / परीक्षण के नमूने सभी उपलब्ध आंकड़ों के 30% से काफी कम हो सकते हैं।
• यदि आपका विकास नमूना और मीट्रिक अब आपकी टीम को सही दिशा नहीं बताता है, तो जल्दी से उन्हें बदल दें: (i) यदि आपका एल्गोरिथ्म सत्यापन सेट (देव सेट) पर मुकर गया है, तो इसमें और अधिक डेटा जोड़ें (आपके देव सेट में)। (ii) यदि वास्तविक डेटा का वितरण, एल्गोरिथ्म की गुणवत्ता जिस पर आपको सुधार करने की आवश्यकता है, सत्यापन में डेटा के वितरण से अलग है और (या) परीक्षण के नमूने (देव / परीक्षण सेट), परीक्षण और विकास के लिए नए नमूने बनाएं (देव / परीक्षण सेट,) अन्य डेटा का उपयोग करना। (iii) यदि आपका गुणवत्ता मूल्यांकन मीट्रिक अब आपके प्रोजेक्ट के लिए सबसे महत्वपूर्ण नहीं है, तो उस मीट्रिक को बदल दें।

13 अपना पहला सिस्टम जल्दी से बनाएं और फिर पुनरावृति से अपग्रेड करें

आप ईमेल के लिए एक नया एंटी-स्पैम सिस्टम बनाना चाहते हैं। आपकी टीम के पास कई विचार हैं:

• स्पैम ईमेल से युक्त एक विशाल प्रशिक्षण नमूना लीजिए। उदाहरण के लिए, एक डिकॉय स्थापित करें: जानबूझकर ज्ञात स्पैमर्स को नकली ईमेल पते भेजें, ताकि आप स्वचालित रूप से स्पैम ईमेल एकत्र कर सकें कि वे इन पते पर भेज देंगे
• पत्र की पाठ्य सामग्री को समझने के लिए संकेत विकसित करें
• पत्र / शीर्षक के खोल को समझने के लिए संकेत विकसित करने के लिए, संकेत जो इंटरनेट सर्वर के माध्यम से पत्र पारित किया
• और इसी तरह

हालांकि मैंने एंटी-स्पैम एप्लिकेशन पर कड़ी मेहनत की, फिर भी मेरे लिए इनमें से किसी एक क्षेत्र को चुनना मुश्किल होगा। यह और भी मुश्किल होगा यदि आप उस क्षेत्र के विशेषज्ञ नहीं हैं जिसके लिए एप्लिकेशन विकसित किया जा रहा है।

इसलिए, शुरुआत से ही एक आदर्श प्रणाली बनाने की कोशिश न करें। इसके बजाय, एक सरल प्रणाली का निर्माण और प्रशिक्षण जितनी जल्दी हो सके, संभवतः कुछ दिनों में।
लेखक का ध्यान दें: यह टिप उन पाठकों के लिए है जो एआई एप्लिकेशन विकसित करना चाहते हैं, बजाय इसके कि जिनका लक्ष्य अकादमिक लेख प्रकाशित करना है। बाद में, मैं शोध के विषय पर लौटूंगा।
यहां तक ​​कि अगर एक सरल प्रणाली एक "आदर्श" प्रणाली से दूर है जिसे आप बना सकते हैं, तो यह अध्ययन करना उपयोगी होगा कि यह सरल प्रणाली कैसे काम करती है: आप जल्दी से उन युक्तियों को पाएंगे जो आपको सबसे अधिक आशाजनक क्षेत्र दिखाते हैं जिसमें आपको अपना समय निवेश करना चाहिए। अगले कुछ अध्याय आपको बताएंगे कि इन युक्तियों को कैसे पढ़ें।

14 त्रुटि विश्लेषण: विचारों के लिए देव सेट उदाहरण देखें।

जब आप अपनी बिल्ली के आवेदन के साथ खेलते थे, तो आपने कई उदाहरणों पर ध्यान दिया, जिसमें अनुप्रयोग ने बिल्लियों के लिए कुत्तों को गलत समझा। कुछ कुत्ते बिल्लियों की तरह दिखते हैं!

टीम के सदस्यों में से एक ने तीसरे पक्ष के सॉफ़्टवेयर को पेश करने का सुझाव दिया जो कुत्ते की तस्वीरों में सिस्टम के प्रदर्शन को बेहतर करेगा। परिवर्तनों के कार्यान्वयन में एक महीने का समय लगेगा, जिस टीम के सदस्य ने उन्हें प्रस्तावित किया वह उत्साही है। आपको क्या निर्णय लेना चाहिए?

इस समस्या को हल करने में एक महीने का निवेश करने से पहले, मेरा सुझाव है कि आप पहले यह मूल्यांकन करें कि इसका समाधान सिस्टम की गुणवत्ता में कैसे सुधार करेगा। तब आप अधिक तर्कसंगत रूप से यह तय कर सकते हैं कि क्या यह विकास के महीने के सुधार के लायक है या क्या इस समय का उपयोग करना बेहतर होगा ताकि आपकी समस्याओं को हल किया जा सके।

विशेष रूप से, इस मामले में क्या किया जा सकता है:

1. देव सेट से 100 उदाहरणों का एक नमूना इकट्ठा करें जिसे आपके सिस्टम ने गलत तरीके से वर्गीकृत किया है। यानी, ऐसे उदाहरण, जिन पर आपके सिस्टम ने गलती की।
2. इन उदाहरणों का अध्ययन करें और गणना करें कि कुत्ते की छवि कितनी है।

उदाहरणों का अध्ययन करने की प्रक्रिया जिस पर क्लासिफायर ने गलती की, उसे "त्रुटि विश्लेषण" कहा जाता है। इस उदाहरण में, मान लें कि केवल 5% मिसकॉलिफ़ाइड चित्र कुत्ते हैं, तो इससे कोई फर्क नहीं पड़ता कि आप कुत्ते की छवियों पर अपने एल्गोरिथ्म के प्रदर्शन में कितना सुधार करते हैं, आप अपनी त्रुटि दर के 5% से बेहतर गुणवत्ता प्राप्त नहीं कर पाएंगे। । दूसरे शब्दों में, 5% "सीलिंग" (उच्चतम संभव संख्या का अर्थ है) जहाँ तक अपेक्षित सुधार मदद कर सकता है। इस प्रकार, यदि आपकी समग्र प्रणाली में वर्तमान में 90% (10% त्रुटि) की सटीकता है, तो यह सुधार संभव है, सबसे अच्छा यह परिणाम 90.5% सटीकता में सुधार करेगा (या त्रुटि दर 9.5% होगी, जो मूल से 5% कम है। 10% त्रुटियां)

इसके विपरीत, यदि आप पाते हैं कि 50% त्रुटियां कुत्ते हैं, तो आप अधिक आश्वस्त हो सकते हैं कि सिस्टम को बेहतर बनाने के लिए प्रस्तावित परियोजना का बड़ा प्रभाव पड़ेगा। यह ९ ०% से ९ ५% तक सटीकता बढ़ा सकता है (५०% से ५०% से ५०% सापेक्ष त्रुटि में कमी)

त्रुटि विश्लेषण के लिए यह सरल मूल्यांकन प्रक्रिया आपको तृतीय-पक्ष कुत्ते छवि वर्गीकरण सॉफ़्टवेयर को लागू करने के संभावित लाभों का त्वरित मूल्यांकन करने की अनुमति देती है। यह इसके कार्यान्वयन में समय लगाने की सलाह पर निर्णय लेने के लिए एक मात्रात्मक मूल्यांकन प्रदान करता है।

त्रुटि विश्लेषण अक्सर यह समझने में मदद कर सकता है कि भविष्य के काम के लिए विभिन्न दिशाओं का वादा कैसे किया जाता है। मैंने देखा है कि कई इंजीनियर त्रुटियों का विश्लेषण करने के लिए अनिच्छुक हैं। यह अक्सर एक विचार में भाग लेने के लिए अधिक रोमांचक लगता है कि यह पता लगाने की तुलना में कि विचार उस समय के लायक है या नहीं। यह एक सामान्य गलती है: यह इस तथ्य को जन्म दे सकता है कि आपकी टीम इस तथ्य को समझने के बाद एक महीने का समय देगी कि परिणाम एक नगण्य सुधार है।

नमूने से 100 उदाहरणों का मैनुअल सत्यापन, यह लंबा नहीं है। यहां तक ​​कि अगर आप छवि पर एक मिनट बिताते हैं, तो पूरी जांच में 2 घंटे से कम समय लगेगा। ये दो घंटे आपको बर्बाद होने के एक महीने तक बचा सकते हैं।

विस्तार