मैं एक संगोष्ठी में शांति से बैठा, पिछले सीवीपीआर के एक लेख पर एक छात्र की रिपोर्ट सुनी , और एक ही समय में इस विषय को नजरअंदाज कर दिया ।

- लेख के फायदे में स्रोत कोड की उपलब्धता शामिल है ...।
मुझे हस्तक्षेप करना पड़ा:
- क्या उपस्थिति, मुझे माफ करना?
- उह ... सोर्स कोड ...
"क्या आपने इसे देखा है?"
- नहीं, लेकिन लेख में कहा गया है ...
(माँ-माँ-माँ ... आदतन गूँजती)
The क्या आपने लिंक का अनुसरण किया?

लेख, वास्तव में, बहुत उत्साहजनक रूप से लिखा गया है: "कोड और मॉडल सार्वजनिक रूप से परियोजना पृष्ठ पर उपलब्ध हैं ... / imtqy.com / ...", हालांकि, दो साल पहले, प्रेरणादायक "कोड और मॉडल जल्द ही रखा जाएगा" लिंक में :


खोजो और खोजो, खटखटाओ और खोलो ... शायद ... या शायद नहीं। अपने दुखद अनुभव के आधार पर, मैं इसे दूसरे पर डालूंगा, क्योंकि स्थिति को हाल ही में दोहराया गया है, ओह, ओह, बहुत बार। यहां तक ​​कि सीवीपीआर पर भी। और यह समस्या का केवल एक हिस्सा है! स्रोत उपलब्ध हो सकते हैं, लेकिन, उदाहरण के लिए, केवल एक मॉडल, प्रशिक्षण स्क्रिप्ट के बिना। और स्क्रिप्ट सीखना हो सकता है, लेकिन कई महीनों तक लेखकों को पत्र के साथ एक ही परिणाम प्राप्त करना असंभव है। या, नियमित स्काइप कॉल के साथ एक और डेटासेट पर एक वर्ष के लिए, यूएसए में एक लेखक अपने परिणाम को पुन: पेश करने में असमर्थ है, इस विषय पर उद्योग में सबसे प्रसिद्ध प्रयोगशाला में प्राप्त किया गया है ... कुछ प्रकार के tryndets।

और, जाहिरा तौर पर, अब तक हम केवल फूलों को देखते हैं। निकट भविष्य में, स्थिति नाटकीय रूप से बिगड़ जाएगी।

कौन परवाह करता है कि उस छात्र के साथ क्या हुआ जहां वैज्ञानिक दुनिया शीर्ष पर है, जिसमें गहरी शिक्षा के "दोष" के माध्यम से, बिल्ली का स्वागत है!

प्रतिक्रमण संकट

2016 में, क्या एक आवश्यक योग्यता है? (क्या अब एक प्रजनन संकट है)? , जिसने 1576 शोधकर्ताओं के एक सर्वेक्षण के परिणामों का हवाला दिया:


स्रोत: यह और इस अनुभाग में निम्नलिखित रेखांकन प्रकृति में एक लेख है।

सर्वेक्षण के परिणामों के अनुसार, 52% शोधकर्ताओं का मानना ​​है कि एक महत्वपूर्ण संकट है, 38% - एक हल्के संकट (कुल में कुल%)!, 3% - कि कोई संकट नहीं है और 7% - निर्धारित नहीं किए गए थे।
लेखक के षड्यंत्रकारी संस्करण - आपदा के पैमाने को देखते हुए, बाद वाले बस सवाल पर "अत्यधिक" ध्यान आकर्षित नहीं करना चाहते हैं:



यदि आप विषयों को देखते हैं, तो यह पता चलता है कि रसायन विज्ञान पहले स्थान पर है, जीव विज्ञान दूसरे स्थान पर है, और भौतिकी तीसरे स्थान पर है:



दिलचस्प है, रसायन विज्ञान में, उदाहरण के लिए, 60% से अधिक शोधकर्ताओं ने अपने स्वयं के अनुसंधान को पुन: पेश करना असंभव पाया। भौतिकी में, ये भी 50% से अधिक हैं।

यह भी बहुत दिलचस्प है कि शोधकर्ताओं के दृष्टिकोण से क्या वास्तव में अपरिवर्तनीयता के संकट में सबसे बड़ा योगदान देता है:



पहली जगह में "चयनात्मक रिपोर्टिंग" है। कंप्यूटर विज्ञान के लिए, यह एक ऐसी स्थिति है जहां लेखक, उदाहरण के लिए, प्रकाशन के लिए सबसे अच्छे उदाहरणों का चयन करता है, जिस पर एल्गोरिथ्म काम करता है, और यह वर्णन नहीं करता है कि कहां और क्या काम नहीं करता है।

दिलचस्प बात यह है कि दूसरा "प्रकाशित करने का दबाव" है। यह "प्रकाशित या नाश" का एक बहुत प्रसिद्ध सिद्धांत है। अंग्रेजी भाषा विकिपीडिया पर एक लेख समस्या का अच्छी तरह से वर्णन करता है। इस विषय पर रूसी विकिपीडिया में कोई लेख नहीं है, हालांकि वैज्ञानिक कार्यों के लिए उच्च भुगतान वाले स्थानों में, समस्या प्रासंगिक हो जाती है। उदाहरण के लिए, एक अच्छे वेतन के साथ एक शीर्ष विश्वविद्यालय में (अफसोस, मैं अपने मूल मॉस्को स्टेट यूनिवर्सिटी के बारे में बात नहीं कर रहा हूं), उच्च प्रकाशन स्कोर पुनरावर्तन के लिए महत्वपूर्ण हैं, और यदि आप काम करना जारी रखना चाहते हैं, तो कृपया प्रकाशित करें। एक शव, एक बिजूका, जो भी हो, लेकिन इतना है कि अंक थे।

यह भी ध्यान दें कि "तरीके, कोड अनुपलब्ध" 45% मामलों में, और कभी-कभी 82% में आम है। खैर, एक कारण के रूप में सीधे धोखाधड़ी 40% मामलों में इंगित की जाती है, अर्थात। अक्सर। मैंने हाल ही में वीडियो संपीड़न एल्गोरिदम के क्षेत्र में काम करने वाले एक चीनी प्रोफेसर के साथ बात की थी। उन्होंने कहा कि चीन के अंदर सचेत धोखाधड़ी के साथ बहुत सारे लेख हैं, वे सिर्फ एक संकट बन गए। धोखाधड़ी के साथ विदेशी प्रकाशन जल्दी से वहां खारिज कर दिए जाते हैं, इसलिए वे अनुपालन करने की कोशिश करते हैं, लेकिन एक दुःस्वप्न अंदर पैदा होता है (उदाहरण के लिए, लेख " प्रकृति में प्रकाशित या चीन में नाश" )। "अपर्याप्त सहकर्मी समीक्षा" की सूची पर निम्नलिखित कारण सहित एक दुःस्वप्न - उच्च-गुणवत्ता वाली क्रॉस-समीक्षा के लिए पर्याप्त ताकत नहीं है।

एक अलग बड़ी समस्या, जिसका मैं केवल संक्षेप में उल्लेख करूंगा: यदि परिणाम को पुन: प्रस्तुत नहीं किया जा सकता है, तो इसके बारे में एक लेख लगभग माना जा रहा है ...



हर कोई नई उपलब्धियों, नए योगदान और नए विचारों में रुचि रखता है, और क्या पुराने काम नहीं करता है - इससे क्या फर्क पड़ता है। यह स्वाभाविक रूप से जानबूझकर धोखाधड़ी सहित अपरिवर्तनीय परिणामों की हिस्सेदारी को बढ़ाता है। सबसे अधिक संभावना है, कोई भी नहीं समझेगा, यह स्वीकार नहीं है। यह स्पष्ट है कि जब अन्य एक नकली परिणाम के आधार पर शुरू होते हैं, तो पूरी प्रणाली अस्थिर हो जाती है, जो अंततः सभी को प्रभावित करती है:


आपका दांव - उसे चकमा देने या कुचलने का समय है?

कुल:

• नेचर में प्रकाशित 1,576 शोधकर्ताओं के एक सर्वेक्षण के अनुसार, 52% का मानना ​​है कि अब प्रजनन कौशल का एक महत्वपूर्ण संकट है, और 90% सहमत हैं कि इस तरह का संकट है।
  
• इसके अलावा, वर्तमान स्थिति अभी भी खिल रही है और जल्द ही सब कुछ खराब हो जाएगा, खासकर कंप्यूटर साइंस में। क्यों? अभी पता करो।
  

कंप्यूटर विज्ञान में Reproducibility

एरिज़ोना स्टेट यूनिवर्सिटी (जो, वैसे, छात्रों की संख्या के मामले में मास्को स्टेट यूनिवर्सिटी से 2 गुना बड़ा है), एक विशेष साइट http://repeatability.cs.arizona.edu/ पत्रिकाओं से 601 लेखों में उनके परिणामों के प्रतिलिपि अध्ययन के अध्ययन के लिए समर्पित प्रोग्रामर विभाग में बनाया गया था। और एसीएम सम्मेलन। परिणाम निम्न चित्र था:



स्रोत: कंप्यूटर विज्ञान में पुनरावृत्ति

उन्होंने 106 लेखों की जांच नहीं की क्योंकि वे प्रयोग की शुद्धता का उल्लंघन नहीं करना चाहते थे (उन्होंने लेखकों को लिखा और कोड का अनुरोध किया), शेष में:

• 93 लेखों (19%) में कोई कोड नहीं है, या ऐसा कोई हार्डवेयर नहीं था जिसके साथ उनकी तुलना न की जा सके,
  
• 176 लेखों (35%) में, लेखकों ने एक कोड प्रदान नहीं किया,
  
• 226 लेखों (46%) में कोड था, 9 में (2%) इसे इकट्ठा करना संभव नहीं था, और 87 (64 + 23) लेखों (18%) में परियोजना को इकट्ठा करने की समस्याओं को हल करने में आधे घंटे से अधिक समय लगा (23 मामलों में समस्याएं समाप्त हो गईं) विफल रहा, लेकिन लेखक ने आश्वासन दिया कि "अधिक प्रयास करें" सब कुछ इकट्ठा हो जाएगा)।
  

मुझे यह कहना चाहिए कि असेंबली के बाद हमारे अनुभव में, सबसे दिलचस्प केवल शुरुआत है, लेकिन अध्ययन में उन्होंने इस स्तर पर रुकने का फैसला किया, और उनमें से बहुत से आप समझ सकते हैं। किसी भी मामले में, आंकड़े बहुत खुलासा करते हैं, और कोड प्रदान करने के लिए 35% पुनर्वित्त पिछले अध्ययन (तीसरे ग्राफ) के "तरीके, कोड अनुपलब्ध" के साथ बहुत करीब हैं।

सामान्य तौर पर, विषय को अच्छी तरह से खोदा जाता है। विशेष रूप से, "गोल्ड स्टैंडर्ड" कोड और डेटा की उपलब्धता है जिस पर परिणाम को पूरी तरह से दोहराना आसान है, और सबसे खराब दृष्टिकोण केवल लेख प्रस्तुत करना है:


स्रोत: संकल्पना, माप और अध्ययन Reproducibility

ऐसा क्यों हो रहा है?

कई कारण हैं, जैसे कोई भी जटिल घटना:

• पश्चिम में, "प्रकाशित या नाश" उपर्युक्त बहुत प्रभावशाली है। सेमिनार और कार्यशालाओं में, युवा ग्रीन स्नातक छात्र पूरी तरह से गंभीरता से और असमान रूप से निर्देशित होते हैं - “एक विचार आया है, पहले इसे प्रकाशित करें! और उसके बाद ही जाँच करें! ”(किसने कहा है घिनौनापन? हर्ष वास्तविकता, सज्जनों!) विज्ञान में प्राथमिकता वास्तव में महत्वपूर्ण है (कुख्यात उद्धरण सहित), इसलिए, जब कुछ दिलचस्प विचार आता है, तो यह पहले प्रकाशित होता है (कभी-कभी नकली डेटा के साथ) , कभी-कभी नहीं) और केवल तभी वे लंबे समय तक दर्द के लिए कुछ प्रोग्राम करना शुरू करते हैं, अक्सर ग्लोब पर एक उल्लू खींचते हैं। इस पाठ की शुरुआत में पहले उदाहरण के रूप में उद्धृत लेख को इनमें से सिर्फ एक (विभ्रमजन्य तंत्रिका नेटवर्क) लगता है ... मुझे आश्चर्य है कि वे क्या धूम्रपान करते हैं? लेकिन यह CVPR के लिए आया था!)। परिणाम एक अधिक वजन वाले सफेद प्यारे जानवर है, क्योंकि स्थिति बिगड़ती रहती है:
  

• पारंपरिक रूप से, राज्य अनुसंधान धन का आधा हिस्सा देता है (कहीं अधिक, कहीं कम)। और सरकारी धन प्रकाशन पागलपन (जब प्रकाशित, सिर्फ प्रकाशित करने के लिए) को उकसाता है। अन्य आधा पैसा कंपनियों से आता है, और कंपनियां स्पष्ट रूप से प्रकाशन प्रतिबंधों के बारे में बात कर रही हैं। एक लोकप्रिय कोरियाई कंपनी, जिसने एक सहयोगी की उपयुक्त अभिव्यक्ति के अनुसार रूसी वैज्ञानिकों को काम करने की पेशकश की, "मोतियों के लिए" विशेष रूप से संस्थानों और विश्वविद्यालयों के लिए नीग्रो स्थितियों के लिए जाना जाता था। हां, अब उन्होंने वेतन दौड़ में तंत्रिका नेटवर्क के क्षेत्र में भी बाजार को तोड़ दिया, लेकिन सामान्य तौर पर, एक भयानक अनुबंध की पेशकश करने वाली पहली बात ऐसी एशियाई कंपनियों की कॉर्पोरेट पहचान है। और जब एक अच्छी तरह से लिखे गए लेख को प्रकाशित करने की अनुमति नहीं है, और फिर एक और, और अधिक - यह दृढ़ता से demotivates, निश्चित रूप से। यह, कुछ वर्षों के बाद भी, भुलाया नहीं जाता है।
  

नतीजतन, परिणाम न्यूनतम लेखों के साथ पेटेंट के लिए जाता है। यह दिलचस्प है कि मैंने फिनलैंड, अमेरिका, फ्रांस, आदि के सहयोगियों से बात की। वहां, बहुत से लोग अनुदान पर कसकर बैठते हैं, लेकिन जिनके पास कई कंपनियां हैं वे भी सभी परिणामों से दूर प्रकाशित करते हैं, और यदि वे प्रकाशित करते हैं, तो वे किसी तरह दृष्टिकोण को कम करते हैं (स्वाभाविक रूप से बोलते हुए), विवरण को स्वाभाविक रूप से प्रजनन को जटिल बनाते हैं। इसके लिए पहले ही भुगतान किया जा चुका है।

कुल:

• तत्काल अनुरोधों के बाद भी, कोड अधिकतम 46% मामलों में भेजा जाता है (वैसे, अध्ययन पढ़ें, "बहाने" के दिलचस्प उदाहरण हैं, हमारे अनुभव में वास्तव में ये मूल रूप से भेजते हैं)।
  
• विज्ञान वित्तपोषण प्रणाली स्वयं या तो असत्यापित परिणामों के प्रकाशन को जल्द से जल्द प्रेरित करती है, या प्रकाशनों को पूर्ण प्रकटीकरण सहित प्रतिबंधित करती है। दोनों ही मामलों में, प्रजनन क्षमता कम हो जाती है।
  

क्यों मशीन सीखना चीजों को बदतर बनाता है

लेकिन यह सब नहीं है! हाल ही में, विशेष रूप से सामान्य और तंत्रिका नेटवर्क में मशीन सीखना तेजी से फैल रहा है। यह कमाल है। यह अजीब तरह से काम करता है। पूरी तरह से असंभव कल आज संभव हो जाता है! बस किसी तरह की छुट्टी! तो?

नहीं। तंत्रिका नेटवर्क ने कंप्यूटर विज्ञान को अपरिवर्तनीयता के रसातल में विसर्जन का एक नया दौर जोड़ दिया है।

यहाँ एक सरल उदाहरण है: यह बिना कनेक्शन के ResNet-56 के लिए नुकसान फ़ंक्शन की तरह दिखता है (कई दसियों लाख से कुछ मापदंडों के दृश्य)। पुनरावृत्तियों की एक उचित संख्या (युग) के लिए हमारा कार्य सबसे गहरा बिंदु खोजना है:


स्रोत: तंत्रिका जाल के नुकसान लैंडस्केप की कल्पना

आप स्थानीय मिनीमाता के समुद्र को स्पष्ट रूप से देख सकते हैं, जिसमें हमारा क्रमिक रूप से खुशी से "नीचे गिरता है" और "वहाँ से बाहर नहीं निकल सकता"। हां, यह स्पष्ट है कि यह ResNet के लिए है कि इस उदाहरण का उपयोग एक उत्कृष्ट चित्रण के रूप में किया जाता है, जो कि स्किप कनेक्शन द्वारा प्रदान किया जाता है (जिसके बाद नेटवर्क लर्निंग नाटकीय रूप से बेहतर हो जाता है):



इसके लिए एक जटिल परिदृश्य में एक न्यूनतम खोजने की कोशिश करना एक बात है (और केवल खोज स्थान का निषेधात्मक समग्र आयाम मदद करता है), और यह एक वैश्विक न्यूनतम देखने के लिए काफी दूसरी बात है जो ढ़ाल के साथ खोजना अपेक्षाकृत आसान है।

कहानी सुंदर है, लेकिन हमारी कठोर वास्तविकता में बड़ी संख्या में परतों के साथ बार-बार हमें इस तथ्य का सामना करना पड़ता है कि नेटवर्क सीख नहीं रहा है। आम तौर पर।

और इससे भी अधिक दिलचस्प - कुछ बिंदु पर इसे प्रशिक्षित करना संभव है (त्रुटि तेजी से गिरती है), लेकिन कुछ समय बाद, जब खरोंच से परिणाम को पुन: उत्पन्न करने की कोशिश की जा रही है (उदाहरण के लिए, जब ये गुणांक खो जाते हैं), तो फोकस को दोहराना संभव नहीं है, और दूरी में नेटवर्क की एक स्पष्ट दर्दनाक यात्रा है। एक न्यूनतम से। सैकड़ों युग एक दूसरे को सफल करते हैं, और गाड़ी जगह में रहती है। पत्थर का फूल दानिला गुरु से नहीं निकलता है।

ऐसी स्थिति की कल्पना करना कठिन था जहां एक शोधकर्ता कंप्यूटर विज्ञान में अपने स्वयं के परिणामों को पुन: पेश नहीं कर सकता। आज यह आम हो गया है, क्योंकि यह लंबे समय से भौतिकी, रसायन विज्ञान, जीव विज्ञान और सूची में आगे है। तंत्रिका नेटवर्क के साथ, कंप्यूटर विज्ञान अचानक एक प्रयोगात्मक विज्ञान बन गया! इस अद्भुत दुनिया में आपका स्वागत है। अब आपको अपने स्वयं के परिणाम को पुन: उत्पन्न करने में असमर्थता का सामना करना पड़ेगा (जैसे कि 64% केमिस्ट, 60% जीवविज्ञानी, इस लेख का दूसरा ग्राफ देखें)।

लेकिन यह सब खुशियाँ नहीं है। ज्यादा मज़ा आएगा!

सामान्य तौर पर, कुछ समय के लिए मैं तंत्रिका नेटवर्क के बारे में बहुत उलझन में था, क्योंकि एल्गोरिदम उनके आधार पर काम नहीं करता था। खैर ... उन्होंने किसी तरह काम किया, लेकिन बड़े नमूनों पर "शास्त्रीय" अत्याधुनिक एल्गोरिदम (जो उन्हें बड़े पैमाने पर प्रकाशित होने से नहीं रोक पाए) पर हार गए। यह इसलिए हुआ क्योंकि तंत्रिका नेटवर्क सभी प्रकार के धोखाधड़ी के लिए बेहद सुविधाजनक हैं। मुख्य बात यह है कि उदाहरणों के लिए एक प्रशिक्षण नमूने का सही ढंग से चयन करें और आप स्वाभाविक रूप से चमत्कार प्रदर्शित कर सकते हैं। यह सुंदर चित्रों (और कभी-कभी सुंदर ग्राफिक्स) को बदल देता है, और लेख अच्छी तरह से चलता है। आप कोड भी लगा सकते हैं (ऐसा लगता है कि यह फैशनेबल हो गया है), इससे सार नहीं बदलता है। यह काम नहीं करता है। लेकिन जब बड़े लाल PoP- एक विशाल तेज चोंच के साथ मुर्गा पीछे ... लेख एक अंजीर है और प्रिंट करने के लिए चला जाता है।



एक अलग प्रमुख समस्या उन क्षेत्रों में है जहां बड़े प्रशिक्षण नमूने नहीं हैं। दवा की शिकायत से सहकर्मी - एक पूरी रात हो रही है। वे सालों से डेटा सेट इकट्ठा कर रहे हैं। और हजारों उदाहरण भी हैं। लेकिन गहरी तंत्रिका नेटवर्क वाले स्नातक छात्र आते हैं। फिगर-फिगर और सबको पछाड़ दिया ... हैंडसम! विज्ञान के दिग्गज! और खुश उज्ज्वल चेहरों के साथ परिणामों की रिपोर्ट करते हैं। उनसे पूछा जाता है:
- ओवरफिटिंग को रोकने के लिए आपने क्या किया?
- क्यों, क्षमा करें?
- आपके पास रिट्रीटिंग क्यों नहीं है?

और एक आदमी पूरी तरह से गंभीरता से बताता है कि उसने सही नेटवर्क कैसे लिया और इसे प्रशिक्षण मैनुअल के अनुसार कड़ाई से प्रशिक्षित किया, और इसलिए उसके साथ सब कुछ ठीक है। यानी युवा लोग (बड़े पैमाने पर!) समझ में नहीं आता है कि क्या हो रहा है! एक नहीं, दो नहीं, बल्कि स्नातकोत्तर रिपोर्टों का एक ध्यान देने योग्य हिस्सा। यहाँ यह युवा तंत्रिका नेटवर्क क्रांतिकारियों की एक नई लहर है। हम प्रोफेसर Preobrazhensky को याद करते हैं , हम युवा क्रांतिकारियों के लिए अशिक्षा पारंपरिक के बारे में भारी आह भरते हैं। हम निष्कर्ष निकालते हैं।

लेकिन यह सब ठीक है। हाल ही में ITIS 2019 में, मिखाइल बेलीएव ने अद्भुत उदाहरण दिए कि कैसे यह दृष्टिकोण चिकित्सा उत्पादन के लिए काफी अच्छा है! तंत्रिका नेटवर्क का उपयोग करके विश्लेषण की पेशकश करने वाली वास्तविक कंपनियों में, उन्होंने नियंत्रण परीक्षण पारित किए और अप्रत्याशित रूप से दुखद परिणाम प्राप्त किए। कारण यह है कि निवेशकों ने भी एक क्रांति का एहसास किया, और अगर कोई व्यक्ति तंत्रिका नेटवर्क के आधार पर नए क्षितिज का वादा करता है, तो वे उसे पैसे देते हैं (मनोहर अनातोली लेवेनचुक ने बेंचमार्क के आविष्कार के आधे साल बाद, और ResNet से आधे साल पहले, 2015 के बारे में चेतावनी दी थी। कई परतें अभी भी खराब प्रशिक्षित हैं)। और इसके लिए आपको भुगतान करते हैं, प्रिय सज्जनों! और, हाँ, पहले चूहों के साथ प्रयोग करना बेहतर होगा, लेकिन चूहों के रूप में, एक परिचित सनकी ने इसे डाल दिया, कोई वॉलेट नहीं है! इसलिए, अब उपभोक्ता के पैसे से प्रशिक्षण के लिए डेटा (सांस्कृतिक रूप से व्यक्त) एकत्र किया जा रहा है, अर्थात्। अपने पैसे पर। लोग, सतर्क रहें!

यह स्पष्ट है कि यह तंत्रिका नेटवर्क नहीं है जिसे दोष देना है। बड़ा सवाल यह है कि पर्याप्त मात्रा में आसन्न डेटा कैसे प्राप्त करें, उन्हें एक छोटे से नमूने पर फिट करें, भयावह भूल से बचें , और यह सब। लेकिन, अगर आपके पास सक्षम शोधकर्ता हैं, तो भी समय लगेगा। और निवेशक यहां और कल एक परिणाम चाहता है। तो, तंत्रिका नेटवर्क की सफलता की लहर पर खुशी हुई?
हमें एक बड़ी लहर का एक बड़ा झाग मिलता है, जब वास्तव में निष्क्रिय तरीकों ने बड़ी तरंगों के सर्फ को वास्तविक उपयोग के लिए खींच लिया। बिल का भुगतान करें, कृपया!

कुल: तीन क्षेत्रों में कंप्यूटर विज्ञान में तंत्रिका नेटवर्क की स्थिति बिगड़ती है:

• तंत्रिका नेटवर्क के प्रशिक्षण के साथ, पूर्व का सीएस सभी आगामी नुकसानों के साथ एक प्रयोगात्मक विज्ञान बन जाता है।
  
• परीक्षण के लिए प्रशिक्षण का नमूना तैयार करना आपको किसी भी शानदार परिणाम को प्रदर्शित करने की अनुमति देता है (irreproducibility - चयनात्मक रिपोर्टिंग के लिए मुख्य कारण को बढ़ाता है)।
  
• और, अंत में, उन क्षेत्रों में जहां प्रशिक्षण के नमूने छोटे हैं, फिर से बचना बेहद मुश्किल है, जो बहुत से नहीं जानते कि कैसे पकड़ना और काम करना है (औपचारिक रूप से, परिणाम डेटासेट पर उत्कृष्ट है, लेकिन वास्तव में एल्गोरिथ्म काम नहीं करता है)।
  

क्या किया जा सकता है?

यदि आप (एक खुशहाल व्यक्ति!) अच्छी तरह से खोदे गए क्षेत्रों में काम करते हैं, तो अक्सर सभी काम डेटासेट तैयार करने और उन्हें नेटवर्क पर खिलाने के लिए होते हैं। जब तक कि यह आर्किटेक्चर देखने लायक न हो। इस मामले में, बिना कोड के लेख देखने का कोई मतलब नहीं है। और यह एक वास्तविक छुट्टी है! अपनी खुशी महसूस करो, हर कोई इतना भाग्यशाली नहीं है!

यहां तक ​​कि ऐसी साइट PapersWithCode.com भी है , जो मशीन लर्निंग के क्षेत्र में उद्देश्यपूर्ण तरीके से लेख एकत्र करती है, स्वचालित रूप से GitHub से अपने रिपॉजिटरी की रेटिंग को पार्स करती है, श्रेणी द्वारा सब कुछ सूचीबद्ध करती है और बेंचमार्क और डेटासेट जोड़ती है। सामान्य तौर पर - सब कुछ लोगों के लिए है! वैसे, उनकी गणना के अनुसार, कोड अब केवल 17-19% लेखों के लिए उपलब्ध है:


स्रोत: कम से कम एक कोड कार्यान्वयन वाले प्रकाशित पत्रों का प्रतिशत

लेकिन वे, अगर हम एक दूसरे के लिए विचलित हो जाते हैं (और अभी भी इन सही लोगों को विज्ञापित करते हैं), तो पिछले 4 वर्षों में एमएल / डीएल फ्रेमवर्क की लोकप्रियता को बदलने के लिए एक बहुत ही दिलचस्प कार्यक्रम है:


स्रोत: फ्रेमवर्क द्वारा समूहीकृत कागज कार्यान्वयन

घोड़े पर मशाल, टीएफ (जिसने हाल ही में सोचा होगा!) जमीन खो रहा है। हालाँकि, यह एक अलग कहानी है ...

अनुभव से यह स्पष्ट है कि कोड के साथ ये 17-20% लेख भी (वर्णित कारणों के लिए) सब कुछ जादुई नहीं है, लेकिन कम से कम आप उनके काम को तेजी से परिमाण के क्रम में जांच सकते हैं। और यह कमाल है।

एक और वास्तव में काम करने वाला नुस्खा काफी बड़े डेटासेट और बेंचमार्क का निर्माण है। तंत्रिका नेटवर्क का उदय 14 मिलियन छवियों के साथ ImageNet के साथ शुरू हुआ, 20,000+ वर्गों में विभाजित है। हां, यह कठिन है, लेकिन गहन शिक्षा के साथ आप केवल वास्तव में बड़े सेट के साथ काम कर सकते हैं। भले ही उनकी रचना कष्टकारी और कठिन हो।

उदाहरण के लिए, कुछ समय पहले हमने एक वीडियो (ऊन, बाल, कपड़े, धुएं और जीवन के अन्य गैर-तुच्छ खुशियों) में पारभासी वस्तुओं को उजागर करने के लिए एक बेंचमार्क बनाया। प्रारंभ में, इसे 3 महीनों में बनाए जाने के दौरान रखने की योजना बनाई गई थी। सर्वो ड्राइव पाए गए, एक स्क्रीन, एक अच्छा कैमरा , एक नीला बिजली का टेप खरीदा गया था , लड़कियों के सभी दोस्तों से एक लाख नरम खिलौने मांगे गए थे, असली बालों के साथ एक पुतला पाया गया था जिस पर हेयरड्रेसर हेयर स्टाइलिंग का प्रशिक्षण देते थे। और ...


स्रोत: लेखक की सामग्री ... ब्लू इलेक्ट्रिकल टेप, जैसा कि स्पष्ट रूप से देखा जा सकता है, एक महत्वपूर्ण सहायक भूमिका निभाता है

सब कुछ (नहीं, ऐसा नहीं ... सब कुछ!) गलत हो गया। , ( ), ( ), ( , ). आदि .. ( ), , . , ! , - , , .

— . , . , , , (. , 25 Kaggle).

कुल:

• — .
  
• , , .
  
• — , . ( ), .
  

, , , … . , , , .

, , . Replication crisis ( , , ) , — , :


: The Reproducibility Crisis in Psychological Science: One Year Later , , , , , … , Computer Science ...

! 20 , Computer Science , ( ), - . — , .


और आखिरी वाला। , . , . !

!

:

• 
  
• - Publish or Perish
  

The replication crisis Science for Sale: The Other Problem With Corporate Money .

, :

• . .. ,
  
• , , , , ,
  
• , , ,
  
• , , , , , , , , , , !