भविष्यवाणी बनाम स्पष्टीकरण: या डेटा साइंस के क्षेत्र में "अर्ध-खरीद" की आवश्यकता क्यों है

समान नागरिक पर वैज्ञानिक और सीएफओ, फोएब वोंग ने संज्ञानात्मक विज्ञान में सांस्कृतिक संघर्ष के बारे में बात की । ऐलेना कुजमीना ने लेख का रूसी में अनुवाद किया।

कुछ साल पहले मैंने प्राकृतिक भाषा प्रसंस्करण के बारे में एक चर्चा देखी। "आधुनिक भाषा विज्ञान के पिता" नोम चोम्स्की और नए गार्ड प्रवक्ता पीटर नॉरविग , Google में शोध के निदेशक। चॉम्स्की ने संकेत दिया कि प्राकृतिक भाषा प्रसंस्करण का क्षेत्र किस दिशा में बढ़ रहा है, और कहा :

मान लीजिए कि कोई व्यक्ति भौतिकी विभाग को समाप्त करने वाला है और वह इसे नियमों द्वारा करना चाहता है। नियमों के अनुसार, यह दुनिया में क्या हो रहा है, इसके बारे में अनंत संख्या में वीडियो लेना है, डेटा के इन गीगाबाइट्स को सबसे बड़े और सबसे तेज़ कंप्यूटर पर फ़ीड करें और एक जटिल सांख्यिकीय विश्लेषण करें - अच्छी तरह से, आप समझते हैं: बायेसियन "आगे और पीछे" * - और आपको एक निश्चित पूर्वानुमान मिलेगा आपकी खिड़की के बाहर क्या होने वाला है। वास्तव में, आपको भौतिकी के संकाय द्वारा दिए गए एक से बेहतर पूर्वानुमान मिलेगा। ठीक है, अगर सफलता यह निर्धारित करती है कि आप अराजक कच्चे डेटा के द्रव्यमान के कितने करीब हैं, तो भौतिकविदों की तरह से ऐसा करना बेहतर है: आदर्श सतहों और इतने पर कोई विचार प्रयोग नहीं। लेकिन आप उस तरह की समझ नहीं पाएंगे जो विज्ञान ने हमेशा मांगी है। आपको जो मिल रहा है वह वास्तविकता में क्या हो रहा है, इसका सिर्फ एक मोटा विचार है।

* बेयस प्रायिकता से - संभाव्यता की अवधारणा की व्याख्या, जिसमें, आवृत्ति या कुछ घटना की प्रवृत्ति के बजाय, संभाव्यता को एक उचित अपेक्षा के रूप में व्याख्या की जाती है, एक व्यक्तिगत विश्वास या ज्ञान की स्थिति का मात्रात्मक मूल्यांकन का प्रतिनिधित्व करता है। आर्टिफिशियल इंटेलिजेंस शोधकर्ता कंप्यूटर में पैटर्न को पहचानने और उन पर निर्णय लेने में मदद करने के लिए मशीन लर्निंग में बायेसियन सांख्यिकी का उपयोग करते हैं।

चॉम्स्की ने बार-बार इस विचार पर जोर दिया: प्राकृतिक भाषा को संसाधित करने में आज की सफलता, अर्थात् पूर्वानुमान की सटीकता, विज्ञान नहीं है। उनके अनुसार, टेक्स्ट के कुछ विशाल भाग को एक "जटिल मशीन" में फेंकने से केवल कच्चे डेटा का अनुमान लगाया जा सकता है या कीड़ों को इकट्ठा किया जा सकता है, इससे भाषा की वास्तविक समझ नहीं होगी।

चॉम्स्की के अनुसार, विज्ञान का मुख्य लक्ष्य यह है कि प्रणाली वास्तव में कैसे काम करती है, के व्याख्यात्मक सिद्धांतों की खोज करना है, और इस लक्ष्य को प्राप्त करने के लिए सही दृष्टिकोण सिद्धांत को प्रत्यक्ष डेटा की अनुमति देना है। गैलीलियो के समय से विज्ञान में स्वीकार किए गए तरीकों के साथ, ध्यान से तैयार किए गए प्रयोगों की मदद से, "अप्रासंगिक निष्कर्ष" से अमूर्त द्वारा प्रणाली की मूल प्रकृति का अध्ययन करना आवश्यक है।

उनके शब्दों में:

कच्चे अराजक डेटा से निपटने के लिए एक सरल प्रयास आपको कहीं भी नेतृत्व करने की संभावना नहीं है, जिस तरह गैलीलियो कहीं भी नेतृत्व नहीं करेगा।

इसके बाद, नॉरविग ने लंबे निबंध में चॉम्स्की के दावों का जवाब दिया। नॉरविग ने ध्यान दिया कि भाषा प्रसंस्करण के लगभग सभी क्षेत्रों में: खोज इंजन, भाषण मान्यता, मशीन अनुवाद और सवालों के जवाब देने के लिए, प्रशिक्षित संभाव्य मॉडल प्रबल होते हैं क्योंकि वे सैद्धांतिक या तार्किक नियमों के आधार पर पुराने उपकरणों की तुलना में बहुत बेहतर काम करते हैं। उनका कहना है कि चॉम्स्की ने विज्ञान में सफलता की कसौटी - इस सवाल पर जोर दिया कि "क्यों" और "कैसे" के महत्व की समझ गलत है।

अपनी स्थिति की पुष्टि करते हुए, वह रिचर्ड फेनमैन को उद्धृत करते हैं: "भौतिकी बिना सबूत के विकसित हो सकती है, लेकिन हम बिना तथ्यों के विकास नहीं कर सकते हैं।" नॉर्विग ने याद किया कि संभावनाशील मॉडल एक वर्ष में कई ट्रिलियन डॉलर उत्पन्न करते हैं, जबकि चॉम्स्की के सिद्धांत के वंशज अमेज़ॅन पर बेची गई चॉम्स्की की पुस्तकों का हवाला देते हुए एक अरब से भी कम कमाते हैं।

नॉरविग सुझाव देते हैं कि चॉम्स्की की "बेयसियन आगे और पीछे" के लिए लियो ब्रेमन द्वारा वर्णित सांख्यिकीय मॉडलिंग में दो संस्कृतियों के बीच विभाजन के कारण है:

1. एक डेटा मॉडलिंग संस्कृति जो मानती है कि प्रकृति एक ब्लैक बॉक्स है जहां चर स्टोकेस्टिक रूप से जुड़े हुए हैं। मॉडलिंग विशेषज्ञों का काम उस मॉडल को निर्धारित करना है जो सबसे अच्छी तरह से जुड़े संगठनों को फिट करता है।
2. एल्गोरिथम मॉडलिंग की संस्कृति का अर्थ है कि एक साधारण बॉक्स का उपयोग करके वर्णित एक ब्लैक बॉक्स में संघटन बहुत जटिल हैं। मॉडल डेवलपर्स का काम एल्गोरिथ्म का चयन करना है जो इनपुट चर का उपयोग करके परिणाम का सबसे अच्छा मूल्यांकन करता है, बिना यह उम्मीद किए कि ब्लैक बॉक्स के अंदर चर के मूल बुनियादी संघों को समझा जा सकता है।

नॉरविग सुझाव देते हैं कि चॉम्स्की संभावनावादी मॉडल के साथ बहुत अधिक विनम्र नहीं है, बल्कि "क्वाड्रिलियन मापदंडों" के साथ एल्गोरिथम मॉडल को स्वीकार नहीं करता है: वे व्याख्या करना आसान नहीं है और इसलिए वे "क्यों" के सवालों को हल करने के लिए बेकार हैं।
नॉरविग और ब्रिमन एक अन्य शिविर से संबंधित हैं - उनका मानना ​​है कि भाषा जैसे सिस्टम बहुत ही जटिल, यादृच्छिक और मनमाने ढंग से मापदंडों के एक छोटे समूह द्वारा दर्शाए जाते हैं। और कठिनाइयों से अमूर्त एक रहस्यमय उपकरण बनाने के लिए एक निश्चित स्थायी क्षेत्र से जुड़ा हुआ है जो वास्तव में मौजूद नहीं है, और इसलिए यह सवाल कि भाषा क्या है और यह कैसे काम करता है अनदेखी की जाती है।

नॉरविग ने एक और लेख में अपनी थीसिस की फिर से पुष्टि की, जहां उनका तर्क है कि हमें अभिनय करना बंद कर देना चाहिए जैसे हमारा लक्ष्य अत्यंत सुरुचिपूर्ण सिद्धांतों का निर्माण करना है। इसके बजाय, आपको जटिलता स्वीकार करने और हमारे सर्वोत्तम सहयोगी - अनुचित डेटा दक्षता का उपयोग करने की आवश्यकता है। वह बताते हैं कि भाषण मान्यता, मशीन अनुवाद और वेब डेटा के लिए लगभग सभी मशीन लर्निंग एप्लिकेशन, सरल मॉडल जैसे एन-ग्राम मॉडल या लाखों विशिष्ट कार्यों पर आधारित रैखिक क्लासिफायर जटिल मॉडलों की तुलना में बेहतर काम करते हैं। जो सामान्य नियमों की खोज करने की कोशिश कर रहे हैं।

इस चर्चा में जो चीज मुझे सबसे ज्यादा आकर्षित करती है वह यह नहीं है कि चॉम्स्की और नॉरविग इससे सहमत नहीं हैं, लेकिन वे किस चीज में एकजुट हैं। वे सहमत हैं कि वैरिएबल को समझने के बिना सांख्यिकीय सीखने के तरीकों का उपयोग करके बड़ी मात्रा में डेटा का विश्लेषण एक सैद्धांतिक दृष्टिकोण की तुलना में बेहतर पूर्वानुमान प्रदान करता है जो यह मॉडल बनाने की कोशिश करता है कि चर एक दूसरे से कैसे संबंधित हैं।

और मैं केवल एक ही ऐसा व्यक्ति नहीं हूं जो इससे हैरान है: कई गणितीय पृष्ठभूमि वाले लोग जिनके साथ मैंने बात की थी उन्हें भी यह विरोधाभासी लगता है। बुनियादी संरचनात्मक रिश्तों की मॉडलिंग के लिए सबसे अच्छा तरीका है कि दृष्टिकोण भी सबसे बड़ी भविष्य कहनेवाला शक्ति नहीं है? या हम यह जानने के बिना कि कुछ काम कैसे करते हैं, हम किसी चीज की सटीक भविष्यवाणी कैसे कर सकते हैं?

कारण के खिलाफ भविष्यवाणियों

यहां तक ​​कि अकादमिक क्षेत्रों में, जैसे कि अर्थशास्त्र और अन्य सामाजिक विज्ञान, अक्सर पूर्वानुमान और व्याख्यात्मक शक्ति की अवधारणाएं एक दूसरे के साथ संयुक्त होती हैं।

मॉडल जो समझाने की उच्च क्षमता का प्रदर्शन करते हैं, उन्हें अक्सर अत्यधिक पूर्वानुमानित माना जाता है। लेकिन सर्वश्रेष्ठ भविष्य कहनेवाला मॉडल के निर्माण का दृष्टिकोण सर्वश्रेष्ठ व्याख्यात्मक मॉडल के निर्माण के दृष्टिकोण से पूरी तरह से अलग है, और मॉडलिंग के फैसले अक्सर दो लक्ष्यों के बीच समझौता करने के लिए नेतृत्व करते हैं। सांख्यिकीय लर्निंग (आईएसएल) के परिचय में पद्धतिगत अंतर का वर्णन किया गया है।

प्रेडिक्टिव मॉडलिंग

प्रेडिक्टिव मॉडल का मूल सिद्धांत अपेक्षाकृत सरल है: आसानी से उपलब्ध इनपुट डेटा एक्स के सेट का उपयोग करके वाई का मूल्यांकन करें। यदि त्रुटि एक्स औसत शून्य पर है, तो वाई का उपयोग करके भविष्यवाणी की जा सकती है:

जहां which X द्वारा प्रदान की गई Y के बारे में व्यवस्थित जानकारी है, जो किसी दिए गए X के लिए ƒ (Y की भविष्यवाणी) की ओर जाता है। सटीक कार्यात्मक रूप आमतौर पर महत्वपूर्ण नहीं है यदि यह Y की भविष्यवाणी करता है, और ƒ को "ब्लैक बॉक्स" माना जाता है।

इस प्रकार के मॉडल की सटीकता को दो भागों में विघटित किया जा सकता है: एक reducible त्रुटि और एक घातक त्रुटि:

मॉडल का पूर्वानुमान लगाने की सटीकता बढ़ाने के लिए, मूल्यांकन के मूल्यांकन के लिए सांख्यिकीय प्रशिक्षण के सबसे उपयुक्त तरीकों का उपयोग करते हुए, अतिरेक त्रुटि को कम करना आवश्यक है।

आउटपुट मॉडलिंग

Y को "ब्लैक बॉक्स" के रूप में नहीं माना जा सकता है यदि लक्ष्य एक्स और वाई के बीच संबंध को समझना है (एक्स के कार्य के रूप में वाई कैसे बदलता है)। क्योंकि हम कार्यात्मक रूप cannot जाने बिना Y पर X के प्रभाव को निर्धारित नहीं कर सकते हैं।

लगभग हमेशा जब मॉडलिंग निष्कर्ष, पैरामीट्रिक तरीकों का उपयोग lus का अनुमान लगाने के लिए किया जाता है। पैरामीट्रिक मानदंड संदर्भित करता है कि यह दृष्टिकोण पैरामीट्रिक फॉर्म paramet लेने और प्रस्तावित मापदंडों के माध्यम से parameters का मूल्यांकन करके taking के अनुमान को कैसे सरल करता है। इस दृष्टिकोण में दो मुख्य चरण हैं:

1. कार्यात्मक रूप Make के बारे में एक धारणा बनाएं। सबसे आम धारणा यह है कि common X में रैखिक है:



2. मॉडल को फिट करने के लिए डेटा का उपयोग करें, अर्थात्, मापदंडों के मूल्यों को ढूंढें β₁, fit, ..., :p जैसे:


सबसे आम मॉडल फिटिंग दृष्टिकोण, लिस्टर स्क्वायर (ओएलएस) विधि है।

लचीलापन और व्याख्या के बीच का व्यापार

आप पहले से ही सोच रहे होंगे: हम कैसे जानते हैं कि: रैखिक है? वास्तव में, हम नहीं जान पाएंगे, क्योंकि वास्तविक रूप not अज्ञात है। और यदि चयनित मॉडल वास्तविक then से बहुत दूर है, तो हमारे अनुमान पक्षपाती होंगे। तो हम पहली जगह में ऐसी धारणा क्यों बनाना चाहते हैं? क्योंकि मॉडल लचीलापन और व्याख्या के बीच एक अंतर्निहित समझौता है।

लचीलापन उन रूपों की श्रेणी को संदर्भित करता है जो एक मॉडल कई अलग-अलग संभव कार्यात्मक रूपों को फिट करने के लिए बना सकते हैं range। इसलिए, मॉडल जितना अधिक लचीला होगा, उतना ही बेहतर इसे बना सकता है, जिससे पूर्वानुमान की सटीकता बढ़ जाती है। लेकिन एक अधिक लचीला मॉडल अधिक जटिल है और फिट होने के लिए अधिक मापदंडों की आवश्यकता होती है, और किसी भी व्यक्तिगत भविष्यवक्ताओं और भविष्यवाणिज्यिक कारकों के संघों की व्याख्या के लिए अक्सर अनुमान बहुत जटिल हो जाते हैं।

दूसरी ओर, रैखिक मॉडल में पैरामीटर अपेक्षाकृत सरल और व्याख्यात्मक हैं, भले ही यह एक सटीक पूर्वानुमान बहुत अच्छा प्रदर्शन न करता हो। यहाँ ISL में एक महान चित्र है जो विभिन्न सांख्यिकीय प्रशिक्षण मॉडल में इस व्यापार को दिखाता है:
" "

जैसा कि आप देख सकते हैं, बेहतर पूर्वानुमान सटीकता के साथ अधिक लचीली मशीन लर्निंग मॉडल, जैसे समर्थन वेक्टर विधि और वृद्धि के तरीके, एक ही समय में कम व्याख्यात्मकता है। इन्वेंशन मॉडलिंग व्याख्यात्मक मॉडल की पूर्वानुमान सटीकता से भी इनकार कर देता है, जिससे कार्यात्मक रूप f के बारे में एक निश्चित धारणा बनती है।

कारण पहचान और प्रतिपक्षीय तर्क

लेकिन एक पल रुकिए! यहां तक ​​कि अगर आप अच्छी तरह से व्याख्या के साथ एक अच्छी तरह से व्याख्या किए गए मॉडल का उपयोग करते हैं, तो भी आप इन आंकड़ों का उपयोग करणीयता के एक अलग प्रमाण के रूप में नहीं कर सकते। यह पुराने, थके हुए क्लिच के कारण है "सहसंबंध कोई कारण नहीं है।"

यहां एक अच्छा उदाहरण है : मान लीजिए कि आपके पास सौ फ्लैगपोल की लंबाई, उनकी छाया की लंबाई और सूर्य की स्थिति का डेटा है। आप जानते हैं कि छाया की लंबाई ध्रुव की लंबाई और सूर्य की स्थिति से निर्धारित होती है, लेकिन भले ही आप पोल की लंबाई एक आश्रित चर के रूप में और छाया की लंबाई एक स्वतंत्र चर के रूप में निर्धारित करते हैं, आपका मॉडल अभी भी सांख्यिकीय महत्वपूर्ण गुणांक और इतने पर फिट होगा।

यही कारण है कि कारण संबंध केवल सांख्यिकीय मॉडल द्वारा नहीं बनाए जा सकते हैं और बुनियादी ज्ञान की आवश्यकता होती है - रिश्ते की कुछ प्रारंभिक सैद्धांतिक समझ के द्वारा कथित कारण को उचित ठहराया जाना चाहिए। इसलिए, कारण और प्रभाव संबंधों के डेटा विश्लेषण और सांख्यिकीय मॉडलिंग अक्सर सैद्धांतिक मॉडल पर आधारित होते हैं।

और यहां तक ​​कि अगर आपके पास यह कहने के लिए अच्छा सैद्धांतिक औचित्य है कि एक्स वाई का कारण बनता है, तो एक कारण प्रभाव की पहचान करना अभी भी बहुत मुश्किल है। इसका कारण यह है कि एक कारण संबंध का मूल्यांकन करने में यह पहचान करना शामिल है कि एक काउंटर-सक्रिय दुनिया में क्या होगा जिसमें एक्स नहीं हुआ था, जो परिभाषा के अनुसार अवलोकनीय नहीं है।

यहां एक और अच्छा उदाहरण है : मान लीजिए कि आप विटामिन सी के स्वास्थ्य प्रभावों को निर्धारित करना चाहते हैं। क्या आपके पास डेटा है कि कोई विटामिन ले रहा है (एक्स = 1 अगर वह ले रहा है; 0 - नहीं ले रहा है), और कुछ द्विआधारी स्वास्थ्य परिणाम (वाई = 1 यदि वे स्वस्थ हैं; 0 - स्वस्थ नहीं) इस तरह दिखता है:

Y विटामिन C लेने वालों का स्वास्थ्य परिणाम है, और Y outcome उन लोगों का स्वास्थ्य परिणाम है जो नहीं हैं। स्वास्थ्य पर विटामिन सी के प्रभाव को निर्धारित करने के लिए, हम उपचार के औसत प्रभाव का मूल्यांकन करते हैं:

$$$= E (Y =) - E (Y E)$

लेकिन ऐसा करने के लिए, यह जानना महत्वपूर्ण है कि विटामिन सी लेने वालों के स्वास्थ्य के परिणाम क्या होंगे यदि उन्होंने कोई विटामिन सी नहीं लिया, और इसके विपरीत (या ई (Y₀ | X = 1) और E (Y₁) एक्स = 0)), जो तालिका में तारांकन द्वारा इंगित किए जाते हैं और अप्रतिबंधित प्रतिरूप परिणामों का प्रतिनिधित्व करते हैं। इस इनपुट के बिना औसत उपचार प्रभाव का मूल्यांकन क्रमिक रूप से नहीं किया जा सकता है।

अब कल्पना करें कि पहले से ही स्वस्थ लोग, एक नियम के रूप में, विटामिन सी लेने की कोशिश करते हैं, लेकिन पहले से ही अस्वस्थ लोग नहीं करते हैं। इस परिदृश्य में, मूल्यांकन एक मजबूत उपचार प्रभाव दिखाएगा, भले ही विटामिन सी वास्तव में स्वास्थ्य को बिल्कुल प्रभावित नहीं करता हो। यहां, स्वास्थ्य की पिछली स्थिति को मिश्रित कारक कहा जाता है, जो विटामिन सी का सेवन और स्वास्थ्य (एक्स और वाई) दोनों को प्रभावित करता है, जिससे विकृत अनुमान होता है। एक सुसंगत is स्कोर प्राप्त करने का सबसे सुरक्षित तरीका प्रयोग के माध्यम से उपचार को यादृच्छिक बनाना है ताकि एक्स वाई पर निर्भर न हो।

जब उपचार बेतरतीब ढंग से निर्धारित किया जाता है, तो समूह द्वारा दवा प्राप्त न करने का परिणाम, औसतन, उपचार प्राप्त करने वाले समूह के जवाबी परिणाम के लिए एक उद्देश्य सूचक बन जाता है, और यह सुनिश्चित करता है कि कोई विकृत कारक नहीं है। ए / बी परीक्षण इस समझ द्वारा निर्देशित है।

लेकिन यादृच्छिक प्रयोग हमेशा संभव नहीं होते हैं (या नैतिक, यदि हम धूम्रपान या बहुत चॉकलेट चिप कुकीज़ खाने के स्वास्थ्य प्रभावों का अध्ययन करना चाहते हैं), और इन मामलों में, अक्सर गैर-यादृच्छिक उपचार के साथ टिप्पणियों से कारण के प्रभावों का अनुमान लगाया जाना चाहिए।

कई सांख्यिकीय तरीके हैं जो गैर-प्रयोगात्मक परिस्थितियों में कारण प्रभाव की पहचान करते हैं। वे यह निरीक्षण परिणामों का निर्माण करके या अवलोकन डेटा में उपचार के यादृच्छिक नुस्खे का निर्माण करते हैं।

यह कल्पना करना आसान है कि इस प्रकार के विश्लेषण के परिणाम अक्सर बहुत विश्वसनीय या प्रतिलिपि प्रस्तुत करने योग्य नहीं होते हैं। और इससे भी अधिक महत्वपूर्ण: पद्धतिगत बाधाओं के इन स्तरों का उद्देश्य मॉडल के पूर्वानुमान की सटीकता में सुधार करना नहीं है, बल्कि तार्किक और सांख्यिकीय निष्कर्षों के संयोजन के माध्यम से कार्य-कारण के साक्ष्य प्रस्तुत करना है।

एक कारण मॉडल की तुलना में एक रोग विशेषज्ञ की सफलता को मापना बहुत आसान है। यद्यपि प्रागैतिहासिक मॉडल के लिए मानक प्रदर्शन संकेतक हैं, लेकिन कारण मॉडल की सापेक्ष सफलता का आकलन करना अधिक कठिन है। लेकिन यदि कारण और प्रभाव का पता लगाना मुश्किल है, तो इसका मतलब यह नहीं है कि हमें प्रयास करना बंद कर देना चाहिए।
यहां मुख्य बिंदु यह है कि रोग-निदान और कारण मॉडल पूरी तरह से अलग-अलग उद्देश्यों की पूर्ति करते हैं और पूरी तरह से अलग डेटा और सांख्यिकीय मॉडलिंग प्रक्रियाओं की आवश्यकता होती है, और अक्सर हमें दोनों करना पड़ता है।

फिल्म उद्योग का एक उदाहरण दिखाता है: स्टूडियो बॉक्स ऑफ़िस प्राप्तियों का पूर्वानुमान लगाने के लिए स्टूडियो मॉडल का उपयोग करते हैं, फिल्म वितरण के वित्तीय परिणामों की भविष्यवाणी करने के लिए, फिल्मों के अपने पोर्टफोलियो के वित्तीय जोखिमों और लाभप्रदता का आकलन करने के लिए, लेकिन पूर्वानुमान मॉडल हमें फिल्म बाजार की संरचना और गतिशीलता को समझने के करीब नहीं लाएंगे और इसे बनाने में मदद नहीं करेंगे। निवेश के फैसले, क्योंकि फिल्म निर्माण प्रक्रिया के पहले चरणों में (आमतौर पर रिलीज की तारीख से पहले साल), जब निवेश के फैसले किए जाते हैं, तो संभव का विचरण परिणाम अधिक हैं।

इसलिए, प्रारंभिक चरणों में प्रारंभिक आंकड़ों के आधार पर पूर्वानुमान मॉडल की सटीकता बहुत कम हो जाती है। भविष्य के मॉडल फिल्म वितरण की शुरुआत की तारीख के करीब हो रहे हैं, जब अधिकांश उत्पादन निर्णय पहले ही किए जा चुके हैं और पूर्वानुमान अब विशेष रूप से संभव और प्रासंगिक नहीं है। दूसरी ओर, कारण-और-प्रभाव संबंधों का मॉडलिंग स्टूडियो को यह पता लगाने की अनुमति देता है कि विभिन्न उत्पादन विशेषताएँ फिल्म उत्पादन के शुरुआती चरणों में संभावित आय को कैसे प्रभावित कर सकती हैं और इसलिए अपनी उत्पादन रणनीतियों के बारे में सूचित करने के लिए महत्वपूर्ण हैं।

भविष्यवाणियों पर ध्यान देना: चोम्स्की सही था?

यह समझना आसान है कि चॉम्स्की परेशान क्यों है: वैज्ञानिक समुदाय और उद्योग में रोगनिरोधी मॉडल हावी हैं। अकादमिक छापों के एक शाब्दिक विश्लेषण से पता चलता है कि मात्रात्मक अनुसंधान के सबसे तेजी से बढ़ते क्षेत्र पूर्वानुमानों पर अधिक ध्यान दे रहे हैं। उदाहरण के लिए, "भविष्यवाणी" का उल्लेख करने वाले कृत्रिम बुद्धिमत्ता के क्षेत्र में लेखों की संख्या दोगुनी से अधिक हो गई है, जबकि निष्कर्ष पर लेख 2013 के बाद से आधा हो गया है।

डेटा विज्ञान पाठ्यक्रम काफी हद तक कारण-और-प्रभाव संबंधों को अनदेखा करता है। और व्यवसाय में डेटा विज्ञान मुख्य रूप से भविष्य कहनेवाला मॉडल पर केंद्रित है। प्रतिष्ठित क्षेत्र की प्रतियोगिताओं जैसे कि कागल और नेटफ्लिक्स पुरस्कार भविष्य कहनेवाला प्रदर्शन संकेतकों में सुधार पर आधारित हैं।

दूसरी ओर, अभी भी कई ऐसे क्षेत्र हैं जिनमें अनुभवजन्य पूर्वानुमान के लिए अपर्याप्त ध्यान दिया जाता है, और वे मशीन लर्निंग और पूर्वानुमानात्मक मॉडलिंग के क्षेत्र में प्राप्त उपलब्धियों से लाभ उठा सकते हैं। लेकिन "चॉम्स्की टीम" और "नॉरविग टीम" के बीच सांस्कृतिक युद्ध के रूप में मामलों की वर्तमान स्थिति को प्रस्तुत करना गलत है: कोई कारण नहीं है कि केवल एक विकल्प चुनना आवश्यक है, क्योंकि दो संस्कृतियों के बीच पारस्परिक संवर्धन के कई अवसर हैं। मशीन लर्निंग मॉडल को अधिक समझने के लिए बहुत काम किया गया है। उदाहरण के लिए, स्टैनफोर्ड से सुसान अती एक कारण संबंध पद्धति में मशीन सीखने के तरीकों का उपयोग करता है।

एक सकारात्मक नोट पर समाप्त करने के लिए, जूड पर्ल के कार्यों को याद करें। पर्ल ने 1980 के दशक में कृत्रिम बुद्धिमत्ता पर एक शोध परियोजना का नेतृत्व किया, जिसने बेइज़ियन नेटवर्क का उपयोग करके मशीनों को संभावित रूप से कारण की अनुमति दी। हालांकि, तब से वह सबसे बड़ा आलोचक बन गया है कि कैसे कृत्रिम बुद्धिमत्ता का ध्यान विशेष रूप से संभाव्य संघों और सहसंबंधों की उपलब्धियों के लिए बाधा बन गया।

चॉम्स्की की राय साझा करते हुए, पर्ल का तर्क है कि गहरी सीखने की सभी प्रभावशाली उपलब्धियां वक्र को डेटा में ढाले जाने के लिए नीचे आती हैं। , ( ), 30 . , — « ».

, - , , — , , .

, - , , . अपने एक लेख में वे दावा करते हैं:

अधिकांश मानव ज्ञान संभाव्य संबंधों के बजाय कारण के आसपास आयोजित किया जाता है, और संभाव्यता की गणना करने का व्याकरण इन रिश्तों को समझने के लिए पर्याप्त नहीं है ... यह इस कारण से है कि मैं खुद को केवल आधा बेयसियन मानता हूं।

ऐसा लगता है कि डेटा विज्ञान तभी जीत पाएगा जब हमारे पास अधिक निबल होंगे।