रिचर्ड हैमिंग: अध्याय 27. अमान्य डेटा

"इस पाठ्यक्रम का लक्ष्य आपको अपने तकनीकी भविष्य के लिए तैयार करना है।"

हाय, हैब्र। "आप और आपके काम" (२,२१ ९, २३ ९ ४ बुकमार्क, ३ article६ क पढ़ी गई) का भयानक लेख याद है?

इसलिए हेमिंग (हाँ, हाँ, स्व-जाँच और स्वयं-सही हैमिंग कोड ) में उनके व्याख्यानों के आधार पर एक पूरी पुस्तक लिखी गई है। हम इसका अनुवाद कर रहे हैं, क्योंकि आदमी व्यवसाय की बात कर रहा है।

यह किताब सिर्फ आईटी के बारे में नहीं है, यह अविश्वसनीय रूप से शांत लोगों की सोच शैली के बारे में एक किताब है। “यह सिर्फ सकारात्मक सोच का आरोप नहीं है; यह उन परिस्थितियों का वर्णन करता है जो एक महान काम करने की संभावना को बढ़ाते हैं। ”

हमने पहले ही 21 (30 में से) अध्यायों का अनुवाद किया है। और हम एक पेपर संस्करण पर काम कर रहे हैं ।

अध्याय 27. अमान्य डेटा

(अनुवाद के लिए धन्यवाद, वैलेंटाइन पिंचुक, जिन्होंने "पिछले अध्याय" में मेरी कॉल का जवाब दिया)) जो पुस्तक के अनुवाद, लेआउट और प्रकाशन के साथ मदद करना चाहता है - एक व्यक्तिगत ईमेल या magisterludi2016@yandan.ru में लिखें।

मेरे अनुभव में, और कई अन्य शोधकर्ताओं के अनुभव, डेटा, एक नियम के रूप में, घोषित किए गए की तुलना में बहुत कम सटीक हैं। यह एक आसान क्षण नहीं है - हम निर्णय लेने के लिए प्रारंभिक डेटा की पसंद पर निर्भर करते हैं, और मॉडलिंग के दौरान प्रारंभिक डेटा पर, जिसके परिणामों के अनुसार निर्णय किए जाते हैं। चूंकि त्रुटियों की प्रकृति बहुत विविध है, और मेरे पास उन सभी को समझाने के लिए एक एकीकृत सिद्धांत नहीं है, मुझे उनसे व्यक्तिगत उदाहरणों और सामान्यीकरणों पर आगे बढ़ना होगा।

मुझे एक स्थायित्व परीक्षण के साथ शुरू करते हैं। एक अच्छा उदाहरण वैक्यूम ट्यूबों के जीवन-चक्र परीक्षण में भाग लेने का मेरा अनुभव है। वे 20 साल की अपेक्षित सेवा जीवन के साथ वॉयस ट्रांसमिशन के लिए पहली पनडुब्बी केबलों में उपयोग के लिए अभिप्रेत थे (22 वर्षों के बाद, हमने बस केबल को डिमोशन किया, जो बहुत महंगा हो गया - और यह उन दिनों में तकनीकी प्रगति की गति का एक अच्छा विचार देता है)।

केबल के लिए पाइप पहले लगभग 18 महीनों में प्राप्त किए गए थे कि कैसे केबल को पानी के नीचे उतारा जाना था। मेरे पास विशिष्ट सांख्यिकीय कैलकुलेटर आईबीएम 101 पर आधारित एक मध्यम क्षमता वाला कंप्यूटिंग डिवाइस था, जिसे मैंने डेटा प्रोसेसिंग स्टाफ को प्रदान किया था। मैंने उनकी गणना के तकनीकी पहलुओं में भी मुख्य रूप से मदद की। उसी समय, मैंने किसी भी तरह से परियोजना पर प्रत्यक्ष काम में भाग नहीं लिया। हालाँकि, एक बार प्रोजेक्ट मैनेजर ने मुझे अटारी में संग्रहीत परीक्षण उपकरण दिखाए। हमेशा की तरह, मैंने खुद से पूछा: "आप यह क्यों सुनिश्चित कर रहे हैं कि परीक्षण उपकरण में परीक्षणों में उपकरण के समान विश्वसनीयता है?" उनके जवाब ने मुझे आश्वस्त किया कि उन्होंने इसके बारे में बिल्कुल नहीं सोचा था। विवरण को गहरा करने की निरर्थकता के कारण, मैंने इस पाठ को छोड़ दिया। लेकिन मैं खुद ही सवाल नहीं भूल गया!

स्थायित्व परीक्षण अधिक से अधिक महत्वपूर्ण और अधिक जटिल होता जा रहा है क्योंकि हमें कभी बड़े और अधिक जटिल प्रणालियों के लिए अधिक से अधिक विश्वसनीय घटकों की आवश्यकता है। मूल सिद्धांतों में से एक परीक्षण प्रक्रिया का त्वरण है, जो इस तथ्य पर आधारित है कि तापमान में 17 डिग्री सेल्सियस की वृद्धि के साथ, कई, लेकिन सभी नहीं, रासायनिक प्रतिक्रिया उनकी गति को दोगुना करती है। ऑपरेटिंग वोल्टेज बढ़ाने की विधि का उपयोग कमजोरियों की पहचान में तेजी लाने के लिए भी किया जाता है। चिप्स का परीक्षण करने पर एक समान प्रभाव घड़ी की आवृत्ति में वृद्धि देता है। लेकिन यहां तक ​​कि तरीकों का जटिल अनुप्रयोग स्थायित्व के बारे में निष्कर्ष के लिए आधारों की ताकत की गारंटी नहीं देता है। हालांकि, जवाब में, विशेषज्ञों का कहना है: "हम अभी भी समय और धन प्रतिबंधों के सामने क्या कर सकते हैं?" आखिरकार, एक वैज्ञानिक खोज और इसके तकनीकी कार्यान्वयन के बीच का समय अंतराल लगातार कम हो रहा है, जिससे कि व्यापक रूप से उपयोग में लाने से पहले किसी नए उपकरण के जीवन चक्र के वास्तविक परीक्षण के लिए वास्तव में समय नहीं बचा है। और अगर आप अभी भी यह सुनिश्चित करना पसंद करते हैं, तो आप जीवन के लिए हमेशा पीछे रह जाएंगे।

बेशक, उपरोक्त के अलावा, अन्य पहलुओं का अध्ययन करने के लिए डिज़ाइन किए गए अन्य परीक्षण तरीके हैं। अब तक, मैं स्थायित्व परीक्षणों के इन मूल सिद्धांतों की अनिश्चितता के बारे में आश्वस्त हूं, लेकिन अन्य मौजूद नहीं हैं! बेल टेलीफोन प्रयोगशालाओं में एक बार मैंने तर्क दिया कि परीक्षण स्थायित्व के लिए एक विभाग बनाना आवश्यक था, जिसका कार्य एक नए उपकरण के परीक्षण के लिए तैयार करना होगा जब यह सिर्फ विकास के लिए योजना बनाई गई थी, न कि जब वे तैयार डिवाइस के आगमन के साथ उत्पन्न हुए थे। मैं सफल नहीं हुआ, हालाँकि मैंने कुछ अपेक्षाकृत कमजोर धारणाएँ बनाईं कि कहाँ से शुरू किया जाए। स्थायित्व परीक्षणों में बुनियादी अनुसंधान का समय नहीं था - वे समय सीमा के सबसे मजबूत दबाव में थे: कल आवश्यक परिणाम प्राप्त करने के लिए। जैसा कि कहावत है: "सब कुछ ठीक करने के लिए पर्याप्त समय कभी नहीं होगा, लेकिन फिर यह हमेशा त्रुटियों को ठीक करने के लिए मिलेगा," - विशेष रूप से कंप्यूटर सॉफ्टवेयर में!

यहाँ यह प्रश्न है कि मैं आपके लिए क्या करूंगा: "आप एक डिवाइस (या डिवाइस असेंबली) का परीक्षण कैसे करते हैं, जिसके लिए उच्च विश्वसनीयता की आवश्यकता होती है, जब परीक्षण उपकरण कम विश्वसनीय होता है, तो परीक्षण का समय बेहद सीमित होता है, लेकिन डिवाइस को बहुत लंबे जीवन की आवश्यकता होती है "। यह समस्या निश्चित रूप से भविष्य में आपको पीड़ा देने वाली होगी, इसलिए इस बारे में सोचना शुरू करना बेहतर होगा कि ऐसे समय में इसे हल करने के तरीकों की रूपरेखा तैयार की जाए जब आपका समय स्थायित्व परीक्षणों के परिणाम प्राप्त करने का हो।

अब मैं माप के कुछ पहलुओं की ओर मुड़ता हूं। उदाहरण के लिए, बेल टेलीफोन प्रयोगशालाओं में मेरे एक मित्र, जो एक बहुत अच्छे सांख्यिकीविद् थे, उन्होंने पाया कि उनके द्वारा विश्लेषण किए गए कुछ डेटा गलत थे। उन्हें फिर से मापने की आवश्यकता के बारे में उनके तर्क विभाग के प्रमुख को आश्वस्त नहीं करते थे, जो अपने अधीनस्थों की विश्वसनीयता के बारे में आश्वस्त थे, और, इसके अलावा, सभी मापने वाले उपकरण तांबे की प्लेटों के साथ थे जो उनकी सटीकता की पुष्टि करते हैं। फिर, सोमवार सुबह एक ठीक, मेरे दोस्त ने काम किया और कहा कि वह शुक्रवार को घर के रास्ते में ट्रेन में अपनी अटैची भूल गया था और सब कुछ खो दिया था। विभाग के प्रमुख को बार-बार माप के आदेश देने थे, जिसके बाद मेरे दोस्त ने प्रारंभिक नोट प्रस्तुत किए और दिखाया कि वे कितने अलग थे! बेशक, इससे उनकी लोकप्रियता में कोई इजाफा नहीं हुआ, बल्कि माप की अशुद्धि का पता चला, जो बाद में एक महत्वपूर्ण भूमिका निभाने वाले थे।

उसी मित्र सांख्यिकीविद् ने एक बार अपने बोर्ड से टेलीफोन कॉल का उपयोग करके एक बाहरी कंपनी के लिए शोध किया था। इन आंकड़ों को केंद्रीय कार्यालय के उपकरणों द्वारा सटीक रूप से दर्ज किया गया था, जो उनके भुगतान के लिए कॉल और संकलित भुगतान दस्तावेज बनाते थे। एक दिन उसने गलती से एक गैर-मौजूद कार्यालय को एक कॉल की खोज की! तब उन्होंने डेटा की अधिक सावधानी से जांच की और कॉल का एक प्रतिशत अधिक पाया जो कई मिनट तक गैर-मौजूद कार्यालयों से जुड़ा रहा! डेटा को उसी मशीनों द्वारा रिकॉर्ड किया गया था जिसने कॉल किया था, लेकिन यह गलत डेटा था। इसलिए आप इस बात पर भी भरोसा नहीं कर सकते हैं कि मशीन अपने बारे में डेटा को सही ढंग से रिकॉर्ड करेगी!

मेरे भाई, जिन्होंने लॉस एंजिल्स एयर पॉल्यूशन कंट्रोल सर्विस में कई वर्षों तक काम किया, एक बार मुझे बताया कि उन्होंने खरीदे गए हर नए उपकरण को फिर से इकट्ठा करने, जांचने और स्थापित करने की आवश्यकता बताई है! अन्यथा, सटीकता के साथ अंतहीन समस्याएं थीं, और यह आपूर्तिकर्ता के आश्वासन के बावजूद!

मैंने एक बार वेस्टर्न इलेक्ट्रिक के लिए बहुत सारे हार्डवेयर रिसर्च किए थे। उन्होंने 100 से अधिक उपकरण नमूनों के रिकॉर्ड से 18 महीनों के लिए प्राथमिक डेटा के साथ अध्ययन प्रदान किया। मैंने स्पष्ट प्रश्न पूछा, मुझे डेटा संगतता पर क्यों विश्वास करना चाहिए - उदाहरण के लिए, क्या उदाहरण के लिए, रिकॉर्ड में गैर-विद्यमान उपकरण का निपटान हो सकता है? उन्होंने आश्वासन दिया कि उन्होंने इसके बारे में सोचा, सभी आंकड़ों को देखा और ऐसे मामलों को बाहर करने के लिए कुछ छद्म लेनदेन जोड़े। मैंने उन पर विश्वास किया, और केवल बाद में काम के दौरान मैंने पाया कि डेटा में अभी भी अवशिष्ट विरोधाभास थे, इसलिए मुझे पहले उनकी तलाश करनी थी, फिर उन्हें बाहर करना था, और उसके बाद ही सभी डेटा को फिर से पुनर्गणना करना था। इस अनुभव से, मैंने त्रुटियों के लिए गहन विश्लेषण तक डेटा को संसाधित करना शुरू नहीं करना सीखा। उन्होंने मेरी सुस्ती के बारे में शिकायत की, लेकिन लगभग हमेशा मुझे डेटा में त्रुटियां मिलीं। जब मैंने उन्हें प्रस्तुत किया, तो वे मेरी विवेकशीलता को उचित मानने के लिए मजबूर हुए। यह जानने के लिए कि डेटा कितना अदृश्य है और तत्काल उत्तर की आवश्यकता है, मैंने सीखा कि स्थिरता सुनिश्चित करने के लिए डेटा का पूर्व परीक्षण कैसे करें और नाटकीय रूप से विभिन्न मूल्यों (आउटलेयर) की संख्या को कम करें।

एक और समय, मैंने एक सर्जक के रूप में भाग लिया और फिर एक किराए पर UNIVAC कंप्यूटर का उपयोग करके न्यूयॉर्क में एक बड़े एटी एंड टी स्टाफ के अध्ययन में एक सलाहकार के रूप में भाग लिया। डेटा को कई स्थानों से आना था, इसलिए मैंने फैसला किया कि यह सुनिश्चित करने के लिए पहले एक पायलट अध्ययन करने के लिए विवेकपूर्ण होगा कि सभी स्रोत क्या हो रहा है के सार को समझते हैं और आवश्यक डेटा के साथ आईबीएम छिद्रित कार्ड तैयार करना जानते हैं। हमने कर दिखाया। हालांकि, जब मुख्य अध्ययन शुरू हुआ, तो कुछ स्रोतों ने प्राप्त निर्देशों के अनुसार पंच कार्ड नहीं बनाए। यह मेरे लिए तुरंत स्पष्ट हो गया कि पायलट अध्ययन, छोटे पैमाने पर, पंच कार्ड विशेषज्ञों के एक स्थानीय प्रशिक्षित समूह के माध्यम से सभी तरह से चला गया, और मुख्य अध्ययन सामान्य पंच कार्ड समूहों के माध्यम से चला गया। दुर्भाग्य से, उन्हें पायलट अध्ययन के बारे में कोई पता नहीं था! फिर, मैं कल्पना करने की तुलना में अनुचित था: मैंने एक बड़े संगठन के आंतरिक तंत्र को कम करके आंका।

लेकिन बुनियादी वैज्ञानिक सबूत के बारे में क्या? 10 मूलभूत भौतिक स्थिरांक (प्रकाश की गति, एवोगैड्रो संख्या, इलेक्ट्रॉन आवेश, आदि) पर राष्ट्रीय मानक ब्यूरो का प्रकाशन दो डेटा सेट (1929 और 1973 के लिए) और संबंधित गणना की त्रुटियां प्रदान करता है (चित्र। 27.I देखें)। । यह देखना आसान है कि यदि:

1. 1973 के डेटासेट को सही मानें (इस तथ्य के अनुसार कि तालिका संस्करणों के बीच 44 वर्षों में हजारों बार भौतिक स्थिरांक निर्धारित करने की सटीकता में वृद्धि को दर्शाती है),
2. पिछले से स्थिरांक के नए मूल्यों के विचलन की गणना करें;
3. गणना करें कि यह विचलन पिछली गणना की त्रुटि से कितनी बार अधिक है,
4. तब औसतन यह विचलन 5.267 गुना अधिक होता है (लेखक द्वारा अंतिम कॉलम आर के मानों को तालिका में जोड़ा जाता है)।

आप मान सकते हैं कि भौतिक स्थिरांक के मूल्यों की सावधानीपूर्वक गणना की गई थी, लेकिन अब आप देख सकते हैं कि वे कितने गलत थे! भौतिक स्थिरांक का निम्न चयन (चित्र 27.II देखें) आधे की औसत त्रुटि दिखाता है। हालांकि, कोई केवल अनुमान लगा सकता है कि अगले 20 वर्षों के बाद इस सटीकता के साथ क्या होगा! शर्त लगाना चाहते हैं?



चित्र 27. एल

हस्ताक्षर: "अविश्वसनीय डेटा" माप के सामान (प्रति मिलियन अंशों में)


यह बिल्कुल आश्चर्यजनक नहीं है। मैंने हाल ही में हब्बल स्थिरांक (दूरी पर रेडशिफ्ट की निर्भरता की रेखा का ढलान) की माप की एक तालिका देखी, जो आधुनिक ब्रह्मांड विज्ञान में मौलिक है। कई मूल्य अधिकांश अन्य मूल्यों के लिए घोषित त्रुटियों से परे हैं।

इस प्रकार, एक सीधा सांख्यिकीय माप इंगित करता है कि तालिकाओं में सबसे सटीक भौतिक स्थिरांक भी उतने सटीक नहीं हैं जितना कहा गया है। यह कैसे हो सकता है? लापरवाही और आशावाद दो मुख्य कारक हैं। एक विचारशील अध्ययन से पता चलता है कि जिन प्रायोगिक तकनीकों का हमें प्रशिक्षण दिया गया है, वे भी आदर्श नहीं हैं और त्रुटि आकलन की त्रुटियों में योगदान करती हैं। हम समझेंगे कि आप अभ्यास में कैसे हैं, और सिद्धांत में नहीं, एक प्रयोग करें। आप उपकरण इकट्ठा करते हैं और इसे चालू करते हैं, और निश्चित रूप से, उपकरण उस तरह से काम नहीं करता है जैसा कि इसे करना चाहिए। इसलिए, आप कुछ समय, अक्सर सप्ताह बिताते हैं, जिससे यह ठीक से काम करता है। अब आप डेटा प्राप्त करने के लिए तैयार हैं, लेकिन पहले आप उपकरण की ठीक-ठीक ट्यूनिंग करते हैं। कैसे? लगातार डेटा प्राप्त करने के लिए इसे सेट करके। सीधे शब्दों में कहें, तो आप कम फैलाव प्राप्त करते हैं, लेकिन आप और क्या कर सकते हैं? लेकिन यह एक छोटे फैलाव वाला डेटा है जिसे आप आंकड़े प्रसारित करते हैं, और उनका उपयोग परिवर्तनशीलता का आकलन करने के लिए किया जाता है। आप सही सेटिंग्स के कारण सही डेटा ट्रांसमिट नहीं करते हैं - आपको नहीं पता कि यह कैसे करना है - आप कम-छितरी हुई डेटा को ट्रांसफर करते हैं, और आपको उन आंकड़ों से उच्च विश्वसनीयता मिलती है जिन्हें आप घोषित करना चाहते हैं! यह एक सामान्य प्रयोगशाला अभ्यास है! यह आश्चर्य की बात नहीं है कि डेटा की विश्वसनीयता शायद ही कभी घोषित के अनुरूप है।



चित्र 27.II

मैं आपको हेमिंग नियम की याद दिलाऊंगा:

90% मामलों में, अगले स्वतंत्र माप का परिणाम 90% आत्मविश्वास के पिछले स्तर द्वारा ग्रहण की गई सीमाओं से परे होगा!

यह नियम, निश्चित रूप से, तथ्यों को थोड़ा अतिरंजित करता है, लेकिन इस तरह के सूत्रीकरण में यह याद रखना आसान है - माप की सटीकता के बारे में प्रकाशित जानकारी के अधिकांश के रूप में कहा जा रहा है से दूर है। यह प्रयोग के इतिहास द्वारा ही उचित है और बाद में स्पष्ट सटीकता के साथ विसंगतियों का पता चलता है। मैंने बड़े पैमाने पर अध्ययन करने के लिए अनुदान प्राप्त करने की कोशिश नहीं की, लेकिन मुझे इसके परिणामों के बारे में बहुत कम संदेह है।

एक और आश्चर्यजनक घटना जिसका सामना हो सकता है वह है मॉडल में डेटा का उपयोग जब डेटा और मॉडल दोनों में ही त्रुटियां हों। उदाहरण के लिए, एक सामान्य वितरण माना जाता है, लेकिन पूंछ वास्तव में मॉडल द्वारा अनुमानित की तुलना में बड़ा या छोटा हो सकता है। या नकारात्मक मान प्राप्त नहीं किया जा सकता है, हालांकि एक सामान्य वितरण उन्हें अनुमति देता है। फिर त्रुटियों के दो स्रोत हैं: माप और मॉडल त्रुटियां। और आपकी अधिक से अधिक सटीक माप लेने की क्षमता केवल वास्तविकता मॉडल के बेमेल होने के कारण त्रुटि में योगदान को बढ़ाती है।

मुझे अपना अनुभव याद है जब मैं एक कंप्यूटर कंपनी के निदेशक मंडल का सदस्य था। हम कंप्यूटर के एक नए परिवार में स्विच करने जा रहे थे और नए मॉडलों की लागत का बहुत सटीक अनुमान तैयार किया। बिक्री विशेषज्ञ ने तब कहा कि एक निश्चित मूल्य पर वह 10 के लिए एक आदेश प्राप्त कर सकेगा, दूसरे के लिए - 15 के लिए, और तीसरे के लिए - 20 बिक्री के लिए। उनकी धारणाएं, और मैं यह नहीं कहता कि वे गलत थे, एक नए मॉडल की कीमत तय करने के लिए सत्यापित इंजीनियरिंग डेटा के साथ संयुक्त थे! यही है, कुल राशि मुख्य रूप से निर्धारित की गई थी, इंजीनियरिंग गणना की विश्वसनीयता को ध्यान में रखते हुए, बिक्री विशेषज्ञ की मान्यताओं की मौजूदा अनिश्चितता की अनदेखी। यह बड़े संगठनों के लिए विशिष्ट है। सावधान अनुमानों को मनमानी धारणाओं के साथ जोड़ा जाता है, और पूरे की विश्वसनीयता इंजीनियरिंग घटक की विश्वसनीयता के बराबर ली जाती है। आप एक निष्पक्ष सवाल पूछ सकते हैं, क्यों पूरी तरह से इंजीनियरिंग अनुमानों से परेशान होते हैं जब उन्हें अन्य मनमानी धारणाओं के साथ जोड़ा जाता है, लेकिन गतिविधि के कई क्षेत्रों में यह व्यापक अभ्यास है!

मैंने पहले विज्ञान और इंजीनियरिंग के बारे में बात की थी ताकि आप आर्थिक आंकड़ों के लिए संक्रमण में विडंबनापूर्ण न हों। मैंने कई बार मॉर्गनस्टर्न की पुस्तक ऑन द इकोनॉमी ऑफ़ द इकोनोमिक डाइमेंशन को पढ़ा, प्रिंसटन प्रेस, 2 डी एड। यह एक अत्यधिक सम्मानित अर्थशास्त्री है।
उनकी पुस्तक से मेरा पसंदीदा उदाहरण दोनों देशों के अनुसार, एक देश से दूसरे देश में सोने के प्रवाह के लिए आधिकारिक आंकड़े हैं। आंकड़े कभी-कभी दो बार से अधिक भिन्न हो सकते हैं! यदि उन्हें सोने के प्रवाह पर सही डेटा नहीं मिल सकता है, तो फिर कौन सा डेटा सही हो सकता है? मैं देख सकता हूं कि तीसरी दुनिया के देशों में भेजे जाने वाले बिजली के उपकरण को सीमा शुल्क में अंतर के कारण चिकित्सा कहा जा सकता है, लेकिन सोना सोना है, इसे शायद ही कुछ और कहा जा सकता है।

मॉर्गनस्टर्न नोट करते हैं कि ड्यूपॉन्ट केमिकल एक बार जनरल मोटर्स का लगभग 23% हिस्सा था। क्या आपको लगता है कि सकल राष्ट्रीय उत्पाद (जीएनपी) की गणना करते समय इस तथ्य को ध्यान में रखा गया था? कोई रास्ता नहीं, यह दोहरी गिनती निकला!

एक उदाहरण के रूप में, मैंने पाया कि बहुत पहले नहीं, जब आविष्कारों पर रिपोर्टिंग के लिए कर नियम बदल गए, तो कई कंपनियों ने नए नियमों से लाभ के लिए अपनी रिपोर्टिंग विधियों को बदल दिया। ऐसा करने के लिए, उन्हें कम माल और सामग्री दिखानी होगी और तदनुसार, कम कर का भुगतान करना होगा। व्यर्थ में मैंने कम से कम इस तथ्य का उल्लेख करने के लिए वॉल स्ट्रीट जर्नल की खोज की। एक भी नहीं था। यद्यपि आविष्कार मुख्य संकेतक में से एक हैं जो हम निर्माताओं की उम्मीदों का आकलन करने के लिए उपयोग करते हैं, अर्थव्यवस्था बढ़ रही है या गिर रही है। ऐसा माना जाता है कि निर्माता यदि बिक्री में कमी की आशंका रखते हैं तो वे मालसूची को कम कर देते हैं, लेकिन यदि वे बिक्री वृद्धि का अनुमान लगाते हैं तो सूची बढ़ाते हैं - ताकि उनसे होने वाली संभावित आय की कमी न हो। इसलिए, जहाँ तक मैं समझ सकता था, आविष्कारों की रिपोर्टिंग पर कानून में बदलाव और आर्थिक आयामों पर इसके प्रभाव को ध्यान में नहीं रखा गया था।

सामान्य तौर पर, सभी समय श्रृंखला के लिए एक आम समस्या है। मापा वस्तु की परिभाषा लगातार बदल रही है। सबसे अच्छा उदाहरण, गरीबी पर विचार करें। हम लगातार गरीबी के स्तर को बढ़ा रहे हैं, जिससे आप कभी भी इससे छुटकारा नहीं पा सकेंगे - यह परिभाषा हमेशा उन परियोजनाओं को संरक्षित करने में रुचि रखने वाले अधिकारियों द्वारा बदल दी जाएगी, जिनके लिए पर्याप्त स्तर पर गरीबी के स्तर से नीचे पर्याप्त संख्या में लोगों की आवश्यकता होती है। जिसे हम "गरीबी" कहते हैं, वह कई मायनों में श्रेष्ठ है, जो इंग्लैंड के राजा ने बहुत पहले नहीं देखी थी!

अमेरिकी नौसेना में, शब्द "youman" (कार्यालय सचिव), "जहाज", इत्यादि। वर्षों में बदल गया है, इसलिए किसी भी समय श्रृंखला में आप अमेरिकी नौसेना में रुझानों की पहचान करने के लिए अध्ययन करते हैं, यह अतिरिक्त कारक आपको अपने निष्कर्षों में भ्रमित करेगा। ऐसा नहीं है कि आपको पिछले डेटा (अध्याय 14-17 से सिग्नल प्रोसेसिंग के परिष्कृत तरीकों का उपयोग करते हुए) का उपयोग करके स्थिति को समझने की कोशिश नहीं करनी चाहिए, लेकिन परिभाषाओं में बदलाव के कारण अभी भी समस्याएं हैं जो आधिकारिक तौर पर नहीं कहा जा सकता है दस्तावेज! इस तथ्य की किसी भी औपचारिक औपचारिकता के बिना समय के साथ परिभाषाएँ बदल जाती हैं।

आर्थिक संकेतकों के नियमित रूप से प्रकाशित रूप, जिनमें बेरोजगारी भी शामिल है (जो बेरोजगारों और विकलांगों के बीच अंतर नहीं करते हैं, लेकिन, मेरी राय में) आमतौर पर प्रकाशन से बहुत पहले तैयार हो जाते हैं। हाल के वर्षों में हमारा समाज औद्योगिक (उत्पादन) से पोस्ट-इंडस्ट्रियल (सेवा समाज) में तेजी से बदल रहा है, लेकिन न तो वाशिंगटन (संघीय अधिकारियों के अर्थ में) और न ही आर्थिक संकेतकों ने इसे उचित सीमा तक महसूस किया है। आर्थिक संकेतकों की परिभाषा को बदलने के लिए उनकी अनिच्छा थीसिस पर आधारित है, जो परिवर्तन करती है, जैसा कि पिछले पैराग्राफ में उल्लेख किया गया है, अतीत को वर्तमान के साथ अतुलनीय बना देगा - और इसका अर्थ बदलने की तुलना में अप्रासंगिक संकेतक होना बेहतर है, वे कहते हैं। हमारे अधिकांश संस्थान (और लोग) धीरे-धीरे बदलावों का जवाब दे रहे हैं, जैसे कि उत्पादन से सेवाओं में बदलाव, और खुद को यह पूछने के लिए और भी धीमा है कि कल जो उन्होंने किया था उसे कल फिट करने के लिए कैसे बदला जाना चाहिए। संस्थाएं और लोग बदलाव के बिना जीवन पसंद करते हैं, और इसलिए बहुत पीछे हैं, और फिर समय के साथ बनाए रखने के लिए वीर प्रयास करते हैं। संस्थाएं, लोगों की तरह, केवल मजबूर होने पर चलती हैं।

यदि आप उपरोक्त स्पष्ट तथ्यों को जोड़ते हैं कि अधिकांश आर्थिक डेटा अन्य उद्देश्यों के लिए एकत्र किया गया था और केवल गलती से चल रहे आर्थिक अनुसंधान के लिए उपलब्ध हो गया था, और अक्सर प्राथमिक डेटा को गलत साबित करने के लिए मजबूत तर्क होते हैं, तो यह स्पष्ट हो जाता है कि आर्थिक डेटा खराब गुणवत्ता का क्यों है।

मॉर्गेनस्टर्न द्वारा उल्लिखित अशुद्धि के एक अन्य स्रोत के रूप में, हम विशेष रूप से उन ग्राहकों को छूट प्रदान करने के अभ्यास को मानते हैं जो ईर्ष्या से गुप्त रखते हैं। एक नियम के रूप में, अवसाद की अवधि के दौरान, कंपनियां व्यापार के माहौल में सुधार होने पर छूट बढ़ाती हैं और उन्हें कम करती हैं, लेकिन आधिकारिक लागत आंकड़े खुली बिक्री की कीमतों पर आधारित होने चाहिए, इसलिए छूट का पता नहीं चलता है। इसलिए, आर्थिक मंदी और अप एकत्र डेटा में व्यवस्थित रूप से बहुआयामी विचलन का परिचय देते हैं।

सरकार के अर्थशास्त्री पूर्वाग्रह के साथ इन मुख्य रूप से गलत डेटा के अलावा प्राथमिक डेटा के रूप में क्या उपयोग कर सकते हैं? हां, वे कुछ हद तक व्यवस्थित त्रुटियों की उपस्थिति के बारे में जान सकते हैं, लेकिन वे यह पता नहीं लगा सकते हैं कि डेटा कितना विकृत है। इसलिए, आपको आश्चर्य नहीं होना चाहिए कि अर्थशास्त्रियों के कई पूर्वानुमान बहुत गलत हैं। उनके पास बस एक और विकल्प नहीं है, इसलिए उनकी भविष्यवाणियों पर ज्यादा भरोसा नहीं किया जाना चाहिए।

मेरे अनुभव में, अधिकांश अर्थशास्त्री केवल उपयोग किए गए आर्थिक आंकड़ों में एक मौलिक अशुद्धि पर चर्चा नहीं करना चाहते हैं, इसलिए मुझे वैज्ञानिकों के रूप में उन पर बहुत कम विश्वास है। लेकिन किसने कहा कि अर्थशास्त्र एक विज्ञान है? केवल स्वयं अर्थशास्त्री!

यदि वैज्ञानिक और इंजीनियरिंग डेटा 5 (या अधिक) बार की तुलना में कम सटीक हैं, अगर चीजें अर्थमितीय डेटा के साथ भी बदतर हैं, तो आप केवल कल्पना कर सकते हैं कि चीजें समाजशास्त्रीय डेटा के साथ कैसे हैं! मेरे पास पूरे क्षेत्र का तुलनात्मक अध्ययन नहीं है, लेकिन मेरा छोटा, सीमित अनुभव बताता है कि वे बहुत अच्छे नहीं हैं। फिर, बेहतर कुछ भी उपलब्ध नहीं हो सकता है, लेकिन इसका मतलब यह नहीं है कि उपलब्ध डेटा का उपयोग बिना किसी परवाह के किया जा सकता है।

यह स्पष्ट होना चाहिए कि मैंने अपने अधिकांश कार्यों के लिए डेटा सटीकता के मुद्दे पर बहुत ध्यान दिया। और मैं इस मुद्दे पर भविष्य में एक धीमी गति से सुधार से ज्यादा कुछ की उम्मीद नहीं करता हूं, विशेषज्ञों की स्थिति को जानकर।

यदि डेटा आमतौर पर खराब है, और आप समझते हैं कि आपको अधिक डेटा एकत्र करने की आवश्यकता है, तो आप सबसे अच्छा क्या कर सकते हैं?

सबसे पहले , जो मैंने आपको लगातार बताया है, उससे अवगत रहें: एक इंसान को विश्वसनीय बनाने के लिए नहीं बनाया जाता है, इसे त्रुटियों के बिना नहीं गिना जा सकता है, यह उच्च सटीकता के साथ एक नीरस दोहरावदार कोर प्रदर्शन नहीं कर सकता है। एक उदाहरण के रूप में, एक गेंदबाजी खेल पर विचार करें। एक खिलाड़ी को हर बार गेंद को हर बार सही लाइन में फेंकना होता है। लेकिन कैसे शायद ही कभी महान खिलाड़ी भी सही शॉट बनाते हैं! सहायता समूह गेंद की उड़ान की सटीकता की प्रशंसा करते हैं, क्योंकि इसके लिए अत्यंत सावधानीपूर्वक तैयारी और निष्पादन की आवश्यकता होती है, लेकिन सावधानीपूर्वक विचार करने के बाद भी खिलाड़ी को बहुत सुधार करना पड़ता है।

दूसरे , आप त्रुटियों के बिना वास्तव में बड़ी मात्रा में डेटा एकत्र नहीं कर सकते। यह एक ज्ञात तथ्य है जिसे लगातार अनदेखा किया जाता है। प्रबंधन को आमतौर पर 100% कवरेज की आवश्यकता होती है, जबकि बहुत छोटा, कहते हैं कि सर्वेक्षण का 1% या 1/10% भी अधिक सटीक परिणाम देगा! यह ज्ञात है, जैसा कि मैंने कहा, लेकिन इसे अनदेखा किया गया है। टेलीफोन कंपनियों का उपयोग लंबी दूरी की कॉल प्रदान करने में शामिल विभिन्न कंपनियों के बीच आय को वितरित करने के लिए बहुत छोटे, सावधानी से चयनित नमूने का उपयोग करने के लिए किया जाता है और इस नमूने के आधार पर वे भागीदारों के बीच धन वितरित करते हैं। एयरलाइंस अब यही कर रही हैं। ध्यान से लिए गए छोटे नमूने बड़े नमूनों की तुलना में बेहतर होते हैं जिन्हें खराब तरीके से चुना जाता है। बेहतर के रूप में वे सस्ता और अधिक सटीक हैं।

तीसरे , प्रश्नावली के माध्यम से कई सोशियोमेट्रिक डेटा प्राप्त किए गए थे। लेकिन यह एक लंबे समय से ज्ञात तथ्य है कि जिस तरह से प्रश्न तैयार किए जाते हैं, आदेश, सवाल पूछने वाले लोग या केवल प्रश्नावली के पूरा होने की प्रतीक्षा करते हैं - यह सब गंभीरता से उत्तरों को प्रभावित करता है। बेशक, एक सरल "ब्लैक एंड व्हाइट" स्थिति में यह लागू नहीं है, लेकिन जब आप एक समीक्षा करते हैं, एक नियम के रूप में, स्थिति मैला है, अन्यथा आपको इसे शुरू नहीं करना होगा। मुझे खेद है कि मैंने इसके सदस्यों के बीच अमेरिकन मैथमैटिकल सोसाइटी के एक सर्वेक्षण को नहीं बचाया। मैं उन सवालों पर इतना आक्रोश में था कि मेरे योगों के साथ वांछित जवाब दिए गए थे कि मैंने बस इस कारण की व्याख्या के साथ इसे वापस कर दिया। कितने गणितज्ञ, इन जैसे सवालों के जवाब देने के साथ सामना किया: क्या गणितज्ञों के लिए पर्याप्त वित्तीय सहायता है, क्या यह प्रकाशनों के लिए पर्याप्त है, स्नातक छात्रों के लिए छात्रवृत्ति के लिए, आदि, उनमें से कितने कहेंगे कि पर्याप्त धन से अधिक है? बेशक, गणितीय सोसायटी ने सभी क्षेत्रों में गणितज्ञों के लिए समर्थन बढ़ाने के अनुरोध को प्रमाणित करने के लिए परिणामों का उपयोग किया।

मैंने हाल ही में एक लंबी, महत्वपूर्ण प्रश्नावली (मार्गदर्शक कार्यों के लिए महत्वपूर्ण है जो इसके परिणामों का पालन कर सकता है) भरी। मैंने इसे जितना हो सके ईमानदारी से भरा, लेकिन महसूस किया कि मैं एक विशिष्ट प्रतिवादी नहीं था। परिलक्षित करने के लिए, मैंने सुझाव दिया कि साक्षात्कार किए जाने वाले लोगों का वर्ग सभी सजातीय नहीं था, बल्कि विभिन्न उपवर्गों से मिलकर बना था, इसलिए, किसी भी गणना किए गए औसत मान इन समूहों में से किसी पर भी लागू नहीं थे। यह प्रसिद्ध मजाक के अनुसार सटीक है कि एक औसत अमेरिकी परिवार में ढाई बच्चे हैं। लेकिन एक ही समय में आपको किसी भी बच्चे का आधा नहीं मिलेगा! सजातीय समूहों के लिए औसत मूल्य उपयोगी होते हैं (उन कार्यों के संदर्भ में सजातीय जो उनके साथ प्रदर्शन करने वाले हैं), लेकिन विषम समूहों के लिए वे अक्सर समझ में नहीं आते हैं। जैसा कि पहले उल्लेख किया गया है, औसतन, एक वयस्क के पास एक अंडकोष और एक स्तन होता है, लेकिन इस व्यक्ति का हमारे समाज में किसी भी औसत व्यक्तित्व के साथ कोई लेना-देना नहीं है (अब, यदि हम लेखक की पीठिका से चिपके रहते हैं, तो हमें संयुक्त राज्य अमेरिका में "के बारे में" बात करनी चाहिए] - एक अनुवादक की टिप्पणी) ।

यदि उत्तर की सीमा बहुत असममित है, तो माध्य मान (जो नमूना वस्तुओं की संख्या को आधे - आधे में विभाजित करता है, यह मान माध्य से कम है, लगभग आधे से अधिक है। अनुवादक) एक संकेतक के रूप में औसत से बेहतर है - हमने इसे अपेक्षाकृत हाल ही में स्वीकार किया है। इसलिए, अब अधिक बार औसत मूल्यों के बजाय आवास की औसत आय और औसत मूल्य प्रकाशित करते हैं।

चौथा , एक और पहलू है जिस पर मैं आपको ध्यान देने का आग्रह करता हूं। मैंने बार-बार दोहराया है कि एक संगठन में घटनाओं के पाठ्यक्रम में परिवर्तन होता है और इस संगठन के वरिष्ठ अधिकारियों की उपस्थिति के दौरान, इसलिए व्यक्तिगत रूप से जानने की कोशिश करें कि प्रश्नावली कैसे भरी जाती है इससे पहले कि आप सेवा में पर्याप्त उच्च पदोन्नत किए गए हों। मैं इस आशय के एक ज्वलंत प्रदर्शन के दौरान आया था जब मैं एक कंप्यूटर कंपनी के निदेशक मंडल में था। पेटीएम के अधिकारियों ने इस तरह से काम किया कि मुझे खुश करने की कोशिश की, लेकिन उन्होंने केवल मुझे इस बात से बहुत नाराज किया, इसके अलावा, मेरे पास एक टिप्पणी में उनसे कुछ भी कहने का कोई कारण नहीं था। अक्सर अधीनस्थ वे करते हैं जो वे सोचते हैं कि आप उनसे चाहते हैं, लेकिन वास्तव में यह वह नहीं है जो आपको चाहिए! मेरा यह भी मानना ​​है कि अगर आपके संगठन का प्रबंधन एक प्रश्नावली भेजता है, तो जो लोग पक्षपात करना चाहते हैं, वे सबसे अधिक सावधानी से और समय पर इसे भरने की संभावना रखते हैं, बल्क इसे अंतिम क्षण तक खींच लेगा, और उसके बाद निचले स्तर का कर्मचारी उन्हें सहज रूप से भर देगा, बिना आवश्यक गणना किए। और माप - उन्हें पहले से ही ले जाने के लिए बहुत देर हो चुकी है, इसलिए मैं भेज रहा हूं कि मैं क्या कर सकता हूं! ऐसी "समग्र" रिपोर्टों की सामान्य विश्वसनीयता के साथ क्या होता है, कोई नहीं जानता। वे परिणामों को कम कर सकते हैं, कम या ज्यादा विकृत नहीं कर सकते हैं। लेकिन शीर्ष प्रबंधन को ऐसे सर्वेक्षणों के आधार पर निर्णय लेने चाहिए - इसलिए यदि डेटा खराब है, तो निर्णय खराब होने की संभावना है।

जब मैं डेटा के बारे में पढ़ता या सुनता हूं तो मेरी पसंदीदा गतिविधि खुद से यह पूछना है कि लोगों ने इसे कैसे एकत्र किया, उनके निष्कर्ष की पुष्टि कैसे की जा सकती है। उदाहरण के लिए, कई साल पहले, जब मैंने एक डिनर पार्टी में इसका उल्लेख किया था, तो एक आकर्षक विधवा ने कहा कि वह किसी भी मुद्दे पर डेटा एकत्र नहीं करने का कोई कारण नहीं देखती है। कुछ विचार के बाद, मैंने आपत्ति की: "आप मॉन्टेरी प्रायद्वीप पर प्रति वर्ष मिलावट की संख्या को कैसे मापेंगे?" सच? क्या आप प्रश्नावली पर विश्वास करेंगे? या आप लोगों का अनुसरण करेंगे? यह मुश्किल लगता है, यदि असंभव नहीं है, तो प्रति वर्ष व्यभिचार की संख्या का उचित अनुमान लगाने के लिए। इसी तरह की कई अन्य चीजें हैं जिन्हें मापना बहुत मुश्किल है, और यह सामाजिक संबंधों के लिए विशेष रूप से सच है।

एक बहुत ही सूक्ष्म विधि प्रस्तावित की गई थी, जिसकी प्रभावशीलता मैंने व्यक्तिगत रूप से अभ्यास में नहीं देखी थी। मान लीजिए कि आप अनसुलझी हत्याओं की संख्या का अनुमान लगाना चाहते हैं। आप लोगों का साक्षात्कार करते हैं और उन्हें गवाहों के बिना एक सिक्का फ्लिप करने के लिए कहते हैं, और अगर पूंछ बाहर गिरती है, तो उन्हें यह घोषित करना चाहिए कि उन्होंने हत्या कर दी है, और अगर ईगल, तो उन्हें सच्चाई बताना चाहिए। परिभाषा के अनुसार, लोगों को छोड़कर कोई भी खुद सिक्का उछालने का नतीजा नहीं जानता है, इसलिए यदि वे इसे घोषित करते हैं तो कोई भी उनकी हत्या का आरोप नहीं लगाएगा। फिर, पर्याप्त रूप से बड़े नमूने के लिए, 0.5 के मूल्य से अधिक हत्या के बयानों के अनुपात की थोड़ी सी भी अधिकता आपको वांछित अनुमान देगी। लेकिन यह इस धारणा पर है कि लोगों ने साक्षात्कार को ईमानदारी से जवाब दिया, खाते की सुरक्षा को ध्यान में रखते हुए। इस तरह की विधि के वेरिएंट पर व्यापक रूप से चर्चा की गई थी, लेकिन जहां तक ​​मुझे पता है, इसकी प्रभावशीलता का एक गंभीर अध्ययन अभी भी गायब है।

अंत में, आपने प्रसिद्ध राष्ट्रपति चुनाव के बारे में सुना होगा जिसमें समाचार पत्रों ने एक व्यक्ति के लिए जीत की घोषणा की, जब वास्तव में दूसरे ने भारी अंतर से जीत हासिल की। साहित्यिक डाइजेस्ट पत्रिका का एक सर्वेक्षण भी है, जो टेलीफोन द्वारा आयोजित किया गया था, जिसके परिणाम बाद में पूरी तरह से गलत निकले, जिससे कि पत्रिका जल्द ही अस्तित्व में आ गई, और कई लोग इस सर्वेक्षण के कारण विश्वास करते हैं। फिर, परिणामों की गिरावट को इस तथ्य से समझाया गया कि टेलीफोन स्वामित्व संपन्नता के स्तर, और राजनीतिक प्राथमिकताओं के साथ संपन्नता के स्तर के साथ संबंधित है।

(लेखक अप्रत्याशित रूप से यहां गलतियों और भ्रमों की एक श्रृंखला बनाता है, जो बहुत अप्रत्याशित है! यहां विवरण दिए गए हैं। संयुक्त राज्य अमेरिका में 1936 के चुनाव अभियान के अंत में, प्रभावशाली साप्ताहिक पत्रिका द लिटररी डाइजेस्ट, लगभग 10 मिलियन प्रतियों के संचलन के साथ, एक अभूतपूर्व पैमाने के डाक सर्वेक्षण के परिणामों को प्रकाशित किया। अध्ययन यह निर्धारित करने के लिए था कि अमेरिकी किसे अपने राष्ट्रपति के रूप में देखना चाहते हैं: फ्रैंकलिन डी। रूजवेल्ट, एक डेमोक्रेटिक उम्मीदवार जो दूसरे कार्यकाल के लिए चल रहा है, या एल्फ लैंडन, एक रिपब्लिक उम्मीदवार . 55% , 41%. «The Literary Digest»: . . 61% , — 37%. , . : , , «» «The Literary Digest». , . . , 1938 «The Literary Digest» «Time Magazine». , , , «The Literary Digest» . , , . , : «The Literary Digest» 1936 . , . , – , 1936 . – .).

डिजाइनिंग, सर्वेक्षण करना और सारांशित करना शौकीनों के लिए नहीं है। जब आप प्रश्नावली करना शुरू करते हैं, तो आपको प्रश्नावली (और सामान्य आँकड़े नहीं) पर विशेषज्ञ की सलाह की आवश्यकता होती है और इस गतिविधि से बचना असंभव है। तेजी से, हमें भौतिक वस्तुओं के बारे में नंगे तथ्यों की आवश्यकता नहीं है, लेकिन सामाजिक और संबंधित उद्योगों में टिप्पणियों के परिणाम - और यह विश्वासघाती रूप से अस्थिर मिट्टी है।

इसलिए निष्कर्ष: जैसा कि आप प्रगति करते हैं, आपको इस तरह की अधिक से अधिक जानकारी की आवश्यकता होगी, क्योंकि हम अधिक सामाजिक रूप से उन्मुख हो जाते हैं और तुच्छ चीजों के लिए मुकदमों के अधीन होते हैं। आपको बार-बार लोगों के व्यक्तिगत दृष्टिकोण का सर्वेक्षण करने के लिए मजबूर किया जाएगा और यही कारण है कि मैंने अविश्वसनीय डेटा पर इतना ध्यान दिया। विश्वसनीय निर्णय लेने के लिए आपको विश्वसनीय डेटा की आवश्यकता होती है, लेकिन आपको कम से कम कुछ विश्वसनीयता के साथ शायद ही कभी होगा!

जारी रखने के लिए ...

जो पुस्तक के अनुवाद, लेआउट और प्रकाशन में मदद करना चाहता है - एक व्यक्तिगत ईमेल या ई-मेल magisterludi2016@yandex.ru में लिखें

, वैसे, हमने एक और शांत पुस्तक का अनुवाद भी शुरू किया - "द ड्रीम मशीन: कंप्यूटर क्रांति का इतिहास" )