रिचर्ड हैमिंग: अध्याय 13. सूचना सिद्धांत

हमने कर दिखाया!

"इस पाठ्यक्रम का लक्ष्य आपको अपने तकनीकी भविष्य के लिए तैयार करना है।"

हाय, हैब्र। "आप और आपके काम" (+219, 2588 बुकमार्क, 429k पढ़ता है) का भयानक लेख याद है?

इसलिए हेमिंग (हाँ, हाँ, स्व-जाँच और स्वयं-सही हैमिंग कोड ) में उनके व्याख्यानों के आधार पर एक पूरी पुस्तक लिखी गई है। हम इसका अनुवाद कर रहे हैं, क्योंकि आदमी व्यवसाय की बात कर रहा है।

यह किताब सिर्फ आईटी के बारे में नहीं है, यह अविश्वसनीय रूप से शांत लोगों की सोच शैली के बारे में एक किताब है। “यह सिर्फ सकारात्मक सोच का आरोप नहीं है; यह उन परिस्थितियों का वर्णन करता है जो एक महान काम करने की संभावना को बढ़ाते हैं। ”

आंद्रेई पखोमोव के अनुवाद के लिए धन्यवाद।

सूचना सिद्धांत 1940 के अंत में सी। शैनन द्वारा विकसित किया गया था। बेल लैब्स प्रबंधन ने जोर देकर कहा कि वह इसे "संचार सिद्धांत" कहता है, क्योंकि यह बहुत अधिक सटीक नाम है। स्पष्ट कारणों के लिए, "सूचना सिद्धांत" नाम का जनता पर काफी अधिक प्रभाव है, इसलिए शैनन ने इसे चुना, और यह वही है जिसे हम आज तक जानते हैं। नाम ही बताता है कि सिद्धांत सूचना से संबंधित है, जो इसे महत्वपूर्ण बनाता है, क्योंकि हम सूचना युग में गहराई से प्रवेश कर रहे हैं। इस अध्याय में, मैं इस सिद्धांत से कुछ बुनियादी निष्कर्षों को छूऊंगा, मैं इस सिद्धांत के कुछ अलग-अलग प्रावधानों के सख्त, बल्कि सहज प्रमाण नहीं दूंगा, ताकि आप समझ सकें कि "सूचना सिद्धांत" वास्तव में क्या है, आप इसे कहां लागू कर सकते हैं और कहां नहीं। ।

सबसे पहले, "जानकारी" क्या है? शैनन अनिश्चितता के साथ जानकारी की पहचान करता है। उन्होंने किसी घटना की संभाव्यता के नकारात्मक लघुगणक को उस जानकारी के मात्रात्मक माप के रूप में चुना जो आपको प्राप्त होती है जब कोई घटना प्रायिकता p के साथ होती है। उदाहरण के लिए, अगर मैं आपको बताऊं कि लॉस एंजिल्स में मौसम धूमिल है, तो पी 1 के करीब है, जिसके द्वारा और बड़े हमें अधिक जानकारी नहीं देते हैं। लेकिन अगर मैं कहता हूं कि जून में मोंटेरे में बारिश होती है, तो इस संदेश में अनिश्चितता होगी, और इसमें अधिक जानकारी होगी। एक विश्वसनीय घटना में कोई जानकारी नहीं होती है, क्योंकि लॉग 1 = 0 है।

आइए हम इस पर अधिक विस्तार से ध्यान दें। शैनन का मानना ​​था कि जानकारी का एक मात्रात्मक माप एक ईवेंट पी की संभावना का एक निरंतर कार्य होना चाहिए, और स्वतंत्र घटनाओं के लिए यह additive होना चाहिए - दो स्वतंत्र घटनाओं के परिणामस्वरूप प्राप्त जानकारी की मात्रा एक संयुक्त घटना के परिणामस्वरूप प्राप्त जानकारी की मात्रा के बराबर होनी चाहिए। उदाहरण के लिए, पासा और सिक्कों के रोल का परिणाम आमतौर पर स्वतंत्र घटनाओं के रूप में माना जाता है। हमें गणित की भाषा में उपरोक्त अनुवाद करने दें। यदि मैं (पी) संभावना पी के साथ घटना में निहित जानकारी की मात्रा है, तो एक संयुक्त घटना के लिए दो स्वतंत्र घटनाओं x से युक्त संभावना पी ₁ और वाई संभाव्यता पी _{2 के} साथ मिलती है।


(x और y स्वतंत्र ईवेंट)

यह कार्यात्मक कॉची समीकरण है, जो सभी पी ₁ और पी _{2 के} लिए सच है। इस कार्यात्मक समीकरण को हल करने के लिए, मान लीजिए कि

पी ₁ = पी ₂ = पी,

यह देता है



यदि पी ₁ = पी ² और पी ₂ = पी, तो



आदि सभी तर्कसंगत संख्याओं m / n के लिए घातांक के लिए मानक विधि का उपयोग करके इस प्रक्रिया का विस्तार करना, निम्नलिखित सत्य है



सूचना माप की निरंतरता से, यह निम्नानुसार है कि लॉगरिदमिक फ़ंक्शन कार्यात्मक कॉची समीकरण का एकमात्र निरंतर समाधान है।

सूचना के सिद्धांत में, यह 2 के लघुगणक के आधार को लेने के लिए प्रथागत है, इसलिए द्विआधारी विकल्प में ठीक 1 बिट जानकारी है। इसलिए, सूत्र द्वारा जानकारी को मापा जाता है



चलो रुकें और देखें कि ऊपर क्या हुआ। सबसे पहले, हमने "सूचना" की अवधारणा को एक परिभाषा नहीं दी, हमने केवल इसकी मात्रात्मक माप के लिए एक सूत्र निर्धारित किया है।

दूसरे, यह उपाय अनिश्चितता पर निर्भर करता है, और यद्यपि यह मशीनों के लिए पर्याप्त रूप से उपयुक्त है - उदाहरण के लिए, टेलीफोन सिस्टम, रेडियो, टेलीविजन, कंप्यूटर, आदि - यह जानकारी के लिए एक सामान्य मानवीय दृष्टिकोण को नहीं दर्शाता है।

तीसरा, यह एक सापेक्ष माप है, यह आपके ज्ञान की वर्तमान स्थिति पर निर्भर करता है। यदि आप यादृच्छिक संख्या जनरेटर से "यादृच्छिक संख्या" की धारा को देखते हैं, तो आप मानते हैं कि प्रत्येक अगला नंबर अनिश्चितकालीन है, लेकिन यदि आप "यादृच्छिक संख्या" की गणना के लिए सूत्र जानते हैं, तो अगली संख्या ज्ञात होगी और, तदनुसार, इसमें शामिल नहीं होगा जानकारी।

इस प्रकार, जानकारी के लिए शैनन द्वारा दी गई परिभाषा कई मामलों में मशीनों के लिए उपयुक्त है, लेकिन शब्द की मानव समझ के अनुरूप नहीं लगती है। इस कारण से, "सूचना सिद्धांत" को "संचार सिद्धांत" कहा जाना चाहिए। हालाँकि, परिभाषाओं को बदलने में बहुत देर हो चुकी है (जिसके कारण सिद्धांत ने अपनी प्रारंभिक लोकप्रियता प्राप्त कर ली है, और जो अभी भी लोगों को लगता है कि यह सिद्धांत "जानकारी" से संबंधित है), इसलिए हमें उनके साथ काम करना होगा, लेकिन आपको करना होगा स्पष्ट रूप से समझते हैं कि शैनन द्वारा दी गई जानकारी की परिभाषा अपने सामान्य ज्ञान से कितनी दूर है। शैनन की जानकारी अनिश्चितता से पूरी तरह से अलग है।

जब आप किसी भी शब्दावली की पेशकश करते हैं, तो आपको इसके बारे में सोचने की आवश्यकता होती है। प्रस्तावित परिभाषा कितनी सुसंगत है, उदाहरण के लिए, शैनन द्वारा दी गई परिभाषा, आपके मूल विचार के साथ, और यह कितनी भिन्न है? लगभग कोई भी शब्द ऐसा नहीं है जो अवधारणा के आपके पहले के दृष्टिकोण को सटीक रूप से प्रतिबिंबित करेगा, लेकिन अंत में, यह शब्दावली का उपयोग किया जाता है जो अवधारणा के अर्थ को दर्शाता है, इसलिए स्पष्ट परिभाषाओं के माध्यम से किसी चीज को औपचारिक रूप देना हमेशा कुछ शोर करता है।

ऐसी प्रणाली पर विचार करें जिसकी वर्णमाला में संभाव्यता पाई के साथ प्रतीकों q शामिल हों। इस मामले में, सिस्टम में जानकारी की औसत मात्रा (इसकी अपेक्षित मूल्य) है:



इसे प्रायिकता वितरण प्रणाली {pi} की एन्ट्रॉपी कहा जाता है। हम "एन्ट्रॉपी" शब्द का उपयोग करते हैं क्योंकि थर्मोडायनामिक्स और सांख्यिकीय यांत्रिकी में एक ही गणितीय रूप उत्पन्न होता है। यही कारण है कि शब्द "एन्ट्रॉपी" अपने आप में चारों ओर महत्व की आभा बनाता है, जो अंततः, उचित नहीं है। संकेतन का एक ही गणितीय रूप वर्णों की समान व्याख्या नहीं करता है!

प्रायिकता वितरण की एन्ट्रापी कोडिंग सिद्धांत में एक प्रमुख भूमिका निभाती है। दो अलग-अलग संभाव्यता वितरण पी और क्यूई के लिए गिब्स असमानता इस सिद्धांत के महत्वपूर्ण परिणामों में से एक है। इसलिए हमें यह साबित करना होगा



प्रमाण एक स्पष्ट ग्राफ, अंजीर पर आधारित है। 13. आई, जो दिखाता है



और समानता केवल x = 1. के लिए प्राप्त की जाती है। हम बाईं ओर से राशि के प्रत्येक सारांश के लिए असमानता को लागू करते हैं:



यदि संचार प्रणाली की वर्णमाला में q वर्ण होते हैं, तो प्रत्येक वर्ण qi = 1 / q के संचरण की संभावना को लेते हुए और q को प्रतिस्थापित करते हुए, हम गिब्स असमानता से प्राप्त करते हैं





चित्र 13.I

इससे पता चलता है कि यदि सभी q वर्णों को प्रेषित करने की संभावना समान और समान है - 1 / q, तो अधिकतम एन्ट्रापी ln q है, अन्यथा असमानता रखती है।

विशिष्ट रूप से डिकोड किए गए कोड के मामले में, हमारे पास क्राफ्ट असमानता है



अब अगर हम छद्म संभावनाओं को परिभाषित करते हैं



कहाँ जरूर = 1, जो गिब्स असमानता से निम्नानुसार है,



और कुछ बीजगणित को लागू करें (याद रखें कि K so 1, इसलिए हम लघुगणक शब्द को छोड़ सकते हैं, और संभवतः बाद में असमानता को मजबूत कर सकते हैं), हम प्राप्त करते हैं



जहां L कोड की औसत लंबाई है।

इस प्रकार, एन्ट्रापी एक औसत कोडवर्ड एल के साथ किसी भी वर्ण कोड के लिए न्यूनतम सीमा है। यह एक हस्तक्षेप के बिना चैनल के लिए शैनन प्रमेय है।

अब हम संचार प्रणालियों की सीमाओं पर मुख्य प्रमेय पर विचार करते हैं जिसमें स्वतंत्र बिट्स की धारा के रूप में सूचना प्रसारित होती है और शोर मौजूद होता है। यह माना जाता है कि एक बिट के सही संचरण की संभावना P> 1/2 है, और यह संभावना कि संचरण के दौरान बिट मूल्य उल्टा हो जाएगा (एक त्रुटि उत्पन्न होती है) Q = 1 - P है। सुविधा के लिए, हम मानते हैं कि त्रुटियां स्वतंत्र हैं और त्रुटि की संभावना प्रत्येक भेजे गए के लिए समान है। बिट्स - यानी, संचार चैनल में "सफेद शोर" है।

जिस तरह से हमारे पास एक संदेश में एन्कोडेड एन बिट्स की एक लंबी धारा है, वह एक बिट कोड का एन-आयामी विस्तार है। हम बाद में n का मान निर्धारित करेंगे। एन-बिट्स से मिलकर एक संदेश पर विचार करें जो एन-डायमेंशनल स्पेस में एक बिंदु के रूप में हो। चूंकि हमारे पास एक n- आयामी स्थान है - और सादगी के लिए हम मानते हैं कि प्रत्येक संदेश में घटना की संभावना समान है - एम संभव संदेश हैं (एम बाद में भी निर्धारित किया जाएगा), इसलिए, किसी भी भेजे गए संदेश की संभावना बराबर होती है




(भेजने वाले)
चार्ट 13.II

इसके बाद, चैनल बैंडविड्थ के विचार पर विचार करें। विवरण में जाने के बिना, चैनल क्षमता को अधिकतम जानकारी के रूप में परिभाषित किया गया है जो संचार चैनल पर मज़बूती से प्रसारित किया जा सकता है, सबसे कुशल एन्कोडिंग के उपयोग को ध्यान में रखते हुए। इसमें कोई तर्क नहीं है कि संचार चैनल के माध्यम से अपनी क्षमता से अधिक जानकारी प्रसारित की जा सकती है। यह एक द्विआधारी सममित चैनल (जो हम अपने मामले में उपयोग करते हैं) के लिए साबित हो सकता है। बिटवाइज भेजने की चैनल क्षमता को निम्नानुसार सेट किया गया है



जहां, पहले की तरह, P किसी भी भेजे गए बिट में कोई त्रुटि नहीं होने की संभावना है। N स्वतंत्र बिट्स भेजते समय, चैनल क्षमता के रूप में निर्धारित की जाती है



यदि हम चैनल की बैंडविड्थ के करीब हैं, तो हमें प्रत्येक अक्षर ai, i = 1, ..., M. के लिए लगभग इतनी ही मात्रा की जानकारी भेजनी चाहिए, यह देखते हुए कि प्रत्येक वर्ण ai के होने की संभावना 1 / M है, हमें मिलता है



जब हम एम। के कोई संदेश भेजते हैं, तो हमारे पास होता है



N बिट्स भेजते समय, हम nQ त्रुटियों की उम्मीद करते हैं। व्यवहार में, n- बिट्स वाले संदेश के लिए, हमें प्राप्त संदेश में लगभग nQ त्रुटियाँ होंगी। बड़े एन के लिए, सापेक्ष भिन्नता (भिन्नता = वितरण चौड़ाई)
त्रुटियों की संख्या के वितरण में वृद्धि के साथ संकीर्ण हो जाएगा n।

इसलिए, ट्रांसमीटर की तरफ से, मैं एक त्रिज्या के साथ एक गोले को भेजने और आकर्षित करने के लिए एआई संदेश लेता हूं



जो कि त्रुटियों की अपेक्षित संख्या की तुलना में e2 के बराबर राशि से थोड़ा बड़ा है, (चित्र 13.II)। यदि n पर्याप्त बड़ा है, तो रिसीवर की तरफ संदेश बिंदु bj के प्रकट होने की एक छोटी सी संभावना है, जो इस क्षेत्र से परे है। हम स्थिति को आकर्षित करेंगे, जैसा कि मैं इसे ट्रांसमीटर के दृष्टिकोण से देखता हूं: हमारे पास प्रेषित संदेश एआई से प्राप्त संदेश बीजे में सामान्य वितरण के लिए त्रुटि (या लगभग बराबर) के बराबर त्रुटि के साथ कोई भी रेडी है, जो एनक्यू में अधिकतम तक पहुंचता है। किसी भी e2 के लिए, वहाँ n इतना बड़ा है कि संभावना है कि परिणामी बिंदु bj, मेरे क्षेत्र से परे जा रहा है, कृपया आप के रूप में छोटा होगा।

अब अपने हिस्से पर एक ही स्थिति पर विचार करें (चित्र। 13. आठवें)। रिसीवर की तरफ n- आयामी स्थान में प्राप्त बिंदु bj के चारों ओर समान त्रिज्या r का एक गोलाकार S (r) है, जैसे कि यदि प्राप्त संदेश bj मेरे क्षेत्र के अंदर है, तो मैंने जो संदेश भेजा है वह आपके क्षेत्र के अंदर है।

कोई त्रुटि कैसे हो सकती है? नीचे दी गई तालिका में वर्णित मामलों में एक त्रुटि हो सकती है:



चित्र 13.III



यहाँ हम देखते हैं कि यदि प्राप्त बिंदु के चारों ओर निर्मित क्षेत्र में संभव भेजे गए संदेश के अनुरूप कम से कम एक और बिंदु है, तो संचरण के दौरान एक त्रुटि हुई, क्योंकि आप यह निर्धारित नहीं कर सकते हैं कि इनमें से कौन सा संदेश प्रेषित किया गया था। भेजे गए संदेश में केवल त्रुटियां नहीं हैं, यदि इसके अनुरूप बिंदु क्षेत्र में है, और कोई अन्य बिंदु नहीं हैं जो इस कोड में संभव हैं जो एक ही क्षेत्र में हैं।

हमारे पास एक पुनः त्रुटि की संभावना के लिए एक गणितीय समीकरण है यदि ai भेजा गया था



हम दूसरे शब्द में पहला कारक निकाल सकते हैं, इसे 1 के रूप में लेते हैं। इस प्रकार, हम असमानता प्राप्त करते हैं



ऐसा नहीं है कि स्पष्ट है



इसलिये



फिर से दाईं ओर अंतिम सदस्य के लिए



यदि n को काफी बड़ा लिया जाता है, तो पहला शब्द मनमाने ढंग से छोटा लिया जा सकता है, कहते हैं, एक निश्चित संख्या से कम है d। इसलिए हमारे पास है



अब देखते हैं कि आप n बिट्स वाले M संदेशों को एन्कोडिंग के लिए एक सरल प्रतिस्थापन कोड कैसे बना सकते हैं। कोड (त्रुटि सुधार कोड अभी तक आविष्कार नहीं किया गया है) का निर्माण करने का कोई विचार नहीं होने के बाद, शैनन ने यादृच्छिक कोडिंग को चुना। संदेश में प्रत्येक बिट के लिए एक सिक्का फ्लिप करें और एम संदेशों के लिए प्रक्रिया को दोहराएं। आपको केवल nM कॉइन टॉस करना है, इसलिए यह संभव है



nM की समान संभावना वाले कोड शब्दकोश। बेशक, एक कोडबुक बनाने की यादृच्छिक प्रक्रिया का अर्थ है कि डुप्लिकेट की संभावना है, साथ ही साथ कोड अंक, जो एक दूसरे के करीब होंगे और इसलिए, संभावित त्रुटियों का स्रोत होगा। यह साबित करना आवश्यक है कि यदि यह त्रुटि के किसी छोटे स्तर की तुलना में अधिक संभावना के साथ नहीं होता है, तो दी गई एन काफी बड़ी है।
निर्णायक बिंदु यह है कि शैनन ने औसत त्रुटि खोजने के लिए सभी संभावित कोड पुस्तकों का औसतन उपयोग किया! हम सभी संभव यादृच्छिक कोड शब्दकोशों के सेट पर औसत को निरूपित करने के लिए Av [।] प्रतीक का उपयोग करेंगे। निरंतर d पर अवक्षेपण, निश्चित रूप से एक स्थिरांक देता है, क्योंकि प्रत्येक पद के औसत के लिए किसी अन्य पद के साथ संयोग होता है



जिसे बढ़ाया जा सकता है (M - 1 M को जाता है)



किसी भी विशेष संदेश के लिए, जब सभी कोडबुक्स से औसतन, कोडिंग सभी संभावित मूल्यों से चलती है, तो एक क्षेत्र में एक बिंदु पर होने वाली औसत संभावना अंतरिक्ष के कुल आयतन के क्षेत्र के अनुपात का अनुपात है। क्षेत्र का दायरा



जहाँ s = Q + e2 <1/2 और ns एक पूर्णांक होना चाहिए।

दाईं ओर का अंतिम शब्द इस राशि में सबसे बड़ा है। सबसे पहले, हम स्टर्लिंग के तथ्य के लिए सूत्र द्वारा इसके मूल्य का अनुमान लगाते हैं। फिर हम इसके सामने शब्द की कमी के गुणांक को देखते हैं, ध्यान दें कि बाईं ओर बढ़ने पर यह गुणांक बढ़ता है, और इसलिए हम कर सकते हैं: (1) प्रारंभिक गुणांक के साथ ज्यामितीय प्रगति के योग की सीमा को सीमित करते हैं, (2) ns सदस्यों से ज्यामितीय प्रगति का विस्तार करते हैं। अनंत शब्दों की संख्या, (3) अनंत ज्यामितीय प्रगति के योग की गणना करती है (मानक बीजगणित, कुछ भी महत्वपूर्ण नहीं) और अंत में सीमा मान प्राप्त करें (पर्याप्त रूप से बड़े n के लिए):



ध्यान दें कि द्विपद पहचान में एंट्रॉपी एच (s) कैसे दिखाई देता है। ध्यान दें कि टेलर सीरीज़ H (s) = H (Q + e2) में विस्तार केवल पहले व्युत्पन्न और अन्य सभी को अनदेखा करने के कारण प्राप्त अनुमान देता है। अब चलो अंतिम अभिव्यक्ति एकत्र करते हैं:



जहाँ



हमें केवल ई 2 चुनने की जरूरत है ताकि e3 <e1, और फिर अंतिम शब्द मनमाने ढंग से छोटा हो, n पर्याप्त रूप से बड़े के लिए। इसलिए, औसत पीई त्रुटि एक चैनल क्षमता के साथ मनमाने ढंग से छोटी प्राप्त की जा सकती है जो मनमाने ढंग से सी के करीब है।
यदि सभी कोडों के औसत में पर्याप्त रूप से छोटी त्रुटि है, तो कम से कम एक कोड उपयुक्त होना चाहिए, इसलिए, कम से कम एक उपयुक्त कोडिंग प्रणाली मौजूद है। यह शैनन द्वारा प्राप्त एक महत्वपूर्ण परिणाम है - "शैनन का सिद्धांत एक हस्तक्षेप के साथ एक चैनल के लिए", हालांकि यह ध्यान दिया जाना चाहिए कि उसने इसे एक साधारण बाइनरी सममित चैनल के लिए जो मैंने इस्तेमाल किया था, की तुलना में बहुत अधिक सामान्य मामले के लिए साबित हुआ। सामान्य मामले के लिए, गणितीय गणना बहुत अधिक जटिल हैं, लेकिन विचार इतने अलग नहीं हैं, इसलिए बहुत बार, विशेष मामले के उदाहरण का उपयोग करके, कोई प्रमेय के सही अर्थ को प्रकट कर सकता है।

चलो परिणाम की आलोचना करते हैं। हमने बार-बार दोहराया: "पर्याप्त रूप से बड़े एन के लिए।" लेकिन n कितना बड़ा है? बहुत, बहुत बड़ा है, अगर आप वास्तव में एक साथ चैनल की बैंडविड्थ के करीब होना चाहते हैं और सही डेटा ट्रांसफर सुनिश्चित करते हैं! इतना बड़ा कि वास्तव में आपको बाद में सांकेतिक शब्दों में बदलने के लिए बहुत सारे बिट्स से एक संदेश जमा करने के लिए बहुत लंबे समय तक इंतजार करना होगा। उसी समय, यादृच्छिक कोड शब्दकोश का आकार बहुत बड़ा होगा (आखिरकार, इस तरह के शब्दकोश को सभी एमएन बिट्स की पूरी सूची की तुलना में छोटे रूप में प्रस्तुत नहीं किया जा सकता है, जबकि एन और एम बहुत बड़े हैं)!

त्रुटि सुधार कोड बहुत लंबे संदेश की प्रतीक्षा करने से बचते हैं, इसके बाद के एन्कोडिंग और बहुत बड़ी कोडबुक के माध्यम से डिकोडिंग के साथ, क्योंकि वे प्रति से कोडबुक से बचते हैं और इसके बजाय पारंपरिक गणना का उपयोग करते हैं। एक साधारण सिद्धांत में, इस तरह के कोड, एक नियम के रूप में, चैनल क्षमता से संपर्क करने की उनकी क्षमता खो देते हैं और एक ही समय में काफी कम त्रुटि दर बनाए रखते हैं, लेकिन जब कोड बड़ी संख्या में त्रुटियों को ठीक करता है, तो वे अच्छे परिणाम दिखाते हैं। दूसरे शब्दों में, यदि आप त्रुटि सुधार के लिए किसी प्रकार की चैनल क्षमता बिछा रहे हैं, तो आपको अधिकतर समय त्रुटि सुधार विकल्प का उपयोग करना चाहिए, अर्थात्, प्रत्येक भेजे गए संदेश में बड़ी संख्या में त्रुटियां तय होनी चाहिए, अन्यथा आप इस क्षमता को कुछ भी नहीं खो देंगे।

इसके अलावा, प्रमेय ऊपर साबित अभी भी व्यर्थ नहीं है! यह दर्शाता है कि कुशल ट्रांसमिशन सिस्टम को बहुत लंबे बिट स्ट्रिंग्स के लिए परिष्कृत कोडिंग योजनाओं का उपयोग करना चाहिए। एक उदाहरण उपग्रहों का है जो बाहरी ग्रह के बाहर उड़ा है; जैसा कि वे पृथ्वी और सूर्य से दूर जाते हैं, उन्हें डेटा ब्लॉक में अधिक से अधिक त्रुटियों को ठीक करने के लिए मजबूर किया जाता है: कुछ उपग्रह सौर पैनलों का उपयोग करते हैं, जो लगभग 5 वाट देते हैं, अन्य परमाणु शक्ति स्रोतों का उपयोग करते हैं जो समान शक्ति के बारे में देते हैं।शक्ति स्रोत की कमजोर शक्ति, ट्रांसमीटर प्लेटों के छोटे आकार और पृथ्वी पर रिसीवर प्लेटों के सीमित आकार, सिग्नल की यात्रा करने वाली विशाल दूरी - यह सब एक प्रभावी संचार प्रणाली बनाने के लिए उच्च स्तर के त्रुटि सुधार के साथ कोड के उपयोग की आवश्यकता है।

हम उस एन-डायमेंशनल स्पेस पर लौटते हैं जिसका हमने ऊपर प्रूफ में इस्तेमाल किया था। इस पर चर्चा करते हुए, हमने दिखाया कि लगभग पूरी मात्रा बाहरी सतह के पास केंद्रित है, - इस प्रकार, लगभग निश्चित रूप से भेजे गए सिग्नल को प्राप्त सिग्नल के चारों ओर बनाए गए गोले की सतह पर स्थित होगा, यहाँ तक कि इस तरह के एक अपेक्षाकृत छोटे दायरे के साथ। इसलिए, यह आश्चर्यजनक नहीं है कि एक बड़ी संख्या में त्रुटियों, एनक्यू के सुधार के बाद प्राप्त संकेत, त्रुटियों के बिना संकेत के करीब होने के लिए निकला। संचार चैनल की क्षमता, जिसकी हमने पहले जांच की थी, इस घटना को समझने की कुंजी है। कृपया ध्यान दें कि हेमिंग त्रुटि सुधार कोड के लिए निर्मित ऐसे क्षेत्र ओवरलैप नहीं होते हैं। एन-आयामी अंतरिक्ष शो में व्यावहारिक रूप से ऑर्थोगोनल माप की एक बड़ी संख्याहम एम स्पेस में एक मामूली ओवरलैप के साथ क्यों फिट हो सकते हैं। यदि आप एक छोटे, मनमाने ढंग से छोटे ओवरलैप की अनुमति देते हैं, जो कि डिकोडिंग के दौरान केवल छोटी संख्या में त्रुटियां हो सकती हैं, तो आप अंतरिक्ष में गोले की घनी व्यवस्था प्राप्त कर सकते हैं। हैमिंग ने त्रुटि सुधार के एक निश्चित स्तर की गारंटी दी, शैनन - त्रुटि की कम संभावना, लेकिन साथ ही साथ वास्तविक बैंडविड्थ को संचार चैनल की क्षमता के करीब मनमाने ढंग से बनाए रखना, जिसे हमिंग कोड नहीं कर सकते।लेकिन एक ही समय में, वास्तविक थ्रूपुट का संरक्षण मनमाने ढंग से संचार चैनल की क्षमता के करीब है, जिसे हैमिंग कोड्स कर सकते हैं।लेकिन एक ही समय में, वास्तविक थ्रूपुट का संरक्षण मनमाने ढंग से संचार चैनल की क्षमता के करीब है, जिसे हैमिंग कोड्स कर सकते हैं।

सूचना सिद्धांत एक प्रभावी प्रणाली को डिज़ाइन करने के तरीके के बारे में बात नहीं करता है, लेकिन यह प्रभावी संचार प्रणालियों की ओर आंदोलन की दिशा को इंगित करता है। यह मशीनों के बीच संचार प्रणालियों के निर्माण के लिए एक मूल्यवान उपकरण है, लेकिन, जैसा कि पहले उल्लेख किया गया है, यह बहुत ज्यादा नहीं है कि लोग एक दूसरे के साथ सूचनाओं का आदान-प्रदान कैसे करते हैं। जैविक संचार प्रणाली के समान जैविक वंशानुक्रम किस हद तक अज्ञात है, इसलिए वर्तमान में यह स्पष्ट नहीं है कि सूचना सिद्धांत जीन पर कैसे लागू होता है। हमारे पास प्रयास करने के अलावा कोई विकल्प नहीं है, और यदि सफलता हमें इस घटना के मशीन जैसी प्रकृति को दिखाती है, तो विफलता सूचना की प्रकृति के अन्य महत्वपूर्ण पहलुओं को इंगित करेगी।

चलो ज्यादा विचलित न हों। हमने देखा है कि सभी प्रारंभिक परिभाषाओं को, अधिक या कम सीमा तक, हमारी प्रारंभिक मान्यताओं का सार व्यक्त करना चाहिए, लेकिन उन्हें कुछ हद तक विकृति की विशेषता है, और इसलिए वे लागू नहीं हैं। यह परंपरागत रूप से स्वीकार किया जाता है कि, अंततः, जो परिभाषा हम उपयोग करते हैं वह वास्तव में सार को परिभाषित करता है; लेकिन, यह केवल हमें बताता है कि चीजों को कैसे संसाधित किया जाए और किसी भी तरह से हमें कोई मतलब नहीं है। उत्तरोत्तर दृष्टिकोण, इसलिए गणितीय हलकों में दृढ़ता से प्रशंसित, व्यवहार में वांछित होने के लिए बहुत कुछ छोड़ देता है।

अब हम IQ परीक्षणों का एक उदाहरण देखेंगे, जहां परिभाषा आपकी पसंद के अनुसार चक्रीय है, और परिणामस्वरूप आपको भ्रमित करता है। एक परीक्षण बनाया जाता है जिसे बुद्धि को मापने के लिए माना जाता है। उसके बाद, यह संभव के रूप में सुसंगत होने की समीक्षा की जाती है, और फिर इसे सरल तरीके से प्रकाशित और कैलिब्रेट किया जाता है ताकि मापा "खुफिया" सामान्य रूप से वितरित किया जाता है (निश्चित रूप से, अंशांकन वक्र के साथ)। सभी परिभाषाओं को क्रॉस-चेक किया जाना चाहिए, न केवल जब वे पहले प्रस्तावित होते हैं, लेकिन बहुत बाद में, जब उनका उपयोग किए गए निष्कर्ष में किया जाता है। किस सीमा तक कार्य के लिए परिभाषा की सीमाएँ हाथ में हैं? समान परिस्थितियों में दी गई परिभाषाओं को कितनी बार अलग-अलग स्थितियों में लागू किया जाना शुरू होता है? यह काफी आम है!मानविकी में जो आप अनिवार्य रूप से अपने जीवन में सामना करेंगे, ऐसा अधिक बार होता है।

इस प्रकार, सूचना सिद्धांत की इस प्रस्तुति के लक्ष्यों में से एक, इसकी उपयोगिता को प्रदर्शित करने के अलावा, आपको इस खतरे के बारे में चेतावनी देना था, या वांछित परिणाम प्राप्त करने के लिए इसका उपयोग करने का प्रदर्शन करना था। यह लंबे समय से देखा गया है कि प्रारंभिक परिभाषाएं निर्धारित करती हैं कि आप अंत में क्या पाते हैं, जितना लगता है उससे कहीं अधिक। प्रारंभिक परिभाषाओं में आपको न केवल किसी नई स्थिति में, बल्कि उन क्षेत्रों में भी बहुत ध्यान देने की आवश्यकता है, जिनके साथ आप लंबे समय से काम कर रहे हैं। यह आपको यह समझने की अनुमति देगा कि प्राप्त परिणाम किस हद तक एक तनातनी हैं, और कुछ उपयोगी नहीं है।

, . , , , ! , .

...

, — magisterludi2016@yandex.ru

, — «The Dream Machine: » )

, , . ( 10 , 20 )