एक शुद्ध आत्मा के साथ गंदी प्रोग्रामिंग: ह्यूरिस्टिक सिस्टम का विकास (भाग 1)

रसायनज्ञ यह कहना पसंद करते हैं कि रसायन शास्त्र शुद्ध तरीकों से गंदे पदार्थों के अध्ययन में लगा हुआ है, भौतिक विज्ञान गंदे तरीकों द्वारा शुद्ध पदार्थों के अध्ययन में लगा हुआ है, और भौतिक रसायन विज्ञान , वे कहते हैं, गंदे पदार्थों का अध्ययन गंदे तरीकों द्वारा किया जाता है। परंपरागत रूप से कृत्रिम बुद्धिमत्ता या उनसे संबंधित क्षेत्रों में (पैटर्न मान्यता, एनपी-कठिन समस्याओं को हल करना, वर्ड प्रोसेसिंग आदि), अधिकांश कार्य गंदे हैं। यानी औपचारिक विवरण के लिए खराब तरीके से हल करने और समाधान की शुद्धता के लिए स्पष्ट मानदंड नहीं होने के कारण। मुझे नहीं पता कि केमिस्ट कैसे बाहर निकलते हैं, और प्रोग्रामर शायद ही कभी इस तरह की समस्याओं को बिना गंदे हुए हल करने का प्रबंधन करते हैं। गंदे कामों की प्रोग्रामिंग करना भी गंदा है, और यहाँ गंदे का मतलब बुरा नहीं है। यह लेख साफ और बाँझ रखने के तरीके के बारे में नहीं है। यह लेख इस बात के बारे में है कि, कैसे क्रॉबर साहस और धैर्य से लैस, गहरी लिथोस्फेरिक परतों में डुबकी लगाने और जीवित रहने के लिए।

तो, मान लीजिए कि आपको एक ऐसी प्रणाली विकसित करने की आवश्यकता है जो जटिल व्यवहार को प्रदर्शित करती है (उदाहरण के लिए, सड़कों के माध्यम से दादी को ले जाना, या, एक विदेशी तरीके से, एक छवि में पाठ को पहचानना)। यदि यह आपको लगता है कि कार्य पर्याप्त गंदा नहीं है, तो एक कार्य प्रणाली लिखने की कोशिश करें, जितना संभव हो उतना उसके काम की गुणवत्ता में सुधार करें, और फिर और भी अधिक सुधार करें। यह सलाह दी जाती है कि यदि प्रदर्शन खराब नहीं होता है, तो आदर्श रूप से - अगर यह बेहतर होता है।

विज्ञान बहुत सारे रितिक को जानता है

खराब औपचारिक रूप से जटिल समस्याओं को हल करने के तरीके के बारे में दो लगातार मिथक हैं।

मिथक 1. गणित की महान शक्ति।

यह एक आम गलतफहमी है कि जटिल समस्याओं की दुनिया में, गणित के शक्तिशाली तूफान द्वारा सब कुछ ध्यान में रखा गया है। कई के विचार में, AI जैसी समस्याओं को हल करने में शामिल प्रोग्रामर सफेद कोट में अंडे के सिर वाले वैज्ञानिक हैं, जो एक स्लेट बोर्ड के पीछे लगभग सभी समय बिताते हैं और उग्र घुंघराले अभिन्न को हल करते हैं। मैं उस गणितीय तरीकों को परेशान करने में जल्दबाजी करता हूं, हालांकि दिलचस्प मामलों में बेहद उपयोगी है, एक निराशात्मक रूप से सीमित गुंजाइश है। बल्कि, सही दृष्टिकोण यह होगा कि अत्याधुनिक विज्ञान के उपकथाओं को अलग करने की कोशिश की जाए और सिस्टम के अलग-अलग घटकों के रूप में उनके समाधान का उपयोग किया जाए। उदाहरण के लिए, सरल मामलों के लिए, क्लस्टरिंग ऑब्जेक्ट्स की समस्या का अच्छी तरह से अध्ययन किया जाता है, अर्थात। उन्हें समूहों में विभाजित करना, और संभाव्यता सिद्धांत की नींव पर आधारित विधियों / गणितीय आँकड़ों को इसके समाधान के लिए विकसित किया गया है, जहां एक स्लेट बोर्ड पर आकर्षक रूप से देखने वाले सूत्र पाए जाते हैं। एक ही सैद्धांतिक नींव पर जटिल सिस्टम के निर्माण के लिए हाल ही में आशाजनक और गहन शोध किया गया है- बायेसियन नेटवर्क । लेकिन सामान्य तौर पर, गणितीय गियर बहुत सुंदर होते हैं और कसकर एक-दूसरे के लिए फिट होते हैं, ताकि वे गंदगी के बड़े झुरमुटों से जाम न हों। जल्दी या बाद में, आपको अपने बागे को उतारना होगा और शांत कार्यालय को छोड़ना होगा।

मिथक 2. सब कुछ बिग न्यूरल नेटवर्क द्वारा तय किया जाएगा

आपको केवल परतों की सही संख्या और इसकी वास्तुकला का चयन करने की आवश्यकता है। भविष्य में, यह केवल नेटवर्क को प्रशिक्षित करने के लिए बनी हुई है, और बुद्धिमान synapses खुद को सच पथ का संकेत देगा। कभी-कभी आनुवंशिक एल्गोरिदम को एक विकल्प के रूप में पेश किया जाता है: यह माना जाता है कि उनके अंदर एक विचारक भी है। यहां की स्थिति वैसी ही है जैसी गणित के बारे में कही गई थी। हां, सीमित मामलों में, ये विधियां मदद करती हैं, लेकिन सामान्य तौर पर वे रामबाण नहीं हैं। एक तंत्रिका नेटवर्क की स्थापना अभी भी एक पीड़ा है, या, यदि आप चाहें, तो एक कला। एक और समस्या यह है कि अंत में यह एक ब्लैक बॉक्स के समान कुछ हो जाता है, जिसके बारे में भविष्यवाणी करना या बदलना एक गंभीर समस्या बन जाती है। व्यवहार में बदलाव, निश्चित रूप से, की आवश्यकता होगी।

"सुंदर" दृष्टिकोण की मौलिक सीमा यह है कि वे सभी किसी भी सुंदर धारणा पर बहुत अधिक निर्भर करते हैं। उदाहरण के लिए, वर्गीकरण समस्या के लिए , धारणाएं इस तथ्य में शामिल हो सकती हैं कि वस्तुओं की कई विशेषताएं मिश्रित गौसियन वितरण का पालन करती हैं, या कि ये विशेषताएं एक दूसरे से स्वतंत्र हैं। तंत्रिका नेटवर्क के मामले में, यह बहुत अच्छा होगा यदि सुविधाएँ कम से कम लगभग रैखिक रूप से अलग होने योग्य हों। सबसे खराब रूप से, संकेतों को एक दूसरे में रैखिक रूप से अलग होने दें , यद्यपि स्पष्ट रूप से परिभाषित स्थान ।

वास्तविक जीवन में, किसी कारण से, वस्तुएं वास्तव में हमें सुनना नहीं चाहती हैं और हमेशा एक विधि या किसी अन्य द्वारा आवंटित सीमाओं से परे जाती हैं। यह वह जगह है जहां यह पता चलता है: कठोर वास्तविकता के लिए सैद्धांतिक सौंदर्य को अनुकूलित करने के लिए, आपको अपने दिमाग को बहुत मुश्किल से तनावपूर्ण करना होगा, सिस्टम को ट्यूनिंग करना या चुने हुए समाधान विधि को संशोधित करना होगा। और जब प्रारंभिक परिसर सीमों पर दरार करना शुरू कर देता है, तो आपको पीड़ित प्रणाली के वर्षों तक मूल को छोड़ना होगा और प्रतिस्पर्धी दृष्टिकोणों की ओर मुड़ना होगा।

हेयुरिस्टिक प्रोग्रामिंग

यह पता चला है कि किसी तरह इसे हासिल करना आवश्यक है, जब वास्तविकता को स्पष्ट करते हुए, थोड़ा रक्त के साथ नई परिस्थितियों के अनुकूल होना संभव होगा। वास्तविकता का वर्णन करने और प्रोसेसर निर्देशों में इस वास्तविकता को प्रदर्शित करने के लिए एक अभिव्यंजक भाषा की आवश्यकता होती है। दुर्भाग्य से, सामान्य प्रयोजन की प्रोग्रामिंग भाषा की तुलना में इस उद्देश्य के लिए अधिक लचीला और कुशल कुछ भी नहीं है। इसलिए, आपको कोड लिखना होगा, और बहुत कुछ।

इसलिए, विकास के एक निश्चित चरण में, एक प्रोग्राम जो वास्तव में एक गंदा काम को हल करता है, वास्तव में एक सामान्य-प्रयोजन प्रोग्रामिंग भाषा में लिखी गई एक विशेषज्ञ प्रणाली में बदल जाता है (यदि आप एक विशेष भाषा के साथ प्राप्त करने का प्रबंधन करते हैं, तो हम शब्द के शास्त्रीय अर्थ में एक विशेषज्ञ प्रणाली के बारे में बात कर रहे हैं, लेकिन तर्क से सार यह नहीं बदलता है)। इस तरह के एक कार्यक्रम की एक अभिन्न विशेषता - एक विशेषज्ञ प्रणाली हेयूरिस्टिक्स की प्रचुरता है जो स्पष्ट रूप से कोड में व्यक्त की जाती है। हयूरिस्टिक्स कार्य, नियम और मानदंड हैं जो वैज्ञानिक वैधता के दृष्टिकोण से संदिग्ध हैं, जैसे कि कुछ (शब्द। लॉकेटसाउंट ()> = 4) {...}। कार्यक्रम का एक टुकड़ा, जो कि सांख्यिकी से बना है, अपने आप में अगले स्तर का एक अनुमान है, और इसी तरह पूरी प्रणाली के स्तर पर। इस तरह के कोड को चर, विधियों और कक्षाओं के नाम से पहचानना आसान है। सभी प्रकार के संदेहास्पद, लुकलीटेबल (), गुडटेक्स्ट्रेक्टर। टिप्पणियाँ भी दी गई हैं:

« : », « , » ।"

ह्यूरिस्टिक्स लिखना एक आकर्षक गतिविधि और दिलचस्प कला है, हालांकि यह असामान्य लग सकता है। इस तथ्य की खोज करना बहुत अच्छा है कि अक्षर लगभग चौकोर हैं, और इसका उपयोग छवि में अंधेरे घटकों की ऊंचाई के आधार पर पाठ में अंतराल की चौड़ाई का अनुमान लगाने के लिए है (चौड़ाई कम विश्वसनीय है, क्योंकि पत्र अक्सर उनके बीच की रेखाओं के अंदर चिपके होते हैं)। यह गंदा है, है ना?

इस लेख के बाकी हिस्सों में, प्रोग्रामिंग के लिए लागू विशेषताओं "हेयुरिस्टिक" और "गंदे" को परस्पर विनिमय के लिए उपयोग किया जाता है।

यह रहता है

जटिलता के एक निश्चित चरण में, सिस्टम का वर्णन करने का सबसे अच्छा तरीका सिस्टम ही है। प्रकृति में, अत्यंत जटिल प्रणालियों के उदाहरण पर्याप्त हैं: अर्थशास्त्र, जीनोम, बायोकेनोसिस। प्रोग्रामिंग में भी, लेकिन हेयुरिस्टिक प्रोग्रामिंग के लिए, एक प्रभाव जिसमें नियंत्रण की हानि होती है, विशेष रूप से उज्ज्वल।

मान लीजिए कि हम एक ऐसी प्रणाली लिखते हैं जो एक छवि का विश्लेषण करती है और उस पर चित्र, पाठ, तालिकाओं और इस तरह का खुलासा करती है। यह अनुमान लगाने के लिए उचित लगता है कि निश्चितता के माप को ध्यान में रखते हुए कि एक दी गई वस्तु पाठ का एक टुकड़ा है। इसलिए हमें एक क्लासिफायर की जरूरत है । यह महान है कि एक क्लासिफायर बनाने के कार्य का अच्छी तरह से अध्ययन किया गया है। सवाल यह है कि अपने काम की गुणवत्ता के लिए कसौटी के रूप में क्या लेना है। सामान्य ज्ञान कहता है कि आपको वास्तविक जीवन की छवियों का एक डेटाबेस बनाने की आवश्यकता है और सही ढंग से वर्गीकृत वस्तुओं के एक बड़े अनुपात की आवश्यकता होती है और, तदनुसार, झूठी सकारात्मक का एक छोटा सा अंश। मामले में जब क्लासिफायर का उपयोग एक जीवित बड़ी प्रणाली में किया जाता है, तो सब कुछ इतना सरल नहीं होता है। यह अच्छी तरह से पता चल सकता है कि क्लासिफायर की गुणवत्ता में सुधार से सिस्टम की गुणवत्ता पूरी तरह बिगड़ जाती है।

यह कैसे हो सकता है? शायद एक निश्चित प्रकार के फोंट के वर्गीकरण में एक गंभीर सुधार हुआ है, जो अक्सर छवियों में पाया जाता है, दुर्लभ फोंट के वर्गीकरण में थोड़ी गिरावट के कारण - ठीक है, यह ठीक लगेगा। समस्या यह है कि ये दुर्लभ फोंट अधिक बार हेडर में उपयोग किए जाते हैं। और शीर्षकों का पाठ संपूर्ण रूप में पृष्ठ के पाठ की तुलना में बहुत छोटा है, इसलिए सिस्टम के लिए क्लासिफायर की एक त्रुटि को पहचानना और उसे सही करना अधिक कठिन होगा। इसके अलावा, हेडर असमान रूप से बड़े हो सकते हैं और इसलिए तस्वीर के लिए गलत होने की संभावना अधिक होती है। नतीजतन, क्लासिफायर में बदलाव के कमजोर नकारात्मक प्रभाव मजबूत सकारात्मक लोगों को पछाड़ते हैं। यह पता चला है कि क्लासिफायरियर की गुणवत्ता की कसौटी को पूरा करना आवश्यक है? सामान्य मामले में, यह पता चलता है कि सिस्टम घटक के काम की गुणवत्ता के लिए सबसे सरल मानदंड एक पूरे के रूप में सिस्टम की गुणवत्ता है।

स्थिति विकासवादी जीनोम के समान है। यह पता लगाने का कोई मतलब नहीं है कि क्या एक दिया गया जीन अमूर्त तर्क के आधार पर हानिकारक है या नहीं। यह महत्वपूर्ण है कि क्या जीन व्यक्ति के जीवित रहने की संभावना को बढ़ाता है। कार्यक्रम में, जैसा कि जीनोम में, जटिल और गैर-तुच्छ हेयुरिस्टिक / जीन इंटरैक्शन आवश्यक रूप से उत्पन्न होते हैं। यह ज्ञात है कि पहले रक्त समूह की उपस्थिति से हैजा होने की संभावना बढ़ जाती है, लेकिन मलेरिया के प्रति संवेदनशीलता कम हो जाती है। इस प्रकार, रक्त समूह जीन के एक सेट की उपयोगिता व्यक्ति के निवास स्थान पर निर्भर करती है। कोई कम विचित्र और अप्रत्याशित निर्भरताएं ह्युरीस्टिक सॉफ्टवेयर प्रणाली में सर्वव्यापी नहीं हैं।

तो, सिस्टम भयावह रूप से जटिल हो जाता है। इसे स्वीकार करने का एक प्रलोभन है जैसा कि यह है और इसे सामान्य उपयोगिता के सिद्धांत के अनुसार विशेष रूप से विकसित करना है, जैसा कि विकास जीनोम के साथ करता है। यदि आपके पास स्टॉक और संसाधनों में किसी ग्रह के आकार में कुछ अरब वर्ष हैं, तो यह दृष्टिकोण काफी उपयुक्त है, और लेख का दूसरा भाग पढ़ा नहीं जा सकता है। यह केवल नश्वरता के लिए दिलचस्प हो सकता है कि क्या जटिलता के विकास को दूर करने का कोई तरीका है। संक्षिप्त उत्तर: कोई सार्वभौमिक नुस्खा नहीं है, लेकिन आपको प्रयास करना होगा। एक अधिक विस्तृत चर्चा दूसरे भाग में है।

दिमित्री हनार्स्की (अब हैबे : मैत्यलास्की पर )
प्रौद्योगिकी विकास विभाग

UPD 0:42 05/31/2012 से: दूसरा भाग दिखाई दिया है ।