🎅🏻 😆 🔙 मेटामॉर्फिक परीक्षण: क्यों लगभग कोई भी इस होनहार तकनीक के बारे में नहीं जानता है 🌚 🤜🏿 🙅🏼

मुझे स्वीकार करना होगा: मैं एसीएम पत्रिका पढ़ रहा हूं। यह मुझे प्रोग्रामर्स के मानकों के अनुसार भी एक "बेवकूफ" बनाता है। अन्य बातों के अलावा, मैंने इस पत्रिका से "मेटामॉर्फिक परीक्षण" के बारे में सीखा। मैंने उसके बारे में पहले कभी नहीं सुना था, जितने लोगों से मैंने पूछा था। लेकिन इस विषय पर वैज्ञानिक साहित्य आश्चर्यजनक रूप से स्वैच्छिक है: अनुसंधान के पूरी तरह से अलग-अलग क्षेत्रों में इसके आवेदन के कई अविश्वसनीय रूप से सफल उदाहरण हैं। तो हमने उससे पहले क्यों नहीं सुना? वैज्ञानिक समुदाय के बाहर के लोगों के लिए केवल एक लेख है। अब उनमें से दो होने दो।

संक्षिप्त पृष्ठभूमि

अधिकांश लिखित परीक्षण oracles का उपयोग करते हैं । यही है, आप उत्तर जानते हैं और स्पष्ट रूप से जांचें कि क्या गणना सही उत्तर देती है।

def test_dist(): p1 = (0, 3) p2 = (4, 0) assert dist(p1, p2) == 5

ओरेकल परीक्षणों के अलावा, मैन्युअल परीक्षण भी हैं। परीक्षक कंप्यूटर पर बैठता है और परिणामों के साथ इनपुट डेटा की तुलना करता है। जैसे-जैसे सिस्टम अधिक जटिल होते हैं, मैनुअल परीक्षण कम और कम उपयोगी होते जा रहे हैं। उनमें से प्रत्येक बहुत बड़े राज्य स्थान में केवल एक बिंदु की जांच करता है, और हमें कुछ ऐसा चाहिए जो पूरे राज्य के स्थान की पड़ताल करे।

यह हमें जेनेरिक परीक्षण की ओर ले जाता है: एक राज्य अंतरिक्ष में एक यादृच्छिक सेट को कवर करने वाले परीक्षण लिखना। जेनेटिक टेस्टिंग की सबसे लोकप्रिय शैली संपत्ति आधारित परीक्षण , या पीबीटी है। हम फ़ंक्शन का "गुण" पाते हैं, और फिर इनपुट मान उत्पन्न करते हैं और जांचते हैं कि आउटपुट मान इस संपत्ति से मेल खाते हैं या नहीं।

 def test_dist(): p1 = random_point() p2 = random_point() assert dist(p1, p2) >= 0

PBT का लाभ यह है कि इसमें अधिक स्थान शामिल है। इसका नुकसान विशिष्टता का नुकसान है। यह अब एक oracle परीक्षण नहीं है! हमें नहीं पता कि उत्तर क्या होना चाहिए, और फ़ंक्शन गलत हो सकता है, लेकिन एक तरह से जिसकी समान संपत्ति है। यहां हम अनुमानों पर भरोसा करते हैं।

पीबीटी के साथ एक गंभीर समस्या अच्छी गुण पा रही है। अधिकांश कार्यों में सरल, सामान्य गुण और जटिल, विशिष्ट गुण होते हैं। सामान्य गुणों को बड़ी संख्या में कार्यों के लिए लागू किया जा सकता है, लेकिन वे हमें अधिक जानकारी नहीं देते हैं। अधिक विशिष्ट गुण अधिक जानकारी देते हैं, लेकिन उन्हें ढूंढना अधिक कठिन होता है और वे केवल सीमित कार्यों के क्षेत्रों में ही लागू होते हैं। यदि आपके पास एक फ़ंक्शन है जो यह निर्धारित करता है कि क्या ग्राफ एसाइक्लिक है, तो आप कौन से संपत्ति परीक्षण लिखेंगे? क्या वे आपको विश्वास दिलाएंगे कि फ़ंक्शन सही है?

प्रेरणा

अब अधिक जटिल कार्य पर विचार करें। कल्पना करें कि आप अंग्रेजी के लिए स्पीच-टू-टेक्स्ट (STT) कन्वर्टर लिखना चाहते हैं। यह एक ध्वनि फ़ाइल प्राप्त करता है, और पाठ प्रदर्शित करता है। आप इसे कैसे परखेंगे?

एक हाथ का आभूषण का उपयोग करने का सबसे आसान तरीका। वाक्य को डिक्टेट करें और जांचें कि आउटपुट टेक्स्ट इससे मेल खाता है या नहीं। लेकिन यह भी काफी करीब नहीं है! मानव भाषण की सीमा बहुत बड़ी है । 1,000 या 10,000 अलग-अलग ध्वनि फ़ाइलों का परीक्षण करना बेहतर होगा। प्रतिलेखन के साथ हाथ से पकड़े गए ओर्कल्स बहुत महंगे होंगे। इसका मतलब है कि हमें इसके बजाय संपत्ति-आधारित परीक्षण का उपयोग करना होगा।

लेकिन हम इनपुट कैसे उत्पन्न करते हैं? उदाहरण के लिए, हम रैंडम लाइनें बना सकते हैं, उन्हें टेक्स्ट-टू-स्पीच कन्वर्टर (टेक्स्ट-टू-स्पीच, टीटीएस) के माध्यम से पास कर सकते हैं, और फिर यह सुनिश्चित कर सकते हैं कि हमारा एसटीटी उसी टेक्स्ट का उत्पादन करता है। लेकिन यह फिर से हमें बहुत ही सीमित मात्रा में मानवीय आवाज़ देता है। क्या टीटीएस शब्दों में परिवर्तन कर सकते हैं, "निगल" शब्द, एक मजबूत उच्चारण की नकल करते हैं? यदि हम उनसे निपट नहीं पाते हैं, तो क्या एसटीटी विशेष रूप से उपयोगी होगा? मनमानी ग्रंथों का उपयोग करना बेहतर है, उदाहरण के लिए, रेडियो से रिकॉर्डिंग, पॉडकास्ट और ऑनलाइन वीडियो से।

अब एक नई समस्या पैदा होती है। टीटीएस का उपयोग करते समय, हमने लिखित पाठ के साथ शुरू किया। मनमानी ध्वनि फ़ाइलों के मामले में, हमारे पास यह नहीं है, और एक ही समय में हम मैन्युअल रूप से स्थानांतरित नहीं करना चाहते हैं। इसके बजाय, हम गुणों का उपयोग करने तक सीमित हैं। हमें परीक्षण करने के लिए किन गुणों की आवश्यकता है? सबसे सरल गुणों के उदाहरण: "कार्यक्रम किसी भी आने वाले डेटा के साथ दुर्घटना नहीं करता है" (एक अच्छी संपत्ति) या "यह ध्वनिक संगीत को शब्दों में परिवर्तित नहीं करता है" (शायद?)। ये गुण कार्यक्रम के मुख्य कार्य के सत्यापन को अच्छी तरह से कवर नहीं करते हैं और इसकी गुणवत्ता में थोड़ा विश्वास बढ़ाते हैं।

इसलिए, हमारे पास दो कार्य हैं। सबसे पहले, हमें भाषण के रूप में बड़ी मात्रा में इनपुट की आवश्यकता है। दूसरे, हमें यह समझने की आवश्यकता है कि उन्हें लंबे समय तक मैन्युअल रूप से आवाज़ों को ऑरेकल में स्थानांतरित किए बिना उन्हें उपयोगी परीक्षणों में कैसे बदलना है।

मेटामॉर्फिक परीक्षण

इस सब के लिए, आउटपुट को अलग से माना जाता है। क्या होगा अगर हम उन्हें एक व्यापक संदर्भ में एम्बेड करते हैं? उदाहरण के लिए, यदि एक साउंड क्लिप को आउट आउटपुट में स्थानांतरित किया जाता है, तो हमें हमेशा out चाहिए:

डबल वॉल्यूम ऊपर
बढ़ती आवृत्ति
गति बढ़ाओ
पृष्ठभूमि का शोर जोड़ना
वाहन का शोर जोड़ना
उपरोक्त में से कोई भी संयोजन।

ये सभी "सरल" रूपांतरण हैं जिन्हें हम आसानी से परख सकते हैं। उदाहरण के लिए, "वाहन के शोर" के साथ एक परीक्षण के लिए, हम कार के शोर के 10 नमूने ले सकते हैं, उन्हें एक साउंड क्लिप पर रख सकते हैं और जांच सकते हैं कि सभी 11 संस्करणों के मान्यता परिणाम मेल खाते हैं या नहीं। हम वॉल्यूम को डबल या बढ़ा सकते हैं, 11 संस्करणों को 33 संस्करणों में बदल सकते हैं, और फिर 66 संस्करणों को प्राप्त करने की गति को दोगुना कर सकते हैं। इस सिद्धांत को हमारे डेटाबेस में प्रत्येक ध्वनि क्लिप पर लागू किया जा सकता है, जो आने वाले डेटा की जगह का काफी विस्तार करता है।

तुलना के लिए 66 संस्करणों की उपस्थिति काफी सुविधाजनक है। लेकिन यह सब नहीं है: हमें अभी भी यह जानने की जरूरत नहीं है कि आउटपुट क्या होना चाहिए। यदि सभी 66 रूपांतरण वापस हो out , तो परीक्षण सफलतापूर्वक पारित हो जाता है, यदि कम से कम कोई और कुछ देता है, तो परीक्षण विफल हो गया। किसी भी स्तर पर हमें यह जाँचने की आवश्यकता नहीं है कि क्या निहित out । यह अत्यंत महत्वपूर्ण है। इसलिए हम बहुत कम मानवीय भागीदारी के साथ परीक्षण स्थान में काफी वृद्धि करते हैं। उदाहरण के लिए, हम श्रृंखला का एक एपिसोड डाउनलोड कर सकते हैं, रूपांतरण कर सकते हैं और जाँच सकते हैं कि पाठ ¹ मैच में उनके रूपांतरण के सभी परिणाम क्या हैं। वॉयस क्लिप सुने बिना हमें उपयोगी परीक्षण मिल गया। अब हम एक ओरेकल का उपयोग किए बिना जटिल और गहरे परीक्षण उत्पन्न कर सकते हैं!

इनपुट डेटा के दो सेट, साथ ही उनके आउटपुट डेटा एक दूसरे से जुड़े हुए हैं। इनकमिंग / आउटगोइंग डेटा के सेट से संबंधित ऐसी संपत्ति को मेटामॉर्फिक लिंक ² कहा जाता है । इस गुण को लागू करने वाले परीक्षण को मेटामॉर्फिक परीक्षण कहा जाता है । जटिल प्रणालियों में, व्यक्तिगत आवक / जावक डेटा के दिलचस्प गुणों की तुलना में दिलचस्प मेटामॉर्फिक संबंधों को आसान पाया जा सकता है।

हमें इसे थोड़ा और औपचारिक रूप से बताएं: यदि हमारे पास x और f(x) , तो हम x2 और f(x2) प्राप्त करने के लिए x कुछ रूपांतरण कर सकते हैं। एसटीटी के मामले में, हम सिर्फ f(x) = f(x2) , लेकिन हम दो डेटासेट के बीच किसी भी संबंध का उपयोग कर सकते हैं। f(x2) > f(x) या " f(x2)/f(x) पूर्णांक मान में मेटेरोफ़िक संबंध हो सकते हैं।" इसी तरह से, इस सिद्धांत को f(x) और f(x3) का उपयोग करके इनपुट डेटा के कई सेटों तक बढ़ाया जा सकता है। इसका एक उदाहरण एक या दो फिल्टर वाले इंजन के परिणामों के साथ एक फिल्टर के बिना खोज इंजन के परिणामों की तुलना कर रहा है। मेरे द्वारा पढ़े जाने वाले उपयोग के मामलों के वर्णन के बहुमत में, इनपुट डेटा के केवल दो सेट का उपयोग किया जाता है, क्योंकि यहां तक कि वे पागल कीड़े खोजने के लिए पर्याप्त हैं।

उपयोग के उदाहरण

उपयोग के मामलों की बात करना: व्यवहार में मेटामॉर्फिक परीक्षण कितना प्रभावी है? किसी तकनीक के बारे में सारगर्भित बात करना या कृत्रिम उदाहरण देना एक बात है। केस स्टडी तीन कारणों से उपयोगी है। सबसे पहले, यह दिखाता है कि क्या विधि वास्तव में काम करती है। दूसरे, उनसे आप एमटी का उपयोग करते समय संभावित कठिनाइयों के बारे में जान सकते हैं। तीसरा, उदाहरण हमें दिखाते हैं कि हम तकनीक का उपयोग कैसे कर सकते हैं। उपयोग के उदाहरण में उपयोग किए जाने वाले किसी भी रूपक कनेक्शन को हमारी समस्याओं के समाधान के अनुकूल बनाने की कोशिश की जा सकती है।

मेटामॉर्फिक परीक्षण: चुनौतियों और अवसरों की समीक्षा कई अध्ययनों की एक सूची प्रदान करती है, लेकिन वे सभी वैज्ञानिक लेख हैं। नीचे सबसे दिलचस्प हैं। जैसा कि आप अनुमान लगा सकते हैं, (pdf) के साथ चिह्नित लेख बाहर रखे गए हैं।

METTLE: एक मेटामॉर्फिक टेस्टिंग एप्रोच टू वैलिलेटिंग अनसुपरवाइज्ड मशीन लर्निंग मेथड्स (पीडीएफ)। यहां, 11 अलग-अलग मेटामॉर्फिक रिश्तों को अनियंत्रित क्लस्टरिंग के परीक्षण के लिए वर्णित किया गया है, उदाहरण के लिए, "क्या हम इनपुट डेटा को मिलाते हैं तो हमें वही परिणाम मिलेगा?" और "क्या क्लस्टर के किनारों पर अतिरिक्त इनपुट डेटा इन समूहों से संबंधित हैं?" अलग-अलग मॉडल अलग-अलग रिश्तों के साथ अलग-अलग होते हैं। उदाहरण के लिए, आने वाले बिंदुओं के क्रम के मिश्रण के साथ लगभग 5% परीक्षण किए गए के-साधन मॉडल में औसतन 20% की क्लस्टरिंग त्रुटि है
डीपस्टेस्ट: डीप-न्यूरल-नेटवर्क-चालित ऑटोनोमस कारों (पीडीएफ) का स्वचालित परीक्षण । लेख का विषय कारों में ऑटोपिलॉट्स की दृष्टि प्रणाली है। कायापलट संबंधों (एमएस) के उदाहरण: "एक रेन फ़िल्टर जोड़ना" या "छवि का हल्का झुकाव"। लेखकों ने यहां नमूने लेने के परिणाम पोस्ट किए: लगभग सभी प्रणालियों का परीक्षण किया, जिन्होंने एमएस को बदलते समय अपने कार्यों का सामना नहीं किया।
ग्राफिक्स शेडर कंपाइलर्स (पीडीएफ) का स्वचालित परीक्षण । शेड में "मृत" कोड और रनटाइम स्थिरांक के चित्र में वस्तुओं के गायब होने या उन्हें शोर में बदलने के कारण। उनके काम के आधार पर शोध किया गया एक स्टार्टअप ग्राफिक्सफुज़ बनाया गया, जिसे Google द्वारा खरीदा गया था, और साइट बंद है।
रेस्टफुल वेब एपीआई (पीडीएफ) का मेटामॉर्फिक परीक्षण । क्या हम वही तत्व प्राप्त करेंगे जब पृष्ठांकन बदल जाता है? क्या होगा अगर आप उन्हें तिथि के अनुसार क्रमबद्ध करें? यह लेख Spotify और Youtube में बगों के एक समूह को सूचीबद्ध करता है।
कायापलट परीक्षण (पूर्व में पीडीएफ, लेकिन अब नहीं) का उपयोग कर जैव सूचना विज्ञान कार्यक्रमों के परीक्षण के लिए एक अभिनव दृष्टिकोण । जैव सूचना डेटा में त्रुटियों के लिए खोजें। मैं जैव सूचना विज्ञान में बुरी तरह से पारंगत हूं, लेकिन लेख से पता चलता है कि एमएस विशिष्ट क्षेत्रों में भी उपयोगी हैं।

समस्या

ओह, तो ये सभी स्रोत पीडीएफ में हैं।

इन सभी लेखों को खोजने में कई घंटे लग गए। और यह समस्या एमटी के विकास में सबसे बड़ी बाधा से जुड़ी है: उपरोक्त सभी लिंक भविष्य के वैज्ञानिक लेखों के पूर्व संकेत या पहले ड्राफ्ट हैं। जब मैं छोटी-छोटी तकनीकों को समझना शुरू करता हूं, तो सबसे पहले मैं खुद से सवाल पूछता हूं: "वे अल्पज्ञात क्यों हैं?" कभी-कभी कारण स्पष्ट होता है, कभी-कभी यह छोटे कारणों का एक जटिल समूह होता है, कभी-कभी समस्या बस इतनी होती है कि कार्यप्रणाली "भाग्य से बाहर" है।

एमटी के मामले में, समस्या स्पष्ट है। लगभग सभी जानकारी वैज्ञानिक भुगतान के पीछे छिपी हुई है। यदि आप एमटी का अध्ययन करना चाहते हैं, तो आपको या तो पत्रिका तक पहुंच की आवश्यकता है, या आपको ³ घंटे के लिए खोज करने के लिए कई घंटे खर्च करने की आवश्यकता है।

आगे का अध्ययन

MT का आविष्कारक Ty Chen है । वह कई अध्ययनों के प्रेरक बन गए। इस क्षेत्र के अन्य शोधकर्ता ज़ी क्वान झोउ और सर्जियो सेगुरा हैं ; दोनों ने इंटरनेट पर अपने सभी प्रीप्रिंट्स पोस्ट किए। इनमें से अधिकांश लोगों द्वारा शोध कार्य किया जाता है।

शायद सबसे अच्छी शुरुआत मेटामोर्फिक टेस्टिंग से होती है: ए रिव्यू ऑफ चैलेंजेज एंड अपॉर्च्युनिटीज एंड ए सर्वे ऑन मेटामोर्फिक टेस्टिंग । यद्यपि यह लेख मेटामॉर्फिक परीक्षण के बारे में लिखा गया है, शोधकर्ताओं ने सामान्य रूप से अन्य विषयों की एक विस्तृत विविधता के लिए सामान्य रूप से मेटामॉर्फिक संबंधों को भी लागू किया, उदाहरण के लिए, औपचारिक कोड सत्यापन और डीबगिंग। मैंने अभी तक तकनीक के अनुप्रयोग के इन क्षेत्रों का विस्तार से अध्ययन नहीं किया है, लेकिन यह शायद उन्हें भी देखने लायक है।

प्रयोज्यता के दृष्टिकोण से, मेटामॉर्फिक गुणों को सत्यापित करने के लिए सैद्धांतिक रूप से अधिकांश पीबीटी पुस्तकालयों को अनुकूलित करना संभव हो सकता है। वास्तव में, क्विकचेक में पहला उदाहरण एमएस का परीक्षण है, और पीबीटी पर इस निबंध में, एमएस को अप्रत्यक्ष रूप से लागू किया गया है। सामान्य तौर पर, यह मुझे लगता है कि अधिकांश पीबीटी अनुसंधान आने वाले डेटा को कुशलतापूर्वक उत्पन्न करने और ट्रिम करने पर केंद्रित है, और एमटी अनुसंधान मुख्य रूप से यह निर्धारित करने पर केंद्रित है कि हमें वास्तव में परीक्षण करने की आवश्यकता क्या है। नतीजतन, इन तकनीकों के एक दूसरे के पूरक होने की संभावना है।

अनुसंधान सहायता के लिए ब्रायन एनजी को धन्यवाद।

पोस्टस्क्रिप्ट: अनुरोध

वास्तव में, यह आश्चर्यजनक नहीं है कि मैंने इस तकनीक के बारे में पहले कभी नहीं सुना था। कई वास्तव में दिलचस्प और उपयोगी तकनीकें हैं जो अपने छोटे बुलबुले को नहीं छोड़ सकती हैं। मुझे सक्रिय खोजों के बजाय भाग्य के माध्यम से एमटी के बारे में पता चला।

यदि आप व्यापक उपयोग के लायक कुछ जानते हैं, तो कृपया मुझे लिखें ।

खैर, स्पष्ट समस्याएं हो सकती हैं: पॉडकास्ट में संगीत हो सकता है, अन्य भाषाओं में भाषण के टुकड़े, आदि। लेकिन सिद्धांत विश्वसनीय है: यदि हम भाषण नमूने प्राप्त करने में सक्षम हैं, तो हम उन्हें प्रारंभिक मैनुअल ट्रांसक्रिप्शन / मार्कअप के बिना परीक्षणों के भाग के रूप में उपयोग कर सकते हैं।
विशिष्टताओं में, संबंधित विचार हाइपरप्रॉपीटी है - व्यक्तिगत व्यवहार के बजाय व्यवहार के सेट के गुण। अधिकांश हाइपरस्पेक्टिव अध्ययन एचएस सुरक्षा से संबंधित हैं। जैसा कि मैं इसे समझता हूं, इसके एचएस एमएस के सुपरसेट हैं।
मेरे पास एक दूसरा, अब अव्यवस्थित, परिकल्पना था: चूंकि चीन और हांगकांग के अधिकांश मुख्य शोधकर्ता, शायद इस तकनीक को उन प्रोग्रामर्स के समुदायों में बेहतर जाना जाता है जो अंग्रेजी के बजाय मंदारिन में संवाद करते हैं। ब्रायन यून ने मेरे लिए इस परिकल्पना का परीक्षण किया, लेकिन चीनी द्वारा तकनीक के उपयोग के कोई महत्वपूर्ण संकेत नहीं मिले।

मेटामॉर्फिक परीक्षण: क्यों लगभग कोई भी इस होनहार तकनीक के बारे में नहीं जानता है