एयरटेस्ट आईडीई और इमेज रिकग्निशन - इमेज मान्यता के आधार पर मोबाइल गेम्स के परीक्षण का स्वचालन

पिछले लेख में, हम एयरटेस्ट आईडीई के साथ मिले थे, लेकिन बस मामले में, चलो दोहराते हैं: एयरटेस्ट आईडीई को नेटएज़ द्वारा विकसित किया गया था और इसे "हार्ड-टू-ऑटोमेट" अनुप्रयोगों के लिए डिज़ाइन किया गया है, जैसे गेम। वास्तव में वे डेवलपर्स का मुख्य फोकस हैं, हालांकि यह किसी अन्य अनुप्रयोगों के लिए एयरटेस्ट का उपयोग करना बंद नहीं करता है।

यह काम AirTest IDE को समर्पित श्रृंखला में दूसरा है। आप यहां AirTest IDE के बारे में पहला, अवलोकन लेख और तीसरा और आखिरी पा सकते हैं, जो इस लिंक द्वारा पोको यूआई स्वचालन ढांचे के लिए समर्पित है।

आज मैं आपको 2 मुख्य रूपरेखाओं में से एक के बारे में बताऊंगा - एयरटेस्ट। AirTest यूआई को स्वचालित करने के लिए एक क्रॉस-प्लेटफॉर्म फ्रेमवर्क है, जो छवि मान्यता ( छवि मान्यता ) के सिद्धांतों पर आधारित है, जो डेवलपर्स के अनुसार, गेम और एप्लिकेशन के लिए उपयुक्त है। GitHub पर AirTest प्रोजेक्ट में 4 प्रोजेक्ट हैं: Airtest , Poco , iOS-Tangent , multi-device-runner ।

और अब चलिए मज़ेदार हिस्से पर!

एयरटेस्ट कैसे काम करता है

एयरटेस्ट थ्रेशोल्डिंग प्रक्रिया के आधार पर परिणामी स्क्रीनशॉट को प्रोसेस करता है। लब्बोलुआब यह है कि एक निश्चित संख्या ( दहलीज मूल्य ) के साथ छवि में पिक्सेल की तीव्रता की तुलना करें और, यदि पिक्सेल मान अधिक है, तो इसे एक रंग असाइन करें (सफेद अक्सर उपयोग किया जाता है)। अन्यथा, एक अलग रंग सौंपा गया है - काला। नतीजतन, आउटपुट एक काले और सफेद छवि है। एक प्राकृतिक सीमा इस प्रकार है - एयरटेस्ट मान्यता के दौरान रंग को ध्यान में नहीं रखता है। उदाहरण के लिए, यदि आप एक ही सिल्हूट के साथ एक वस्तु का उपयोग करते हैं, लेकिन अलग-अलग, उदाहरण के लिए, रंग और आपको एक विशिष्ट रंग पैलेट के साथ एक तत्व की उपस्थिति की जांच करने की आवश्यकता है, तो यह बेहद मुश्किल होगा, और बिल्कुल भी काम नहीं कर सकता है।

उदाहरण के लिए, एयरटेस्ट आईडीई परीक्षण के भाग के रूप में, यह गेम मार्वल पहेली क्वेस्ट के साथ काम करने का निर्णय लिया गया। लोड करते समय, इस कॉमिक बुक ब्रह्मांड के पात्र एक निश्चित क्रम में स्क्रीन पर चमकते हैं। समय-समय पर, उनकी वेशभूषा बदल जाती है और यह पहली बार है जब मुझे अलर्ट किया गया है। नीचे दिए गए उदाहरण में, मुझे उम्मीद थी, परीक्षण के भाग के रूप में, स्पाइडर मैन क्लासिक में, और एक चुपके सूट में प्राप्त किया। परीक्षण, वास्तव में, सफल रहा, लेकिन उपरोक्त के कारण ऐसा हुआ - मान्यता के दौरान एक काले और सफेद छवि का उपयोग। क्या अपेक्षित था और अंततः क्या हुआ, इसका एक उदाहरण:

परीक्षणों के सफल समापन की संभावना में सुधार

जैसा कि आप पहले से ही समझते हैं, छवि मान्यता एक रामबाण से दूर है, हालांकि यह यहां अच्छा काम करता है। गुणवत्ता परीक्षण लिखने के लिए, आप पायथन की मूल बातें जानने के अनुसार, कोड लिखने से बच सकते हैं। उदाहरण के लिए, एक विशिष्ट तत्व की तलाश करने से पहले, यह सुनिश्चित करना अच्छा होगा कि यह वास्तव में स्क्रीन पर है। ऐसे समय होते हैं जब AirTest "याद करता है" और आपकी ज़रूरत के लिए गलत आइटम ले सकता है। समय-समय पर पाठ की मान्यता के साथ समस्याएं होती हैं जो आप छवि मान्यता का उपयोग करके ढूंढना चाहते हैं। AirTest परिणामों को भ्रमित कर सकता है और यह मान सकता है कि आपके द्वारा आवश्यक पाठ स्क्रीन पर है, लेकिन, वास्तव में, वहां का पाठ पूरी तरह से अलग है। परिणाम विश्लेषण प्रक्रिया को रिपोर्टिंग सिस्टम को सरल बनाने के लिए डिज़ाइन किया गया है जो पहले से AirTest IDE में एकीकृत है। कीबोर्ड शॉर्टकट Ctrl / Cmd + L का उपयोग करके परीक्षण / स्क्रिप्ट पूरी होने के बाद आप एक रिपोर्ट बना और खोल सकते हैं।

सामान्य सिफारिशों के अनुसार, मैं निम्नलिखित पर भी प्रकाश डालूंगा।

• बिल्कुल उन तत्वों के स्क्रीनशॉट लें जिनकी आपको आवश्यकता है। मेरा मतलब है, अगर आपको एक बटन की आवश्यकता है, उदाहरण के लिए, एक जटिल बनावट पृष्ठभूमि पर स्थित है, तो केवल बटन की एक स्क्रीन बनाने की कोशिश करें ताकि आप पृष्ठभूमि को संसाधित करने में समय बर्बाद न करें, जो वास्तव में, आपको ज़रूरत नहीं है। इस मामले में, खोज इस बात पर निर्भर नहीं करेगी कि पृष्ठभूमि पर क्या दिखाया गया है और आपको कम समय में अधिक सटीक परिणाम मिलेगा।
• उन छवियों की पहचान से बचने की कोशिश करें जिनमें केवल पाठ है, जैसे इस मामले में सफल मान्यता ("सफलता दर") बहुत कम हो जाएगी।
• हालांकि स्वचालित कोड रिकॉर्डिंग (स्क्रिप्ट ऑटो रिकॉर्डिंग) के दौरान स्क्रीनशॉट बनाना एक काफी सुविधाजनक कार्य है, लेकिन कुछ स्थानों पर स्क्रीनशॉट बहुत जानकारीपूर्ण नहीं हैं। अपनी तस्वीरों में अधिक उपयोगी खोज जानकारी संग्रहीत करने के लिए उन्हें मैन्युअल रूप से बनाना बेहतर है।

और अगर आप पूछना चाहते हैं "क्या छवि खोज प्रक्रिया की सेटिंग्स को बदलना संभव है?", तो मैं आपको उत्तर दूंगा - हां, यह संभव है।

छवि मान्यता सेटिंग्स

उपयोगकर्ता को वांछित परिणाम प्राप्त करने के लिए छवि मान्यता सेटिंग्स के साथ काम करने की अनुमति दी जाती है और स्क्रीन पर तत्वों (सफल दर) की सफल मान्यता की समय और संभावना को अनुकूलित करने के लिए। ये सेटिंग्स छवि संपादक विंडो में संग्रहीत हैं और इसे खोलने के लिए, आपको स्क्रिप्ट संपादक में वांछित छवि पर डबल-क्लिक करने की आवश्यकता है। प्रत्येक छवि के लिए मान्यता सेटिंग्स को अलग से बदलने की आवश्यकता है या वैश्विक चर का उपयोग किया जाना चाहिए, उदाहरण के लिए, आप अपने प्रोजेक्ट के लिए थ्रेशोल्ड ऑपरेशन के लिए सटीकता आवश्यकताओं को बढ़ाना चाहते हैं।

छवि संपादक में एक कार्य क्षेत्र है, साथ ही साथ "स्नैपशॉट + मान्यता" और "सहायता दिखाएँ" बटन भी हैं। पहला स्नैपशॉट संस्करण के साथ आपकी वर्तमान तस्वीर की तुलना करने के लिए जिम्मेदार है। स्नैपशॉट चित्र आपके डिवाइस पर वर्तमान विंडो से कैप्चर किया गया है। दूसरा बटन इमेज एडिटर फंक्शनल मैनुअल को खोलता है। खिड़की के दाहिने हिस्से में, खोज के लिए वर्तमान छवि प्रदर्शित की जाती है, साथ ही फाइलनाम, दहलीज, target_pos और rgb जैसी सेटिंग्स।

• फ़ाइल नाम फ़ील्ड वर्तमान में सहेजी गई छवि के नाम के लिए ज़िम्मेदार है (सभी चित्र प्रोजेक्ट फ़ोल्डर में सहेजे गए हैं)।
• थ्रेशोल्ड मान्यता के बाद संयोग के प्रतिशत (0 से 1 तक) के मूल्य को संग्रहीत करता है। उच्च मूल्य, उच्च छवि मिलान सटीकता के लिए आवश्यकता है। जैसा कि ऊपर उल्लेख किया गया है, एयरटेस्ट छवियों को काले और सफेद (थ्रेसहोल्ड के कार्यान्वयन के आधार पर) में परिवर्तित करता है और इसलिए, मान्यता के दौरान रंग को ध्यान में नहीं रखा जाता है।
• आरजीबी चेकबॉक्स छवि मान्यता के दौरान "सक्षम और जोड़ने" के लिए डिज़ाइन किया गया है और इस तरह इसे ध्यान में रखना शुरू होता है। हालांकि, ध्यान रखें कि इस कार्यक्षमता का समावेश अभी भी 100% परिणाम की गारंटी नहीं देता है। उदाहरण के लिए, यदि आपके पास 2 समान बटन हैं जो केवल पृष्ठभूमि के रंग में भिन्न हैं, तो गलत पहचान (उदाहरण के लिए, assert_exists / assert_not_exists के भीतर) की संभावना काफी अधिक होगी।
• target_pos उस तस्वीर के बिंदु के लिए जिम्मेदार है जिसे एयरटेस्ट मान्यता के बाद क्लिक करता है। डिफ़ॉल्ट मान 5 है, लेकिन आप इसे 1 से 9 तक बदल सकते हैं, जहां 1 आपकी कार्यशील छवि के ऊपरी बाएं कोने में है, और 9 निचले दाएं कोने है। सभी नौ बिंदुओं का स्थान नीचे स्क्रीनशॉट में स्पष्ट रूप से दिखाया गया है। आप इसके बारे में आधिकारिक दस्तावेज में भी पढ़ सकते हैं ।
  इस उदाहरण में, मान्यता के लिए मध्य बटन का चयन किया जाता है। रूपरेखा चयन की सीमाओं को दर्शाती है।

AirTest के साथ स्वचालित परीक्षण लिखना

AirTestAssistant विंडो में AirTest के सभी ऊपरी कमांड एयरटैस्ट IDE के ऊपरी बाएँ कोने में पाए जा सकते हैं। यदि यह नहीं है, तो आप विंडो -> डिफ़ॉल्ट लेआउट का उपयोग करके डिफ़ॉल्ट विंडो लेआउट सेट कर सकते हैं ।

कार्यक्रम के वर्तमान संस्करण में, आप निम्नलिखित कमांड का उपयोग कर सकते हैं जो एयरटेस्ट सहायक विंडो में उपलब्ध हैं:

1. टच - यह कमांड मोबाइल डिवाइस पर टच जेस्चर का अनुकरण करता है। स्पर्श के निम्नलिखित पैरामीटर हैं - स्पर्श (v, गुना = 1, अवधि = 0.01, दायां_क्लिक = गलत)।
   
   • v - चित्र या समन्वय (x, y)
   • समय - क्लिक की संख्या। डिफ़ॉल्ट मान 1 है
   • अवधि - स्क्रीन को छूने के बाद पकड़ की अवधि। इस पैरामीटर के साथ आप "लॉन्ग प्रेस" (long_touch) का अनुकरण कर सकते हैं। डिफ़ॉल्ट मान 0.01 सेकंड है।
   • right_click - "राइट माउस बटन" पर क्लिक करें। केवल विंडोज कार्यक्रमों में उपयोग किया जा सकता है।
2. प्रतीक्षा करें - UI तत्व की प्रतीक्षा कर रहा है। कमांड के निम्नलिखित पैरामीटर हैं - प्रतीक्षा (v, टाइमआउट = समय, अंतराल = 5, अंतराल = कोई नहीं)।
   
   • v - वह छवि जिसे कार्यक्रम की अपेक्षा है
   • टाइमआउट - टाइमआउट। डिफ़ॉल्ट मान 20 है।
   • intervalfunc - उपयोगकर्ता (कस्टम) फ़ंक्शन। यदि छवि नहीं मिली है, तो इस फ़ंक्शन को निष्पादित किया जाएगा।
   • अंतराल - छवि तुलना के बीच का अंतराल
     फ़ंक्शन निम्न देता है: यदि कोई छवि मिलती है, तो दी गई छवि के केंद्र निर्देशांक वापस आ जाते हैं, अन्यथा TargetNotFoundError को फेंक दिया जाता है
3. स्वाइप - यह कमांड मोबाइल डिवाइस ("स्क्रीन को स्वाइप करने") पर एक स्वाइप जेस्चर का अनुकरण करता है। स्वाइप के निम्नलिखित पैरामीटर हैं: स्वाइप (v1, v2 = कोई नहीं, वेक्टर = कोई नहीं, अवधि = 0.01)।
   
   • v1 - मूल्य जहां से svayp शुरू होता है। यह एक छवि या एक दिया गया समन्वय (x, y) हो सकता है
   • v2: स्वाइप एंड वैल्यू (कमांड को v1 से v2 तक निष्पादित किया जाता है)। इस पैरामीटर में "वेक्टर" पैरामीटर से अधिक प्राथमिकता है
   • वेक्टर [x, y] - एयरटेस्ट ऑपरेशन के दौरान बनाया गया है या आप इसे स्वयं सेट कर सकते हैं। इंगित करता है कि स्वाइप करने का कौन सा तरीका है। दाईं ओर स्वाइप करने के लिए, X को पॉजिटिव होना चाहिए, बदले में, स्वाइप डाउन के लिए Y पॉजिटिव होना चाहिए।
   • चरणों - इस पैरामीटर का उपयोग नहीं किया और यह नहीं पाया कि यह व्यवहार में कैसे लागू किया जाता है। टूलटिप निम्नलिखित देता है: "स्वाइप पथ में नोड, डिफ़ॉल्ट 5"। मुझे लगता है कि स्वाइप दिशा वेक्टर को "सेक्शन" में विभाजित किया जाएगा और पॉइंट ए से पॉइंट बी तक तुरंत स्वैप करने के बजाय, इस पैरामीटर में निर्दिष्ट नोड्स में छोटे पॉज़ के साथ स्वाइप को सिम्युलेटेड किया जाएगा, जैसे कि एक पॉवर्ड मूवमेंट का अनुकरण करना। उदाहरण के लिए, यदि मान 5 है, तो वेक्टर को 5 खंडों में विभाजित किया जाएगा।
   • अवधि - स्वाइप की अवधि। डिफ़ॉल्ट मान 0.5 सेकंड है।
4. मौजूद - जांच करें कि क्या डिवाइस के मॉनिटर स्क्रीन पर आपके द्वारा अपेक्षित तत्व मौजूद है । मौजूद निम्न पैरामीटर हैं: मौजूद (v)
   
   • v - छवि
     फ़ंक्शन निम्न देता है: यदि कोई छवि मिलती है, तो छवि के केंद्र के निर्देशांक वापस आ जाते हैं, अन्यथा झूठी।
5. पाठ - पाठ इनपुट कमांड। पाठ में निम्नलिखित पैरामीटर हैं: पाठ (टेक्स्ट, एंटर = ट्रू, सर्च = गलत)
   
   • पाठ - पाठ स्ट्रिंग दर्ज करने के लिए
   • दर्ज - यह पैरामीटर पाठ दर्ज करने के बाद "दर्ज करें" का उपयोग करने के लिए जिम्मेदार है। डिफ़ॉल्ट मान सत्य है।
   • खोज - इस पैरामीटर का उपयोग नहीं किया और यह नहीं पाया कि यह व्यवहार में कैसे लागू किया जाता है। टूलटिप निम्नलिखित देता है: "बल" खोज "या इनपुट के बाद नहीं"। डिफ़ॉल्ट मान गलत है।
6. कीवेंट - उपकरण पर भौतिक बटन दबाने का अनुकरण, जैसे कि होम, बैक, मेंयू, पावर, आदि। इस कमांड के लिए पैरामीटर: कीवेंट (कीनेम)
   
   • keyname - बटन का नाम (बिजली, गृह, आदि)
7. स्नैपशॉट - वर्तमान स्थिति में स्क्रीन का स्क्रीनशॉट बनाएँ। डिफ़ॉल्ट विकल्प: स्नैपशॉट (फ़ाइल नाम = कोई नहीं, संदेश = "परीक्षण-बिंदु")
   
   • फ़ाइल नाम - वर्तमान स्क्रीनशॉट को एक अलग फ़ाइल के रूप में सहेजें। आप इस विकल्प को अनदेखा कर सकते हैं।
   • संदेश - इस परीक्षण बिंदु का वर्णन। यह पाठ HTML रिपोर्ट में प्रदर्शित किया जाएगा, जिसे परीक्षण के बाद बनाया जा सकता है।
     यह फ़ंक्शन निम्न देता है: फ़ाइल नाम (फ़ाइल नाम)।
8. नींद - दौड़ का परीक्षण थोड़ी देर के लिए "सो जाता है"। डिफ़ॉल्ट मान: नींद (सेकंड = 1.0)
   
   • सेकंड - टाइमआउट। डिफ़ॉल्ट मान 1 सेकंड है।
9. assert_exists - जांचें कि क्या कोई तत्व मौजूद है। इस आदेश के लिए पैरामीटर: assert_exists (v, msg = "test-point")
   
   • v - तत्व के साथ छवि, जिसकी उपस्थिति की जांच की जाती है
   • संदेश - इस परीक्षण बिंदु का वर्णन। यह पाठ HTML रिपोर्ट में प्रदर्शित किया जाएगा, जिसे परीक्षण के बाद बनाया जा सकता है।
     यह फ़ंक्शन निम्न देता है: यदि कोई छवि मिलती है, तो इस छवि के केंद्र बिंदु के निर्देशांक वापस आ जाते हैं, अन्यथा एक जोर दिया जाता है।
10. assert_not_exists - जांचें कि आइटम डिवाइस स्क्रीन पर मौजूद नहीं है। इस आदेश के लिए पैरामीटर: assert_not_exists (v, msg = "test-point")
    
    • v - तत्व के साथ छवि, जिसकी उपस्थिति की जांच की जाती है
    • संदेश - इस परीक्षण बिंदु का वर्णन। यह पाठ HTML रिपोर्ट में प्रदर्शित किया जाएगा, जिसे परीक्षण के बाद बनाया जा सकता है।
11. assert_equal - जाँचें कि विशेषता निर्दिष्ट मान के बराबर है। इस आदेश के लिए पैरामीटर: assert_equal (पहले, दूसरे, संदेश = "परीक्षण-बिंदु")
    
    • पहला - तुलना करने वाला पहला आइटम
    • दूसरा - तुलना करने वाला दूसरा तत्व
    • संदेश - इस परीक्षण बिंदु का वर्णन। यह पाठ HTML रिपोर्ट में प्रदर्शित किया जाएगा, जिसे परीक्षण के बाद बनाया जा सकता है।
12. assert_not_equal - जाँचें कि विशेषता निर्दिष्ट मान के बराबर नहीं है। इस आदेश के लिए पैरामीटर: assert_not_equal (पहले, दूसरे, संदेश = "परीक्षण-बिंदु")
    
    • पहला - तुलना करने वाला पहला आइटम
    • दूसरा - तुलना करने वाला दूसरा तत्व
    • संदेश - इस परीक्षण बिंदु का वर्णन। यह पाठ HTML रिपोर्ट में प्रदर्शित किया जाएगा, जिसे परीक्षण के बाद बनाया जा सकता है।

इन आदेशों को 3 मुख्य समूहों में बांटा गया है: संचालन, सहायक कार्य और अभिकथन । आप उपयुक्त फिल्टर (विंडो नाम के ठीक नीचे एक ड्रॉप-डाउन मेनू) का उपयोग करके समूह का चयन कर सकते हैं।

टीमें जिनकी छवि की आवश्यकता होती है, संबंधित बटन पर क्लिक करने के तुरंत बाद स्क्रीनशॉट रिकॉर्डिंग फ़ंक्शन को सक्रिय करती हैं। उदाहरण के लिए, स्क्रीन पर किस आइटम पर क्लिक करना है, यह चुनने के लिए एयरटेस्ट असिस्टेंट में टच कमांड का चयन करें और डिवाइस स्क्रीन विंडो में, सक्रिय डिवाइस पर, उस आइटम को सर्कल करें जिसे आप क्लिक करना चाहते हैं। उसके बाद, संबंधित विंडो मुख्य विंडो (स्क्रिप्ट एडिटर) में दिखाई देगी, हमारे केस टच में, एक पैरामीटर के रूप में छवि के साथ। परिणामस्वरूप, स्वचालन प्रक्रिया निम्नानुसार है (एयरटेस्ट आईडीई के अप्रचलित संस्करण से जीआईएफ दर्ज किया गया था):

यदि किसी कारण से आप मैन्युअल रूप से स्क्रीनशॉट और / या कोड लिखना नहीं चाहते हैं, तो आप स्वचालित रिकॉर्डिंग फ़ंक्शन का उपयोग कर सकते हैं। आप Airtest सहायक विंडो में कमांड के समूहों के साथ ड्रॉप-डाउन मेनू के विपरीत "कैमरा" बटन पर क्लिक करके इसे सक्रिय कर सकते हैं। ऑटो-रिकॉर्डिंग एक बहुत सटीक और सुविधाजनक चीज है, लेकिन, निश्चित रूप से, यह एक रामबाण नहीं है और यह मैनुअल कोड डायलिंग को प्रतिस्थापित नहीं करेगा।

यह 3 और गर्म कुंजियों का उल्लेख करने योग्य है - F5 (स्क्रिप्ट शुरू करें), F10 (रनिंग स्क्रिप्ट को रोकना), Ctrl + L / Cmd + L (तैयार परीक्षण के आधार पर एक रिपोर्ट बनाएं)।
आप टर्मिनल (कमांड लाइन) का उपयोग करके यूआई के बिना तैयार किए गए परीक्षण चला सकते हैं। सामान्य रूप से इसके बारे में अधिक जानकारी और विशेष रूप से परीक्षण चलाने के बारे में यहां पाया जा सकता है ।

एयरटेस्ट ढांचे का उपयोग करके लिखे गए परीक्षण के एक अंश का एक उदाहरण स्पॉइलर के नीचे पाया जा सकता है!

आपके एप्लिकेशन / गेम में UI पूरी तरह से अद्वितीय आइकन, बटन, बैक आदि से युक्त नहीं है। इसके अलावा, समय-समय पर समान रूप से समान तत्व एक स्क्रीन पर पाए जा सकते हैं, उदाहरण के लिए बटन, स्लाइडर्स आदि। ज्यादातर ऐसे मामलों में, एयरटेस्ट आपको आवश्यक तत्व को पहचानने में सक्षम नहीं होगा और या तो परीक्षण त्रुटि के साथ विफल हो जाएगा या आगे के जोड़तोड़ के लिए गलत इंटरफ़ेस तत्व का चयन किया जाएगा।

विशेष रूप से ऐसे मामलों के लिए, एक और ढांचा विकसित किया गया था जो पहले से ही एयरटेस्ट आईडीई में बनाया गया है। वह पोको है और एक लेख में एयरटेस्ट आईडीई के अवलोकन के साथ संक्षेप में वर्णित किया गया था। मैं आपको अगले लेख में इस रूपरेखा के बारे में अधिक बताऊंगा।

हमें बताएं कि क्या आपने पहले ही AirTest IDE का उपयोग किया है और आप इस टूल के बारे में क्या सोचते हैं। मुझे टिप्पणियों में चर्चा करने में खुशी होगी!