और अब समय आ गया है जब हमारे परीक्षण की जरूरतें परीक्षक के डेस्कटॉप पर भीड़ हो गई हैं। आत्मा ने बादलों से पूछा। वास्तव में नहीं। वास्तव में नहीं।

हमारे लक्ष्य और उद्देश्य

(पाठक को जल्दी करते हुए, आप अगले भाग को हवा दे सकते हैं)

हम विदेशी बाजार के लिए एक वित्तीय अनुप्रयोग विकसित कर रहे हैं, जो विभिन्न स्वरूपों में उपलब्ध है: डेस्कटॉप ब्राउज़रों के लिए (वेबसाइट और Google क्रोम के लिए विस्तार), मोबाइल ब्राउज़रों के लिए, साथ ही फोन के लिए एक हाइब्रिड अनुप्रयोग। एप्लिकेशन की बारीकियों के कारण, हम विभिन्न कॉन्फ़िगरेशन और उपकरणों पर एप्लिकेशन के परीक्षण पर विशेष ध्यान देते हैं। हमारे लिए, एप्लिकेशन का स्थिर और सुरक्षित संचालन हमारे ग्राहकों के डेस्कटॉप ब्राउज़रों और उनके किसी भी डिवाइस पर दोनों के लिए महत्वपूर्ण है।

हमारे लिए परीक्षण के लिए उपकरणों के क्लाउड-आधारित फ़ार्म खोजने का कारण था, कार्यालय से कार्य के प्रारूप में पूरी तरह से दूरस्थ और वितरित (शहरों और देशों के बीच)। यही है, अगर पहले परीक्षण के लिए हम विभिन्न उपकरणों को एक गुच्छा (शाब्दिक रूप से) में एकत्र कर सकते हैं और मैन्युअल रूप से एक ही समय में एक ही मेज में अगली विधानसभा का परीक्षण कर सकते हैं, तो अब ऐसा करना असंभव हो गया है। इसके अलावा, कार्यक्षमता की वृद्धि के साथ, मैनुअल काम को कम करने के लिए, हम महत्वपूर्ण परीक्षणों के प्रतिगमन सेट को स्वचालित करते हैं, जिसका अर्थ है कि विधानसभा के बाद हमें वांछित कॉन्फ़िगरेशन और डिवाइस पर परीक्षण कॉल करने में सक्षम होने की आवश्यकता है, और विधानसभा के मंचन के लिए जल्द से जल्द यह करना बेहतर है।

इस मामले में, सबसे सरल और स्पष्ट समाधान एंड्रॉइड के लिए एमुलेटर का उपयोग करना है और हमारी DevOps पाइपलाइन में iOS उपकरणों के लिए सिमुलेटर है। हालांकि, जो डेवलपर के काम करने वाले कंप्यूटर पर लागू करना अपेक्षाकृत आसान है, यह क्लाउड में उपयोग करने के लिए एक मुश्किल और महंगा काम हो जाता है। समान एंड्रॉइड एमुलेटर के लिए जल्दी से काम करने के लिए, HAXVM समर्थन के साथ एक x86 सर्वर की आवश्यकता होती है, और एक iOS सिम्युलेटर के लिए, केवल एक MacOS डिवाइस के साथ xcode की आवश्यकता होती है। लेकिन, दुर्भाग्य से, यहां तक ​​कि इस समस्या को हल करने के बाद, सवाल एमुलेटर और वास्तविक उपकरणों पर सॉफ्टवेयर के व्यवहार के बीच की खाई के साथ रहता है। उदाहरण के लिए, हर दूसरी रिलीज़ में हम सैमसंग उपकरणों पर अजीब बग पकड़ते हैं जो एमुलेटर पर नहीं खेले जा सकते। खैर, और, निश्चित रूप से, अद्वितीय और बग के साथ दुर्लभ विदेशी "चीनी" "खुश" है कि मैं भी विकास के स्तर पर पकड़ना चाहूंगा।

नतीजतन, हमें मोबाइल उपकरणों के क्लाउड फ़ार्म का उपयोग करने की आवश्यकता की समझ थी, जिस पर हम जल्दी से अपने परीक्षण चला सकते थे और यदि आवश्यक हो, तो मैन्युअल रूप से डिबग करें। और जिससे हमारी पूरी टीम दुनिया में कहीं से भी पहुंचती है (हम यात्रा करते समय भी काम करना पसंद करते हैं)।

पायथन 3.7 (यह बाद में महत्वपूर्ण होगा) में हमारे परीक्षण लिखे गए हैं, जैसा कि स्टैक हम विषाक्त + पाइस्टेस्ट + सेलेनियम + अप्पियम का उपयोग करते हैं, और निश्चित रूप से उपयोगी अजगर पुस्तकालयों का एक छोटा सा सेट। हम एज, फ़ायरफ़ॉक्स, क्रोम, सफारी ब्राउज़रों के साथ विंडोज और मैकओएस पर मशीनों का परीक्षण करेंगे, साथ ही ब्राउज़र और एक एप्लिकेशन के साथ एंड्रॉइड और आईओएस डिवाइस भी। हमारे पास प्रत्येक डिवाइस (एक हजार से कम) के लिए बहुत सारे परीक्षण नहीं हैं, लेकिन जब उपकरणों पर एक ही थ्रेड में परीक्षण किया जाता है, तो एक पूर्ण सेट में कुछ घंटे लगते हैं। इसलिए, हमारे लिए एक सेवा चुनने की कसौटी होगी:

• एपीआई परीक्षण (सेलेनियम / Appium)
• IOS, Android डिवाइस
• मोबाइल ब्राउज़र परीक्षण का समर्थन करें
• एप्लिकेशन डाउनलोड करने और परीक्षण के लिए समर्थन
• संदर्भ डिवाइस (GooglePixel (Android 9) और iPhone X (iOS 12+))
• मैनुअल डिबगिंग
• लॉगिंग (प्लस स्क्रीनशॉट, वीडियो रन रिकॉर्ड करना)
• डिवाइस पार्क और उपलब्धता
• औसत परीक्षण लीड समय
• कीमत

वांछनीय, लेकिन आवश्यक नहीं:

• सेवा स्तर अजगर समर्थन (जो भी इसका मतलब है)
• डेस्कटॉप डिवाइस \ ब्राउज़रों के लिए समर्थन

बाजार अनुसंधान के परिणाम

एक हफ्ते के लिए मैंने इंटरनेट पर सर्फिंग की और एक दर्जन अलग-अलग सेवाओं की कोशिश की। उनमें से अधिकांश परीक्षण के अवसरों के लिए खाली समय प्रदान करते हैं। मेरे शोध के परिणाम, अधिक निष्कर्ष व्यक्तिपरक हैं। आपकी राय और परिणाम मेरे से अलग हो सकते हैं।

Habré पर मैंने 2017 को उसी विषय के लिए समर्पित एक लेख पाया, लेकिन तब से नई सेवाएं दिखाई दी हैं, और हमारा कार्य थोड़ा कठिन है। इसलिए, उदाहरण के लिए, सैमसंग रिमोट टेस्ट लैब, फायरबेस टेस्ट लैब, ज़ामरीन टेस्ट क्लाउड, अफसोस जैसी "स्वादिष्ट" सेवाएं हमें शोभा नहीं देती हैं।

खेल से बाहर

सैमसंग रिमोट टेस्ट लैब

लिंक ।

सेवा सैमसंग के विभिन्न उपकरणों के साथ काम करने के लिए मुफ्त में एक अवसर प्रदान करती है, जिसमें सबसे नए भी शामिल हैं, जिसमें टीवी या स्मार्ट वॉच शामिल हैं, टिज़ेन पर (सीमा अधिकतम प्रति दिन 10 घंटे है, सेवा प्रति दिन 10 क्रेडिट मुफ्त देती है, जो प्रति दिन 2.5 घंटे के बराबर है। न्यूनतम सत्र आधा घंटा (2 क्रेडिट) है। डिबगिंग के लिए यह बहुत अच्छा है और कुछ उपकरणों पर त्रुटियों के मूल कारणों का पता लगाने के लिए, यह सेवा दूरस्थ डिबगिंग (रिमोट डीबग ब्रिज, कंसोल और सिस्टम लॉग्स तक पहुंच) तक भी पहुंच प्रदान करती है, लेकिन, दुर्भाग्य से, सेवा उपकरणों तक एपीआई पहुंच प्रदान नहीं करती है। "स्वचालित" करने का एकमात्र तरीका उपयोगकर्ता कार्यों को रिकॉर्ड करना है और फिर उन्हें अपने स्थानीय स्वचालन उपकरण में वापस खेलना है।

फायरबेस टेस्ट लैब

लिंक ।

Google की एक सेवा आपको एंड्रॉइड और आईओएस चलाने वाले उपकरणों पर अपने एप्लिकेशन को मुफ्त में परीक्षण करने की अनुमति देती है (काफी नहीं)। लेकिन एक चेतावनी है - सेवा के लिए देशी स्वचालन उपकरण (UIAtomator2 और Android के लिए एस्प्रेसो और iOS के लिए XCTest) या एंड्रॉइड के लिए स्वचालित मकड़ियों (क्रॉलर) का उपयोग करने की आवश्यकता है - रोबो टेस्ट और गेम लूज टेस्ट। यही है, यूआईयूटोमेटर और सेलेनियम का उपयोग करना, काम नहीं करेगा। मुफ्त में - मुफ्त पैकेज एमुलेटर पर 10 परीक्षणों और प्रति दिन वास्तविक उपकरणों पर पांच तक सीमित है। यदि आपको अधिक की आवश्यकता है, तो प्रत्येक अतिरिक्त घंटे के लिए आपको क्रमशः $ 1 और $ 5 का भुगतान करना होगा। सामान्य तौर पर, हमारे कार्यों के लिए यह एक अच्छा विकल्प होगा यदि हमने स्क्रैच से परीक्षण लिखे हैं, लेकिन मैं ऐसा महसूस नहीं करूंगा कि कई सौ टेस्टों पर काम करना मुश्किल है - यह केवल महंगा है। और यह पता चला है कि हमें डेस्कटॉप संस्करणों और मोबाइल के बीच परीक्षणों में बहुत अंतर करना होगा, जो समर्थन को बहुत जटिल करेगा।

विजुअल स्टूडियो ऐप सेंटर

लिंक ।

पूर्व ज़मारिन टेस्ट क्लाउड। यह सेवा अंत में Appium का समर्थन करती है और हजारों विभिन्न उपकरणों पर परीक्षण की अनुमति देती है। लेकिन, अन्य Microsoft उत्पादों के मामले में, यह देशी स्टैक के लिए मजबूती से बंद है, जिसका अर्थ है कि इस सेवा का उपयोग करने के लिए आपको VisualStudio की उपस्थिति और जावा में विशेष रूप से प्रोजेक्ट और परीक्षण लिखने की आवश्यकता दोनों की आवश्यकता होगी। लेकिन अगर आपके पास अचानक जावा स्टैक (एमएस वीएस के साथ) है, तो कीमत प्रति माह $ 99 प्रति डिवाइस स्लॉट है, जो अपेक्षाकृत उदार है।

से चुनने के लिए सेवाएं

एडब्ल्यूएस डिवाइस फार्म

लिंक ।

शायद आज (2500 से अधिक उपकरणों) आभासी और वास्तविक उपकरणों पर परीक्षण के लिए सबसे शक्तिशाली खेत। हमारे लिए, यह एक प्राथमिकता वाली सेवा थी, क्योंकि हमारी सेवाएं अभी AWS क्लाउड में तैनात हैं, इसके अलावा, डिवाइस की कीमतें प्रति मिनट 17 सेंट से शुरू होती हैं। AWS आपको देशी फ्रेमवर्क के साथ-साथ Appium, Calabash, और अन्य स्वचालित परीक्षण फ्रेमवर्क के साथ काम करने की अनुमति देता है। स्वचालित परीक्षण के अलावा, सेवा मैन्युअल रूप से डिबग करने की क्षमता प्रदान करती है। खैर, 1000 मिनट "कोशिश करना" बहुत लुभावना है। हालाँकि, हमेशा की तरह, शैतान विवरण में है। परीक्षण के संदर्भ में, AWS में कई विशेषताएं हैं।

हम, जैसा कि मैंने पहले ही उल्लेख किया है, Python 3.7 का उपयोग करें, हालांकि AWS डिवाइस फ़ार्म अभी भी Python 2.7.6 के साथ काम करता है ( यहां मैनुअल देखें)। और बॉक्स के बाहर विषाक्त के बारे में कुछ भी नहीं जानता है। हमारे लिए, इसका मतलब है कि कई क्षमताओं की अनुपस्थिति और पिछड़े संगतता को सुनिश्चित करने के लिए परीक्षणों का हिस्सा बनने की आवश्यकता है, और एक ऐसा वातावरण तैयार करना है जो विषाक्त को दरकिनार करता है। इसके अलावा, परीक्षण पैकेज (संग्रह) डाउनलोड करने के लिए एक अजीब तंत्र भी तात्पर्य है परीक्षण के लिए एप्लिकेशन डाउनलोड करना। हमारे मामले में, यदि हम मोबाइल ब्राउज़र के माध्यम से अपनी सेवा का परीक्षण करते हैं, तो एप्लिकेशन डाउनलोड करना एक अतिरिक्त कदम है। हालांकि, आप एप्लिकेशन को "स्टब" से बदल सकते हैं, और पायथन 2.7 वातावरण में पायथॉन 3.7 के साथ एक वेव बना सकते हैं, और फिर इसमें टॉक्सिक के साथ एक वातावरण बना सकते हैं, जो ...

अगर सब कुछ पुराने संस्करणों पर टिका तो अमेज़न अमेज़न नहीं होगा। एक विकल्प के रूप में (और किसी भी सेवा के नीचे ऐसा अवसर नहीं होगा) AWS का सुझाव है कि AWS CLI (कमांड लाइन इंटरफ़ेस) के माध्यम से AWS डिवाइस फ़ार्म का उपयोग करें ( यहां मैनुअल देखें)। यही है, हम रिमोट डिबग मोड में क्लाउड से डिवाइस को एक वास्तविक डिवाइस के रूप में हमारे कंप्यूटर से कनेक्ट कर सकते हैं, हालांकि, पहले से पैच के साथ अदब को बदल दिया गया है (बायनेरिज़ की सूची में लिनक्स के लिए कोई बाइनरी नहीं है, लेकिन मुझे यकीन है कि यह प्रकृति में मौजूद है)। यानी, AWS CLI की स्थापना, परीक्षण के लिए हमें बस कुछ कमांड निष्पादित करने की आवश्यकता होगी (क्योंकि हम GUI का उपयोग AWS डिवाइस फ़ार्म ऐप के रूप में नहीं करने जा रहे हैं)।

import boto3 #  AWS SDK https://pypi.org/project/boto3/ aws_client = boto3.client('devicefarm') response = aws_client.list_devices() #     device_arn = '' for phone in response["devices"]: if phone['name'] == "Google Pixel XL": #      (  ) device_arn = phone['arn'] #   Amazon Resource Name break project_arn = aws_client.list_projects()['projects'][0]['arn'] #        #      ,    SSH    response = aws_client.create_remote_access_session(projectArn=project_arn, deviceArn=device_arn, remoteDebugEnabled=True, ssh-public-key=SSH_KEY) #     adb devices     uuid Google Pixel XL  AWS Device Farm,   iOS #     ... RUN_TESTS() ... #    ( )    aws_client.stop-remote-access-session(arn=response['remoteAccessSession']['arn']) aws_client.delete_remote_access_session(arn=response['remoteAccessSession']['arn']) 

यदि हम आवेदन का परीक्षण करना चाहते हैं, तो इसे AWS SDK के माध्यम से भी डाउनलोड किया जा सकता है।

लेकिन मैंने यहां एक महत्वपूर्ण बारीकियों को नहीं बताया। हम शैतान पर विस्तार से फिर से ठोकर खाते हैं। तथ्य यह है कि दूरस्थ डिबगिंग विकल्प केवल तभी उपलब्ध होता है जब हम AWS के लिए निजी उपकरण योजना का उपयोग करते हैं। सबसे पहले, यह सुविधा केवल अनुरोध पर उपलब्ध है (आपको अमेज़ॅन को एक पत्र लिखने की आवश्यकता है), दूसरी बात, विकल्प हमारे लिए पश्चिम-पश्चिम क्षेत्र के लिए उपलब्ध है, और तीसरा, वास्तव में, यह विकल्प हमें उस परिदृश्य में लौटाता है जब हमारे पास सर्वर होता है इससे जुड़े उपकरणों के एक सेट (या कम से कम एक) के साथ परीक्षण। लाभ स्पष्ट हैं - हम इस डिवाइस का विशेष रूप से उपयोग कर सकते हैं, जो स्पष्ट रूप से सुरक्षित और तेज है, दूसरी तरफ हम मुख्य लाभ - उपकरणों की पसंद और विविधता को खो देते हैं।

मुझे पूरी तरह से सेवा पसंद थी, लेकिन हमारी टीम के लिए, अफसोस, इसमें बहुत सारे "बट" हैं।

Bitbar

लिंक ।

क्लाउड-आधारित यह मोबाइल फ़ार्म सर्च इंजनों पर गिरने वाला पहला है। और व्यर्थ नहीं। आगे देखते हुए, मैं कहता हूँ कि इस सेवा में उपकरणों (केवल वास्तविक उपकरणों) का सबसे अच्छा विकल्प है और दूसरों की तुलना में एक परीक्षण के मामले में सबसे अच्छा प्रदर्शन है। Bitbar दूरस्थ मैनुअल और स्वचालित परीक्षण (Appium और अन्य फ्रेमवर्क का उपयोग करके) के लिए सेवाएं प्रदान करता है, और यदि वांछित है, तो आप Firebase Test Lab (रोबोट टेस्ट) - AI TestBot से क्रॉलर के समान कुछ का उपयोग करने की अनुमति देता है। BitBar का मुख्य लाभ परीक्षण थ्रेड्स की एक असीमित संख्या है (अर्थात, आप पहले से ही आवश्यक डिवाइस पूल का चयन करके सैकड़ों उपकरणों पर अपने आवेदन का परीक्षण कर सकते हैं)। यदि डिवाइस व्यस्त है, तो एक और एक ही चुना जाएगा, या सत्र पंक्तिबद्ध होगा। परीक्षण रन के अंत में, एक लॉग उत्पन्न होता है, एक परीक्षण रिकॉर्ड, परिणाम सहेजे जाते हैं, और अधिसूचना मेल पर भेजी जाती है। यद्यपि विभिन्न CI / CD टूल के साथ सहभागिता को कॉन्फ़िगर करने के अवसर हैं। सेवा विभिन्न प्रस्तावों में डेस्कटॉप ब्राउज़रों का परीक्षण करने की क्षमता भी प्रदान करती है, और यदि वांछित है, तो बनाएं, जैसा कि एडब्ल्यूएस, आपके निजी उपकरणों में है। सच है, आपको इन सभी चिप्स के लिए भुगतान करने की आवश्यकता है - परीक्षण के प्रत्येक मिनट की लागत $ 0.29 होगी।

सेटअप प्रक्रिया सरल है, डामर के साथ दो उंगलियों की बातचीत की तरह:

 from appium import webdriver """ ... """ com_executor = 'https://appium.bitbar.com/wd/hub' desired_capabilities = { 'deviceName': 'Motorola Google Nexus 6', 'deviceId': 'FA7AN1A00253', 'newCommandTimeout': 12000, 'browserName': 'Chrome', #     Chrome,    app 'bitbar_apiKey': 'BITBAR_API_KEY', 'bitbar_project': 'Software Testing', 'bitbar_testrun': 'Test run #N', 'bitbar_device': 'Motorola Google Nexus 6', 'bitbar_app': '23425235' } driver = webdriver.Remote(com_executor, desired_capabilities) """ ... """ 

Kobiton

लिंक ।

एक और सेवा जो वास्तविक उपकरणों पर परीक्षण सेवाएं प्रदान करती है। उपकरणों की पसंद बिटबार (350+) की तुलना में अधिक मामूली है, उपकरणों की उपलब्धता भी कम है। सामान्य तौर पर, यह BitBar के लिए अपनी मूल कार्यक्षमता में बहुत समान है, यह मैनुअल और स्वचालित परीक्षण (ऐपियम का उपयोग करके - यहां फ्रेमवर्क चुनने के बिना) की अनुमति देता है। डेस्कटॉप ब्राउज़रों पर परीक्षण करने का कोई तरीका नहीं है। सेवा आपको असीमित संख्या में सत्रों और उपकरणों के साथ परीक्षण का आयोजन करने की अनुमति देती है, लेकिन आप यहां उपकरण पूल नहीं बना सकते। सेवा की कीमत बहुत ही उदार है - $ 0.10 प्रति परीक्षण के अतिरिक्त मिनट से, लेकिन परीक्षण अवधि के दौरान मैंने सेवा की कुछ अस्थिरता पर ध्यान आकर्षित किया - डिवाइस के लटकाए जाने पर इंटरनेट अक्सर उपकरणों पर गिर जाता था। इसके अलावा, यदि डिवाइस व्यस्त या आरक्षित है, तो आपके सभी रनिंग परीक्षण विफल हो जाएंगे। यही है, बिटबार के विपरीत, सत्रों से कोई कतार नहीं है। सच है, यह कम लागत पर आयोजित किया जा सकता है। कोबिटोन का अपना छोटा एपीआई है।

सेटअप भी बहुत सरल है, बिटबार के विपरीत, लगभग मूल एपियम।

 import base64 from time import sleep from appium import webdriver import requests """ ... """ #  base64EncodedBasicAuth = base64.b64encode(bytes(f'{USERNAME}:{API_KEY}', 'utf-8')) headers = { 'Authorization': f'Basic {base64EncodedBasicAuth}' } reply = requests.get(f'https://api.kobiton.com/v1/apps', params={ }, headers = headers) #     deviceId headers = { 'Authorization': base64EncodedBasicAuth, 'Accept': 'application/json' } reply = requests.get(f'https://api.kobiton.com/v1/devices/{deviceId}/status', params={ }, headers = headers) #   ,      while (reply['isOnline'] == False or reply['isBooked'] == True): sleep(60) #   com_executor = f'https://{USERNAME}:{API_KEY}@api.kobiton.com/wd/hub' desired_capabilities = { 'browserName': 'Chrome', # The generated session will be visible to you only. 'sessionName': 'Automation test session', 'sessionDescription': '', 'deviceOrientation': 'portrait', 'captureScreenshots': True, 'deviceGroup': 'KOBITON', # For deviceName, platformVersion Kobiton supports wildcard # character *, with 3 formats: *text, text* and *text* # If there is no *, Kobiton will match the exact text provided 'deviceName': 'Pixel 2', 'platformName': 'Android', 'platformVersion': '9' } driver = webdriver.Remote(com_executor, desired_capabilities) """ ... """ #   RUN_TESTS() """ ... """ #       ,     (   ) headers = { 'Authorization': {base64EncodedBasicAuth} } requests.delete(f'https://api.kobiton.com/v1/sessions/{sessionId}/terminate', params={ }) """ ... """ 

BrowserStack

लिंक ।

अच्छा पुराना ब्राउज़रस्टैक। उनके बारे में बहुत सी बातें लिखी गईं और कई लोग जो इसका इस्तेमाल करते हैं। हां, यह न केवल विभिन्न ब्राउज़रों पर, बल्कि विभिन्न उपकरणों पर भी परीक्षण की अनुमति देता है। दोनों मैनुअल मोड में और सेलेनियम / एपियम का उपयोग करते हुए। आपकी आवश्यकताओं के आधार पर - मोबाइल ब्राउज़र पर या आपके एप्लिकेशन का उपयोग करके। क्षमताओं के संदर्भ में, सब कुछ शीर्ष पर दो सेवाओं के समान है, लेकिन उनके विपरीत, पहले से ही एक साथ सत्र की संख्या पर प्रतिबंध हैं। सच है, इसके विपरीत, प्रति माह 199 डॉलर का भुगतान करें और असीमित समय के लिए परीक्षण करें। जेनकिंस, ट्रैविस सीआई, टीमसिटी, इसके समृद्ध एपीआई, उत्कृष्ट लॉग और विभिन्न विन्यासों पर उपकरणों और डेस्कटॉप ब्राउज़रों के एक बड़े चयन के लिए प्लगइन्स हैं। सच है, आप जो परीक्षण कर रहे हैं, उसके आधार पर, सेटिंग्स अलग-अलग होंगी - परीक्षण ब्राउज़रों के लिए (यहां तक ​​कि मोबाइल वाले) एक सेलेनियम हब का उपयोग किया जाता है, और अनुप्रयोगों के लिए - एक ऐपियम हब। इसके अलावा, आवेदन के परीक्षण के लिए आपको अलग से भुगतान करना होगा। यही है, दोनों मोबाइल ब्राउज़रों और अनुप्रयोगों का परीक्षण करने के लिए, आपको $ 199 और एक और $ 159 (एक ही समय में परीक्षण के लिए एक उपकरण की कीमत) का भुगतान करने की आवश्यकता है।

 from appium import webdriver """ ... """ com_executor = 'https://USERNAME:API_KEY@hub-cloud.browserstack.com/wd/hub' desired_capabilities = {'device': 'Google Pixel', 'deviceName': 'Google Pixel', 'app': app_name, 'realMobile': 'true', 'os_version': '8.0', 'name': 'Bstack-[Python] Sample Test' } driver = webdriver.Remote(com_executor, desired_capabilities) """ ... """ 

 from selenium import webdriver """ ... """ com_executor = 'http://USERNAME:API_KEY@hub.browserstack.com:80/wd/hub' desired_capabilities = {'device': 'Google Pixel', 'deviceName': 'Google Pixel', 'browserName': 'Chrome', 'realMobile': 'true', 'os_version': '8.0', 'name': 'Bstack-[Python] Sample Test' } driver = webdriver.Remote(com_executor, desired_capabilities) """ ... """ 

Experitest

लिंक ।

एक अन्य सेवा जो ऐपियम, सेलेनियम और अन्य रूपरेखाओं का उपयोग करके मोबाइल डिवाइस और डेस्कटॉप ब्राउज़र दोनों को मैन्युअल रूप से और स्वचालित रूप से परीक्षण करने की क्षमता प्रदान करती है। जैसा कि BrowserStack के मामले में, एक साथ सत्रों की संख्या सीमित है, लेकिन कीमतें कुछ अलग हैं - मोबाइल अनुप्रयोगों के परीक्षण के लिए, सेवा प्रति माह $ 199 के लिए पूछती है, और क्रॉस-ब्राउज़र परीक्षण के लिए केवल $ 39 (एक साथ सत्र के लिए)। इसके अलावा, एडब्ल्यूएस के साथ बिटबार की तरह, आप अपनी निजी प्रयोगशाला का निर्माण उन उपकरणों के साथ कर सकते हैं, जिन्हें आप चाहें तो विभिन्न उपकरणों और प्लेटफार्मों (मैकओएस, विंडोज) के हजारों उपकरणों, एमुलेटर और ब्राउज़रों के सार्वजनिक क्लाउड के साथ मिला सकते हैं। दिलचस्प विशेषताओं में से - इंटेलीज और एक्लिप्स के लिए एक्सटेंशन की उपलब्धता, इसके एपियम स्टूडियो टूल, जो आपको फेसआईडी, आवाज नियंत्रण, स्कैनिंग बारकोड्स के साथ बातचीत करने, संचार गुणवत्ता स्थापित करने, भू-स्थान और अधिक जैसे उपकरणों की उन्नत कार्यक्षमता का उपयोग करने की अनुमति देता है। Minuses में से, मैं परीक्षण अवधि के लिए उपकरणों के एक अजीब सेट का नाम दे सकता हूं, परीक्षण अवधि के लिए ड्रैकॉनियन टैरिफिकेशन, साथ ही कॉर्पोरेट मेल का उपयोग करने की आवश्यकता (जीमेल काम नहीं करेगा)।

 from appium import webdriver """ ... """ com_executor = 'https://Uhttps://cloud.seetest.io/wd/hub' desired_capabilities = {"deviceName": "iPhone X", "accessKey": API_KEY, "platformName": "ios", "deviceQuery": "'@os='ios' and @version='12.1.3' and @category='PHONE'", } driver = webdriver.Remote(com_executor, desired_capabilities) """ ... """ 

SauceLabs

लिंक ।

सबसे पुराने क्लाउड परीक्षण सेवाओं में से एक। लगभग 400 विभिन्न वास्तविक डिवाइस, सैमसंग डिवाइस के एटिपिकल इम्यूलेटर सहित सिमुलेटर और एमुलेटर की एक विस्तृत चयन, लिनक्स सहित विभिन्न ओएस के लिए डेस्कटॉप ब्राउज़र हैं। Appium / Selenium और देशी ढांचे पर स्वचालन। सेवा का मुख्य लाभ पुराने ओएस, ब्राउज़रों, उपकरणों सहित कॉन्फ़िगरेशन के व्यापक संग्रह की उपस्थिति है। सॉसेलैब्स में एक साथ सत्रों की संख्या की सीमा होती है, लेकिन यहां सबसे सस्ते विकल्प में एक नहीं, बल्कि दो युगपत सत्र शामिल हैं। क्या असामान्य है: असली डिवाइस और एमुलेटर पर टैरिफ प्लान अलग-अलग हैं। इसलिए, सबसे सस्ता विकल्प, जिसमें एमुलेटर पर प्रति माह 2000 मिनट के परीक्षण के साथ दो सत्र शामिल हैं, $ 149 का खर्च आएगा, और पहले से ही 349 डॉलर के वास्तविक उपकरणों पर। CI / CD, Slack के साथ एकीकरण है। दुर्भाग्य से, मैं SauceLabs को लाइव करने का प्रयास करने में सक्षम नहीं था, क्योंकि अफसोस, पंजीकरण विफल रहता है, संभवतः क्षेत्र के कारण, लेकिन मैं निश्चित रूप से नहीं कह सकता।

Perfecto

लिंक ।

नवीनतम क्लाउड टेस्टिंग प्रदाता एक्सपेरिटेस्ट के समान सबसे अधिक नेत्रहीन है, लेकिन उन्नत कार्यक्षमता के बिना। एक सरल स्क्रिप्टिंग भाषा है। यह बहुत अजीब है, लेकिन गैर-कॉर्पोरेट (एंटरप्राइज) टैरिफ की सेवा में डेस्कटॉप ब्राउज़रों पर परीक्षण का कोई प्रस्ताव नहीं है, वास्तविक समय में परीक्षणों के निष्पादन की निगरानी करना भी असंभव है (केवल अगर यह मैनुअल परीक्षण नहीं है)। परीक्षण के लिए लगभग एक सौ विभिन्न उपकरण उपलब्ध हैं। जेनकींस के साथ एकीकरण है, और यह भी दिलचस्प है, एचपी एएलएम, आईबीएम तर्कसंगत, टीएफएस जैसे परीक्षण प्रबंधन उपकरणों के साथ। बहुत ही अजीब टैरिफ योजनाएं भी उपलब्ध हैं, जैसे प्रति माह 5 घंटे का परीक्षण (मिनट के संदर्भ में $ 0.33 (यह सबसे महंगी सेवा है)), हालांकि अतिरिक्त घंटों के साथ पैकेज खरीदने की क्षमता है, लेकिन फिर, यह अजीब है कि वहाँ नहीं है तथ्य के बाद प्रति मिनट या कम से कम प्रति घंटा बिलिंग। परीक्षण की अवधि के दौरान उपयोग में आसानी के लिए, केवल मैनुअल परीक्षण उपलब्ध है, साथ ही साथ एक आम प्रयोगशाला भी है, ताकि विभिन्न उपयोगकर्ताओं से लॉन्च होने वाले सभी एक ढेर में गिर जाएं। इसलिए सेवा की सुविधा और गति का ठीक-ठीक आंकलन करना असंभव है। यह देखा जा सकता है कि सेवा मुख्य रूप से बड़े कॉर्पोरेट ग्राहकों पर केंद्रित है, जबकि, कम से कम उपलब्ध जानकारी के अनुसार, इस प्रदाता की क्षमताएं मेरे द्वारा परीक्षण किए गए सबसे मामूली हैं।

सारांश परिणाम

सभी चयन मानदंडों के अनुसार, सेवाएं बहुत समान हैं, उनके प्रदर्शन और कीमत में सेवाओं के बीच अंतर (यदि कोई विशेषताएं नहीं हैं, उदाहरण के लिए, जैसे एडब्ल्यूएस के मामले में)। इसलिए, हम एक तालिका में अनुसंधान डेटा को संक्षेप में प्रस्तुत करेंगे, सेवाओं की गति (यूएस वीपीएन के माध्यम से खाते के कनेक्शन को ध्यान में रखते हुए), साथ ही कीमत पर, सुविधा के लिए, उपकरणों पर औसत मासिक परीक्षण समय की तुलना करें (प्रति माह 5 रिलीज़, एंड्रॉइड और आईओएस डिवाइसों पर 2 घंटे का परीक्षण) = 20 घंटे)। संदर्भ मूल्यों के रूप में, मैं अपने स्थानीय कंप्यूटर से एमुलेटर के साथ डेटा का उपयोग करता हूं, फिर से यूएसए में वीपीएन के माध्यम से प्रयोग की शुद्धता के लिए इसे जोड़ता है)।

निष्कर्ष

मेरे लिए हमारी टीम के लिए सही सेवा पर शोध और चयन करना काफी दिलचस्प था। सामान्य तौर पर, प्रत्येक स्वाद और किसी भी कार्य के लिए समाधान होते हैं, और विशेषताओं और कार्यान्वयन के संदर्भ में सेवाएं बहुत समान हैं। परिणामस्वरूप, आपके कार्यों के आधार पर, मैं निम्नलिखित विकल्प सुझाऊंगा:

विकल्प ए : यदि सत्यापन की गति आपके लिए महत्वपूर्ण है, और आपको एक ही बार में दर्जनों विभिन्न उपकरणों की जांच करने की आवश्यकता है, तो आपकी पसंद बिटबार है ।

विकल्प बी : यदि आपके पास संदर्भ उपकरणों से परिणामों पर प्राथमिकता है, और कॉन्फ़िगरेशन परीक्षण माध्यमिक (लेकिन आवश्यक) है - आपकी पसंद ब्राउज़रस्टैक है । यह सिर्फ हमारा मामला है, क्योंकि सांख्यिकीय रूप से - सभी त्रुटियों का 90% संदर्भ प्लेटफार्मों और उपकरणों से त्रुटियां हैं (सबसे अधिक बार बग सभी संदर्भ प्लेटफार्मों के लिए एक साथ आम हैं)। शेष 8% MS IE त्रुटियाँ हैं, IE समर्थन के इनकार के साथ - 2% MS Edge त्रुटियाँ और विशिष्ट कॉन्फ़िगरेशन पर 0.5% त्रुटियाँ।

विकल्प बी : यदि आप विशेष परिस्थितियों की जाँच करने में रुचि रखते हैं, जैसे खराब-गुणवत्ता वाले संचार, जियोलोकेशन या टच / फेसआईडी, तो आपकी पसंद एक्सपर्ट है ।

लेकिन लंबे समय में, यदि आपकी कंपनी एक बड़े कार्यालय पर कब्जा करती है, तो आपका काम पूर्णकालिक है, फिर, एक नियम के रूप में, अपने स्वयं के आयोजन, यहां तक ​​कि जुड़े 2-3 उपकरणों के साथ एमुलेटर के लिए एक सर्वर के साथ मिनी-लैब, विशेष का उपयोग करके कम और अधिक सुविधाजनक खर्च करेगा सेवाएं।