जब गति और स्केलिंग की आवश्यकता होती है: वितरित आईओएस उपकरणों का सर्वर

IOS यूआई परीक्षणों के कई डेवलपर्स शायद टेस्ट रन समय की समस्या से परिचित हैं। प्रत्येक प्रतिगमन रन के लिए iOS iOS अनुप्रयोगों के लिए 1,400 से अधिक एंड-टू-एंड परीक्षण चलाता है। ये 40 से अधिक मशीन घंटों के परीक्षण हैं जो 30 वास्तविक मिनटों में पास होते हैं।

निकोलै अबालोव ने बुश से साझा किया कि कैसे वह परीक्षण के निष्पादन को 1.5 घंटे से 30 मिनट तक तेज करने में कामयाब रहा; वे डिवाइस सर्वर पर जाकर बारीकी से संबंधित परीक्षणों और आईओएस बुनियादी ढांचे को कैसे खोलते हैं; इसने समानांतर और परीक्षण में बुनियादी ढांचे को चलाना आसान बना दिया और समर्थन और पैमाने को आसान बना दिया।

आप सीखेंगे कि fbsimctl जैसे उपकरणों के साथ समानांतर में परीक्षण चलाना कितना आसान है, और परीक्षण और बुनियादी ढांचे को अलग करना आपके परीक्षणों को होस्ट करना, समर्थन करना और स्केल करना आसान बना सकता है।

प्रारंभ में, निकोलाई ने हाइजेनबग सम्मेलन (आप वीडियो देख सकते हैं) में एक रिपोर्ट प्रस्तुत की, और अब हेबर के लिए हमने रिपोर्ट का एक पाठ संस्करण बनाया। अगला एक पहला व्यक्ति कथा है:

सभी को नमस्कार, आज मैं iOS के लिए स्केलिंग परीक्षण के बारे में बात करूंगा। मेरा नाम निकोलस है, मैं मुख्य रूप से iOS में iOS के बुनियादी ढांचे से निपटता हूं। इससे पहले, उन्होंने 3 साल तक 2 जीआईएस के लिए काम किया, विकास और स्वचालन में लगे हुए थे, विशेष रूप से, उन्होंने विनीम.मोबाइल लिखा - विंडोज फोन के लिए वेबड्राइवर का कार्यान्वयन। मुझे विंडोज फोन ऑटोमेशन पर काम करने के लिए बुश में ले जाया गया था, लेकिन थोड़ी देर बाद व्यवसाय ने इस प्लेटफॉर्म के विकास को निलंबित करने का फैसला किया। और मुझे आईओएस के स्वचालन के लिए दिलचस्प कार्यों की पेशकश की गई थी, इस बारे में मैं आज आपको बताऊंगा।

हम किस बारे में बात करने जा रहे हैं? योजना इस प्रकार है:

• समस्या का एक अनौपचारिक कथन, प्रयुक्त उपकरणों का एक परिचय: कैसे और क्यों।
• आईओएस पर समानांतर परीक्षण और यह कैसे विकसित हुआ (विशेष रूप से, हमारी कंपनी के इतिहास के अनुसार, क्योंकि हमने 2015 में इस पर वापस काम करना शुरू किया था)।
• डिवाइस सर्वर रिपोर्ट का मुख्य हिस्सा है। समानांतर परीक्षण के लिए हमारा नया मॉडल।
• परिणाम हमने सर्वर के साथ हासिल किया।
• यदि आपके पास 1500 परीक्षण नहीं हैं, तो आपको वास्तव में डिवाइस सर्वर की आवश्यकता नहीं हो सकती है, लेकिन आप अभी भी इससे दिलचस्प चीजें प्राप्त कर सकते हैं, और हम उनके बारे में बात करेंगे। यदि आपके पास 10-25 परीक्षण हैं, तो उन्हें लागू किया जा सकता है, और यह अभी भी त्वरण या अतिरिक्त स्थिरता देगा।
• और अंत में, एक डीब्रीफिंग।

उपकरण

पहले थोड़ा सा है कि कौन क्या उपयोग करता है। हमारा स्टैक थोड़ा गैर-मानक है, क्योंकि हम Calabash और WebDriverAgent दोनों का उपयोग करते हैं (जो हमें हमारे एप्लिकेशन को स्वचालित करते समय स्पीड और कैलाब बैकसाइड देता है और उसी समय सिस्टम और WebDriverAgent के माध्यम से अन्य एप्लिकेशन तक पूर्ण पहुंच)। WebDriverAgent iOS के लिए WebDriver का एक फेसबुक कार्यान्वयन है जो आंतरिक रूप से Appium द्वारा उपयोग किया जाता है। और कैलाब स्वचालन के लिए एक एम्बेडेड सर्वर है। हम ककड़ी का उपयोग करके मानव-पठनीय रूप में परीक्षण लिखते हैं। यही है, हमारी कंपनी में छद्म-बीडीडी। और क्योंकि हमने ककड़ी और कैलाश का उपयोग किया था, हमें रूबी विरासत में मिली, इस पर सभी कोड लिखे गए हैं। बहुत कोड है, और आपको रूबी में लिखना जारी रखना होगा। समानांतर में परीक्षण चलाने के लिए, हम समानांतर_संगीत का उपयोग करते हैं , एक उपकरण जो मेरे एक साथी ने बुश पर लिखा है।

जो हमारे पास था, उससे शुरू करते हैं। जब मैंने रिपोर्ट तैयार करना शुरू किया, तो 1200 परीक्षण हुए। जब वे पूरे हो गए, तब तक यह 1300 था। जब मैं यहां पहुंचा, तब तक 1400 परीक्षण हो चुके थे। ये एंड-टू-एंड टेस्ट हैं, न कि यूनिट टेस्ट और इंटीग्रेशन टेस्ट। वे एक सिम्युलेटर पर 35-40 घंटे का कंप्यूटर समय बनाते हैं। वे एक घंटे और एक आधे में पहले पारित कर दिया। मैं आपको बताता हूँ कि वे 30 मिनट में कैसे गुजरने लगे।

हमारी शाखाओं में समीक्षाओं, समीक्षाओं और इन शाखाओं पर परीक्षण के साथ हमारी कंपनी में वर्कफ़्लो है। डेवलपर्स हमारे आवेदन के मुख्य भंडार में लगभग 10 अनुरोध करते हैं। लेकिन इसमें ऐसे घटक भी हैं जो अन्य अनुप्रयोगों के साथ साझा किए जाते हैं, इसलिए कभी-कभी दस से अधिक होते हैं। नतीजतन, प्रति दिन 30 परीक्षण कम से कम चलता है। चूंकि डेवलपर्स धक्का देते हैं, तब उन्हें पता चलता है कि उन्होंने बग, फिर से लोड करना शुरू कर दिया है, और यह सब एक पूर्ण प्रतिगमन शुरू करता है, सिर्फ इसलिए कि हम इसे चला सकते हैं। उसी बुनियादी ढांचे पर, हम अतिरिक्त परियोजनाएं शुरू करते हैं, जैसे कि लिवशोट, जो सभी भाषाओं में मुख्य उपयोगकर्ता लिपियों में एप्लिकेशन के स्क्रीनशॉट लेती है, ताकि अनुवादक अनुवाद की शुद्धता को सत्यापित कर सकें, चाहे वह स्क्रीन पर फिट हो और इसी तरह। नतीजतन, इस समय लगभग डेढ़ हजार घंटे मशीन का समय निकल जाता है।

सबसे पहले, हम चाहते हैं कि डेवलपर्स और परीक्षक स्वचालन पर भरोसा करें और मैन्युअल प्रतिगमन को कम करने के लिए उस पर भरोसा करें। ऐसा होने के लिए, स्वचालन से तेजी से और सबसे महत्वपूर्ण, स्थिर और विश्वसनीय संचालन प्राप्त करना आवश्यक है। यदि परीक्षण एक और डेढ़ घंटे में पास हो जाते हैं, तो डेवलपर परिणामों के इंतजार में थक जाएगा, वह एक और काम करना शुरू कर देगा, उसका ध्यान स्विच हो जाएगा। और जब कुछ परीक्षण गिरते हैं, तो वह बहुत खुश नहीं होगा कि उसे वापस आना है, अपना ध्यान स्विच करना है और कुछ की मरम्मत करना है। यदि परीक्षण अविश्वसनीय हैं, तो समय के साथ, लोग उन्हें केवल एक बाधा के रूप में देखना शुरू करते हैं। वे लगातार गिरते हैं, हालांकि कोड में कोई बग नहीं हैं। ये परतदार परीक्षण हैं, कुछ प्रकार की बाधा। तदनुसार, इन दो बिंदुओं का खुलासा इन आवश्यकताओं में किया गया है:

• टेस्ट में 30 मिनट या उससे अधिक समय लगना चाहिए।
• उन्हें स्थिर होना चाहिए।
• उन्हें स्केलेबल होना चाहिए ताकि हम एक और सौ टेस्ट जोड़ने के लिए आधा घंटा जोड़ सकें।
• इन्फ्रास्ट्रक्चर को आसानी से बनाए रखा जाना चाहिए और विकसित किया जाना चाहिए।
• सिमुलेटर और भौतिक उपकरणों पर, सब कुछ उसी तरह से शुरू होना चाहिए।

हम मुख्य रूप से सिमुलेटर पर परीक्षण चलाते हैं, न कि भौतिक उपकरणों पर, क्योंकि यह तेज, अधिक स्थिर और आसान है। भौतिक उपकरणों का उपयोग केवल उन परीक्षणों के लिए किया जाता है जिन्हें वास्तव में इसकी आवश्यकता होती है। उदाहरण के लिए, कैमरा, पुश सूचनाएँ और पसंद।

इन आवश्यकताओं को कैसे पूरा करें और सब कुछ अच्छी तरह से करें? इसका उत्तर बहुत सरल है: हम दो तिहाई परीक्षणों को हटा देते हैं! यह समाधान 30 मिनट में फिट बैठता है (क्योंकि परीक्षणों का केवल एक तिहाई ही रहता है), आसानी से तराजू (अधिक परीक्षण हटाए जा सकते हैं), और विश्वसनीयता बढ़ जाती है (क्योंकि पहली चीज जिसे हम हटाते हैं वह सबसे अविश्वसनीय परीक्षण है)। मेरे लिए यही सब है प्रश्न?

लेकिन गंभीरता से, हर मजाक में कुछ सच्चाई है। यदि आपके पास बहुत सारे परीक्षण हैं, तो आपको उनकी समीक्षा करने और समझने की आवश्यकता है कि कौन से वास्तविक लाभ लाते हैं। हमारे पास एक अलग काम था, इसलिए हमने यह देखने का फैसला किया कि क्या किया जा सकता है।

पहला दृष्टिकोण कवरेज या घटकों के आधार पर परीक्षणों को छान रहा है। यही है, एप्लिकेशन में फ़ाइल परिवर्तनों के आधार पर उपयुक्त परीक्षणों का चयन करें। मैं इस बारे में बात नहीं करूंगा, लेकिन यह उन कार्यों में से एक है जिसे हम इस समय हल कर रहे हैं।

एक अन्य विकल्प यह है कि परीक्षणों की गति बढ़ाई जाए और उन्हें स्थिर किया जाए। आप एक विशिष्ट परीक्षा लेते हैं, देखें कि इसमें कौन से कदम सबसे अधिक समय लेते हैं और क्या उन्हें किसी तरह से अनुकूलित किया जा सकता है। यदि उनमें से कुछ बहुत अस्थिर हैं, तो आप उन्हें सही करते हैं, क्योंकि यह परीक्षण पुनरारंभ को कम करता है, और सब कुछ तेजी से होता है।

और, अंत में, एक पूरी तरह से अलग कार्य - परीक्षणों को समानांतर करना, उन्हें बड़ी संख्या में सिमुलेटरों पर वितरित करना और एक स्केलेबल और स्थिर बुनियादी ढांचा प्रदान करना ताकि समानांतर करने के लिए बहुत कुछ हो।

इस लेख में हम मुख्य रूप से अंतिम दो बिंदुओं के बारे में बात करेंगे और अंत में टिप्स एंड ट्रिक्स में गति और स्थिरीकरण के बारे में बात करेंगे।

---

IOS के लिए समानांतर परीक्षण

आइए सामान्य रूप से आईओएस के लिए समानांतर परीक्षण के इतिहास के साथ शुरू करें और विशेष रूप से बुश में। सरल अंकगणित के साथ शुरू करने के लिए, यहाँ, हालांकि, यदि हम आयामों की तुलना करते हैं तो सूत्र में एक त्रुटि है:



एक सिम्युलेटर के लिए 1300 परीक्षण थे, यह 40 घंटे निकलता है। तब मेरे नेता सतीश आते हैं और कहते हैं कि उन्हें आधे घंटे की जरूरत है। आपको कुछ आविष्कार करना होगा। X सूत्र में प्रकट होता है: कितने सिमुलेटर चलाने के लिए, ताकि सब कुछ आधे घंटे में चला जाए। जवाब 80 सिमुलेटर है। और तुरंत सवाल उठता है कि इन 80 सिमुलेटरों को कहां रखा जाए, क्योंकि वे कहीं भी फिट नहीं होते हैं।

कई विकल्प हैं: आप SauceLabs, Xamarin या AWS डिवाइस फ़ार्म जैसे बादलों में जा सकते हैं। और आप घर पर सब कुछ सोच सकते हैं और अच्छा कर सकते हैं। यह देखते हुए कि यह लेख मौजूद है, हमने घर पर सब कुछ अच्छा किया। हमने ऐसा फैसला किया, क्योंकि इस तरह के पैमाने वाला एक बादल काफी महंगा होगा, और ऐसी स्थिति भी थी जब आईओएस 10 बाहर आया था और लगभग एक महीने के लिए ऐपियम ने इसके लिए समर्थन जारी किया था। इसका मतलब यह है कि एक महीने के लिए सॉसलेब्स में हम स्वचालित रूप से आईओएस 10 का परीक्षण नहीं कर सकते थे, जो हमें बिल्कुल भी सूट नहीं करता था। इसके अलावा, सभी बादल बंद हैं, और आप उन्हें प्रभावित नहीं कर सकते हैं।

इसलिए, हमने घर में सब कुछ करने का फैसला किया। हमने 2015 में कहीं शुरू किया था, तब Xcode एक से अधिक सिम्युलेटर चलाने में सक्षम नहीं था। जैसा कि यह पता चला है, वह एक ही मशीन पर एक उपयोगकर्ता के तहत एक से अधिक सिम्युलेटर नहीं चला सकता है। यदि आपके पास कई उपयोगकर्ता हैं, तो आप सिमुलेटर को जितना चाहें उतना चला सकते हैं। मेरे सहयोगी टिम बावर्स्टॉक एक मॉडल के साथ आए थे, जिस पर हम लंबे समय तक जीवित रहे थे।



एक एजेंट (टीमसिटी, जेनकिंस नोड और जैसी) है, यह समानांतर_क्यूरेटर चलाता है, जो बस ssh के माध्यम से दूरस्थ मशीनों में जाता है। तस्वीर दो उपयोगकर्ताओं के लिए दो कारों को दिखाती है। सभी आवश्यक फाइलें जैसे परीक्षण कॉपी किए जाते हैं और ssh के माध्यम से दूरस्थ मशीनों पर चलते हैं। और परीक्षण पहले से ही मौजूदा डेस्कटॉप पर स्थानीय रूप से सिम्युलेटर चलाते हैं। इस काम के लिए, आपको पहले प्रत्येक मशीन पर जाना होगा, उदाहरण के लिए, 5 उपयोगकर्ता, यदि आप 5 सिमुलेटर चाहते हैं, तो एक उपयोगकर्ता को स्वचालित लॉगिन बनाएं, बाकी के लिए स्क्रीनशेयरिंग करें, ताकि उनके पास हमेशा एक डेस्कटॉप हो। और ssh डेमॉन को कॉन्फ़िगर करें ताकि यह डेस्कटॉप पर प्रक्रियाओं तक पहुंच सके। ऐसे सरल तरीके से, हमने समानांतर में परीक्षण चलाना शुरू किया। लेकिन इस तस्वीर में कई समस्याएं हैं। सबसे पहले, परीक्षण सिम्युलेटर को नियंत्रित करते हैं, वे सिम्युलेटर के ही स्थान पर हैं। यही है, उन्हें हमेशा पोपियों पर चलाया जाना चाहिए, वे उन संसाधनों को खाते हैं जिन्हें सिमुलेटर चलाने पर खर्च किया जा सकता है। नतीजतन, आपके पास मशीन पर कम सिमुलेटर हैं और उनकी लागत अधिक है। एक और बिंदु यह है कि आपको प्रत्येक मशीन पर जाने, उपयोगकर्ताओं को कॉन्फ़िगर करने की आवश्यकता है। और फिर आप बस वैश्विक ulimit में ठोकर खाते हैं। यदि पांच उपयोगकर्ता हैं और वे बहुत सारी प्रक्रियाएं बढ़ाते हैं, तो कुछ बिंदु पर विवरणकर्ता सिस्टम में समाप्त हो जाएगा। सीमा तक पहुंचने पर, नई फ़ाइलों को खोलने और नई प्रक्रियाओं को शुरू करने की कोशिश करते समय परीक्षण गिरना शुरू हो जाएंगे।



2016-2017 में, हमने थोड़ा अलग मॉडल में स्विच करने का फैसला किया। हमने फेसबुक से लॉरेंस लोमैक्स की एक रिपोर्ट देखी - उन्होंने fbsimctl प्रस्तुत किया, और आंशिक रूप से बताया कि फेसबुक पर बुनियादी ढांचा कैसे काम करता है। इस मॉडल के बारे में विक्टर कोरोनेविच की एक रिपोर्ट भी थी। तस्वीर पिछले एक से बहुत अलग नहीं है - हमें सिर्फ उपयोगकर्ताओं से छुटकारा मिला है, लेकिन यह एक बड़ा कदम है, क्योंकि अब केवल एक डेस्कटॉप है, कम प्रक्रियाएं शुरू की गई हैं, सिमुलेटर सस्ता हो गए हैं। इस चित्र में तीन सिमुलेटर हैं, दो नहीं, क्योंकि अतिरिक्त को लॉन्च करने के लिए संसाधनों को मुक्त कर दिया गया है। हम इस मॉडल के साथ बहुत लंबे समय तक रहते थे, अक्टूबर 2017 के मध्य तक, जब हमने दूरस्थ उपकरणों के अपने सर्वर पर स्विच करना शुरू किया।



तो यह लोहे जैसा दिखता था। बाईं ओर macbooks के साथ एक बॉक्स है। हमने उन पर सभी परीक्षण क्यों चलाए, यह एक अलग कहानी है। लोहे की पेटी में डाले गए मैकबुक पर परीक्षणों को चलाना एक अच्छा विचार नहीं था, क्योंकि कहीं न कहीं दोपहर में उन्हें गर्मी लगने लगी थी, क्योंकि सतह पर ऐसा होने पर गर्मी अच्छी तरह से नहीं निकलती। परीक्षण अस्थिर हो गए, खासकर जब सिमुलेटर लोड होने पर दुर्घटनाग्रस्त होने लगे।

हमने इसे बस तय किया: हमने लैपटॉप को "टेंट" में रखा, एयरफ्लो क्षेत्र में वृद्धि हुई और बुनियादी ढांचे की स्थिरता में अचानक वृद्धि हुई।



तो कभी-कभी आपको सॉफ़्टवेयर से निपटने की ज़रूरत नहीं है, लेकिन लैपटॉप को घुमाएं।

लेकिन अगर आप इस तस्वीर को देखें, तो तारों, एडाप्टरों और आम तौर पर टिन की कुछ गड़बड़ है। यह लोहे का हिस्सा है, और यह अभी भी अच्छा था। सॉफ्टवेयर में, बुनियादी ढाँचे के साथ परीक्षणों की एक पूरी इंटरव्यूइंग चल रही थी, और इस तरह से जीवित रहना असंभव था।

हमने निम्नलिखित मुद्दों की पहचान की:

• तथ्य यह है कि परीक्षण बुनियादी ढांचे के साथ निकटता से संबंधित थे, सिमुलेटर लॉन्च किए और अपने पूरे जीवन चक्र का प्रबंधन किया।
• इसने स्केलिंग को कठिन बना दिया, क्योंकि एक नया नोड जोड़कर इसे दोनों परीक्षणों और चलाने वाले सिमुलेटरों के लिए स्थापित किया गया। उदाहरण के लिए, यदि आप Xcode अपडेट करना चाहते हैं, तो आपको सीधे परीक्षणों में वर्कअराउंड जोड़ना होगा, क्योंकि वे Xcode के विभिन्न संस्करणों पर चलते हैं। कुछ अगर ढेर सिम्युलेटर चलाने के लिए दिखाई देते हैं।
• टेस्ट मशीन से बंधे होते हैं जहां सिम्युलेटर स्थित होता है, और यह एक बहुत पैसा खर्च करता है, क्योंकि उन्हें * निक्स के बजाय पॉपपीज़ पर चलाना पड़ता है, जो कि सस्ते होते हैं।
• और हमेशा सिम्युलेटर में तल्लीन करना बहुत आसान था। कुछ परीक्षणों में, हम सिम्युलेटर के फाइल सिस्टम में गए, वहां कुछ फाइलों को डिलीट किया या उन्हें बदल दिया, और जब तक यह तीन अलग-अलग परीक्षणों में तीन अलग-अलग तरीकों से किया गया तब तक सब कुछ ठीक था, और फिर अप्रत्याशित रूप से चौथा दुर्घटनाग्रस्त होना शुरू हो गया अगर इसके बाद शुरू करना भाग्यशाली नहीं था उन तीन।
• और आखिरी क्षण - संसाधनों को किसी भी तरह से अफवाह नहीं कहा गया। उदाहरण के लिए, चार टीमसिटी एजेंट थे, पाँच मशीनें प्रत्येक से जुड़ी थीं, और परीक्षण केवल उनकी पाँच मशीनों पर ही चलाए जा सकते थे। कोई केंद्रीकृत संसाधन प्रबंधन प्रणाली नहीं थी, इस वजह से, जब केवल एक कार्य आता है, तो यह पांच मशीनों पर चला गया, और अन्य सभी 15 बेकार थे। इस वजह से, बिल्ड में बहुत लंबा समय लगा।

---

नया मॉडल

हमने एक सुंदर नए मॉडल पर स्विच करने का फैसला किया।



एक मशीन पर सभी परीक्षणों को हटा दिया, जहां टीमसिटी एजेंट। यदि आप चाहें तो यह मशीन अब विंडोज पर * निक्स या विंडोज पर भी हो सकती है। वे किसी चीज़ के साथ HTTP पर संवाद करेंगे जिसे हम डिवाइस सर्वर कहेंगे। सभी सिमुलेटर और भौतिक डिवाइस वहां कहीं स्थित होंगे, और परीक्षण यहां चलेंगे, डिवाइस को HTTP के माध्यम से अनुरोध करेंगे और इसके साथ काम करना जारी रखेंगे। आरेख बहुत सरल है, आरेख में केवल दो तत्व हैं।



वास्तव में, ज़ाहिर है, ssh और अधिक सर्वर के पीछे रहा। लेकिन अब यह किसी को परेशान नहीं करता है, क्योंकि परीक्षण लिखने वाले लोग इस आरेख में शीर्ष पर हैं, और उनके पास स्थानीय या दूरस्थ सिम्युलेटर के साथ काम करने के लिए किसी प्रकार का विशिष्ट इंटरफ़ेस है, इसलिए वे ठीक हैं। और अब मैं नीचे काम करता हूं, और मेरे पास सब कुछ है जैसा कि यह था। हमें इसके साथ रहना होगा।

यह क्या देता है?

• सबसे पहले, जिम्मेदारी का विभाजन। परीक्षण स्वचालन में कुछ बिंदु पर, आपको इसे सामान्य विकास के रूप में समझना चाहिए। यह उन्हीं सिद्धांतों और दृष्टिकोणों को नियोजित करता है जो डेवलपर्स उपयोग करते हैं।
• परिणाम एक कड़ाई से परिभाषित इंटरफ़ेस है: आप सीधे सिम्युलेटर के साथ कुछ नहीं कर सकते हैं, इसके लिए आपको डिवाइस सर्वर में एक टिकट खोलने की आवश्यकता है, और हम यह पता लगाएंगे कि अन्य परीक्षणों को तोड़ने के बिना यह कैसे करें।
• परीक्षण का वातावरण सस्ता हो गया है क्योंकि हमने इसे * निक्स में उठाया है, जो सर्विस पॉपपीज़ की तुलना में बहुत सस्ता है।
• और संसाधन साझाकरण दिखाई दिया, क्योंकि एक एकल परत है जिसके साथ हर कोई संचार करता है, यह इसके पीछे स्थित मशीनों के वितरण की योजना बना सकता है, अर्थात। एजेंटों के बीच संसाधनों को साझा करना।

ऊपर दर्शाया गया है, जैसा कि पहले था। बाईं ओर, समय की पारंपरिक इकाइयाँ हैं, कहते हैं, दसियों मिनट। दो एजेंट हैं, 7 सिमुलेटर प्रत्येक से जुड़े हुए हैं, समय पर 0 निर्माण में आता है और 40 मिनट लगते हैं। 20 मिनट के बाद, एक और एक आता है, और उसी समय लगता है। सब कुछ बहुत अच्छा लगता है। लेकिन वहाँ, और ग्रे वर्ग हैं। उनका मतलब है कि हमने पैसे खो दिए क्योंकि हमने उपलब्ध संसाधनों का उपयोग नहीं किया।



आप ऐसा कर सकते हैं: पहला निर्माण आता है और सभी मुफ्त सिमुलेटर देखता है, वितरित किया जाता है, और परीक्षण दो बार त्वरित होते हैं। कुछ करने को नहीं था। वास्तविकता में, ऐसा अक्सर होता है क्योंकि डेवलपर्स शायद ही कभी अपने ब्रंच को उसी क्षण धकेलते हैं। हालांकि कभी-कभी ऐसा होता है, और "चेकर्स", "पिरामिड" और जैसे शुरू होते हैं। हालांकि, ज्यादातर मामलों में, सभी संसाधनों के लिए बस केंद्रीकृत प्रबंधन प्रणाली स्थापित करके दो बार मुफ्त त्वरण प्राप्त किया जा सकता है।

इस पर आगे बढ़ने के अन्य कारण:

• ब्लैक बॉक्सिंग, यानी अब डिवाइस सर्वर एक ब्लैक बॉक्स है। जब आप परीक्षण लिखते हैं, तो आप केवल परीक्षणों के बारे में सोचते हैं और सोचते हैं कि यह ब्लैक बॉक्स हमेशा काम करेगा। यदि यह काम नहीं करता है, तो आप बस जाएं और जो भी इसे करना चाहिए, उस पर दस्तक दें, यही है, मुझे। और मुझे इसे ठीक करना होगा। मैं ही नहीं, वास्तव में, कई लोग पूरे बुनियादी ढांचे में शामिल हैं।
• आप सिम्युलेटर के अंदर को खराब नहीं कर सकते।
• सब कुछ शुरू करने के लिए आपको मशीन पर एक लाख उपयोगिताओं को नहीं रखना होगा - आप बस एक उपयोगिता डालते हैं जो डिवाइस सर्वर में सभी काम को छुपाता है।
• बुनियादी ढांचे को अद्यतन करना आसान हो गया है, जिसके बारे में हम अंत में कहीं बात करेंगे।

एक वाजिब सवाल: सेलेनियम ग्रिड क्यों नहीं? सबसे पहले, हमारे पास अलग-अलग प्लेटफार्मों के लिए विरासत कोड, 1,500 परीक्षण, 130 हजार लाइनों की एक बहुत कुछ था। और यह सब समानांतर_ ककड़ी द्वारा नियंत्रित किया गया था, जिसने परीक्षण के बाहर सिम्युलेटर का जीवन चक्र बनाया। यही है, एक विशेष प्रणाली थी जो सिम्युलेटर को लोड करती थी, इसके तैयार होने की प्रतीक्षा कर रही थी और इसे परीक्षण को दे रही थी। सब कुछ फिर से लिखना नहीं करने के लिए, हमने सेलेनियम ग्रिड का उपयोग नहीं करने का प्रयास करने का फैसला किया।

हमारे पास कई गैर-मानक क्रियाएं भी हैं, और हम बहुत कम ही WebDriver का उपयोग करते हैं। Calabash, और WebDriver पर परीक्षणों का मुख्य भाग केवल सहायक है। यही है, हम ज्यादातर मामलों में सेलेनियम का उपयोग नहीं करते हैं।

और, ज़ाहिर है, हम चाहते थे कि सब कुछ लचीला हो, प्रोटोटाइप के लिए आसान हो। क्योंकि पूरी परियोजना बस एक विचार के साथ शुरू हुई थी कि उन्होंने परीक्षण करने का फैसला किया, एक महीने में लागू किया, सब कुछ शुरू हुआ, और यह हमारी कंपनी में मुख्य निर्णय बन गया। वैसे, हमने पहले रूबी में लिखा था, और फिर डिवाइस सर्वर को कोटलिन को फिर से लिखा। परीक्षण रूबी पर निकला, और कोटलिन पर सर्वर।

---

डिवाइस सर्वर

अब डिवाइस सर्वर के बारे में और अधिक, यह कैसे काम करता है। जब हमने पहली बार इस मुद्दे पर शोध शुरू किया, तो हमने निम्नलिखित उपकरणों का उपयोग किया:

• xcrun simctl और fbsimctl - सिमुलेटर के प्रबंधन के लिए कमांड लाइन उपयोगिताओं (पहला आधिकारिक तौर पर Apple से है, दूसरा फेसबुक से, यह उपयोग करने के लिए थोड़ा अधिक सुविधाजनक है)
• WebDriverAgent, फ़ेसबुक से, पुश सूचना आने या इस तरह की प्रक्रिया से बाहर के अनुप्रयोगों को लॉन्च करने के लिए भी
• ideviceinstaller, भौतिक उपकरणों पर एप्लिकेशन डालने और फिर किसी तरह डिवाइस पर स्वचालित करने के लिए।

, device server, . , fbsimctl , xcrun simctl ideviceinstaller, , fbsimctl WebDriverAgent. - . : - , Facebook . , fbsimctl . :



, .



, .

? , curl list, :



JSON, , . , .



, approve — , . open deep links . , , fbsimctl. , :



, . - . : . , , .

• — . liveshot' iPhone X, iPhone 5S, iPhone 6s. .
• - WebDriverAgent XCUI- , .
• . - iOS 8 , , . device server iOS 8, , , - . fbsimctl.
• , cookies , , , .
• — . , device server , , , , . , . , .

, - , . — , . — , , , .



: Test Runner, ; Device Provider, Device Server, ; Remote Device — ; Device Server — -. , - - fbsimctl WebDriverAgent.

? Test Runner capability, iPhone 6. Device Provider, device server, , - , , , . Device Server . RemoteDevice .

, fbsimctl. , , headless-. , , headless-. - , . , , , syslog SpringBoard .

, XCTest, WebDriverAgent, healthCheck, WebDriverAgent , . , «ready» . healthCheck. , .



fbsimctl. . , WebDriverAgent, . .

— , device server, , , . (release), , , . . , device server , Test Runner . , -, , - .

— . . 30 60. , . , 30 . : , ?

. — . , .

. , , . Separation of Concerns — , , .

. , , Xcode 9, . Xcode 9.2, , — . , - .

Test Runner, rsync, ssh . - *nix, Docker-.

: device server ( GitHub ) , ssh, . device server, ssh, .

---

Tips & tricks

अब सबसे महत्वपूर्ण बात यह है कि सभी प्रकार की चालें और बस उपयोगी चीजें हैं जो हमने डिवाइस सर्वर और इस बुनियादी ढांचे को बनाते समय पाईं।

पहला सबसे सरल है। जैसा कि आपको याद है, हमारे पास मैकबुक प्रो था, सभी परीक्षण लैपटॉप पर चलाए गए थे। अब हमने उन्हें मैक प्रो पर लॉन्च किया।



यहाँ दो विन्यास हैं। ये वास्तव में प्रत्येक डिवाइस के शीर्ष संस्करण हैं। मैकबुक पर, हम समानांतर रूप से 6 सिमुलेटर चला सकते हैं। यदि आप एक ही समय में अधिक लोड करने का प्रयास करते हैं, तो सिमुलेटर इस तथ्य के कारण विफल होने लगते हैं कि वे प्रोसेसर को भारी लोड करते हैं, उनके पास आपसी ताले और इतने पर हैं। आप मैक प्रो पर 18 चला सकते हैं - इसकी गणना करना बहुत आसान है, क्योंकि 4 के बजाय 12 कोर हैं। हम तीन से गुणा करते हैं - आपको लगभग 18 सिमुलेटर मिलते हैं। वास्तव में, आप थोड़ा और चलाने की कोशिश कर सकते हैं, लेकिन उन्हें किसी तरह समय में अलग किया जाना चाहिए, उदाहरण के लिए, आप एक मिनट में नहीं चल सकते। हालांकि इन 18 सिमुलेटरों के साथ एक चाल होगी, यह इतना सरल नहीं है।



और यह उनकी कीमत है। मुझे याद नहीं है कि यह रूबल में कितना है, लेकिन यह स्पष्ट है कि उनकी बहुत लागत है। मैकबुक प्रो के लिए प्रत्येक सिम्युलेटर की लागत लगभग £ 400 है, और मैक प्रो के लिए लगभग £ 330 है। यह पहले से ही प्रत्येक सिम्युलेटर पर £ 70 की बचत के आसपास है।

इसके अलावा, इन मैकबुक को एक निश्चित तरीके से स्थापित किया जाना था, उनके पास मैग्नेट पर चार्ज करना था, जिसे टेप से चिपकाया जाना था, क्योंकि कभी-कभी वे गिर जाते थे। और आपको ईथरनेट कनेक्ट करने के लिए एक एडाप्टर खरीदना था, क्योंकि वाई-फाई पर लोहे के बॉक्स में आस-पास के कई उपकरण वास्तव में काम नहीं करते हैं, यह अस्थिर हो जाता है। एडॉप्टर का खर्च भी £ 30 है, जब आप 6 से विभाजित करते हैं, तो आपको प्रत्येक डिवाइस के लिए एक और £ 5 मिलेगा। लेकिन, यदि आपको इस सुपर-समानांतरकरण की आवश्यकता नहीं है, तो आपके पास केवल 20 परीक्षण और 5 सिमुलेटर हैं, वास्तव में मैकबुक खरीदना आसान है, क्योंकि आप इसे किसी भी स्टोर में पा सकते हैं, और आपको टॉप-एंड मैक प्रो के लिए ऑर्डर और प्रतीक्षा करनी होगी। वैसे, उन्होंने हमें थोड़ा सस्ता किया, क्योंकि हमने उन्हें थोक में लिया था और कुछ प्रकार की छूट थी। आप छोटी मेमोरी के साथ एक मैक प्रो भी खरीद सकते हैं, और फिर खुद को अपग्रेड कर सकते हैं, और भी अधिक बचत कर सकते हैं।

लेकिन मैक प्रो के साथ एक चाल है। हमें उन्हें तीन आभासी मशीनों में तोड़ना पड़ा, वहां ईएक्सआईआई डाल दिया। यह नंगे धातु वर्चुअलाइजेशन है, अर्थात, एक हाइपरविजर जो नंगे मशीन पर स्थापित है, और मेजबान सिस्टम पर नहीं। वह स्वयं मेजबान है, इसलिए हम तीन वर्चुअल मशीनें चला सकते हैं। और यदि आप macOS पर किसी प्रकार का सामान्य वर्चुअलाइजेशन स्थापित करते हैं, उदाहरण के लिए Parallels, तो आप Apple लाइसेंसिंग प्रतिबंधों के कारण केवल 2 वर्चुअल मशीन चला पाएंगे। मुझे इसे तोड़ना पड़ा क्योंकि कोरसुमुलेटर, सिमुलेटर का प्रबंधन करने वाली मुख्य सेवा, आंतरिक ताले थे, और एक ही समय में 6 से अधिक सिमुलेटर लोड नहीं थे, वे कतार में कुछ के लिए इंतजार करना शुरू कर दिया, और 18 सिमुलेटर का कुल लोडिंग समय अस्वीकार्य हो गया। वैसे, ESXi की कीमत £ 0 है, यह हमेशा अच्छा होता है जब कोई चीज कुछ भी नहीं होती है, लेकिन यह अच्छी तरह से काम करती है।

हमने पूलिंग क्यों नहीं की? आंशिक रूप से क्योंकि हमने सिम्युलेटर के रीसेट को तेज कर दिया है। मान लीजिए कि परीक्षण क्रैश हो गया है, तो आप सिम्युलेटर को पूरी तरह से साफ़ करना चाहते हैं ताकि फ़ाइल सिस्टम में शेष अस्पष्ट फ़ाइलों के कारण अगला क्रैश न हो। सबसे सरल उपाय सिम्युलेटर को बंद करना है, स्पष्ट रूप से मिटाएं (मिटाएं) और बूट (बूट)।



बहुत सरल, एक पंक्ति, लेकिन इसमें 18 सेकंड लगते हैं। और छह महीने या एक साल पहले, इसमें लगभग एक मिनट लगता था। इस को अनुकूलित करने के लिए Apple का धन्यवाद, लेकिन आप इसे मुश्किल कर सकते हैं। सिम्युलेटर डाउनलोड करें और बैकअप फ़ोल्डर में इसकी कार्यशील निर्देशिकाओं को कॉपी करें। और फिर आप सिम्युलेटर को बंद कर देते हैं, कार्यशील निर्देशिका को हटा देते हैं और बैकअप की प्रतिलिपि बनाते हैं, सिम्युलेटर शुरू करते हैं।



यह 8 सेकंड निकलता है: डाउनलोड दो बार से अधिक त्वरित हुआ। उसी समय, कुछ भी जटिल नहीं किया जाना था, अर्थात्, रूबी-कोड में यह शाब्दिक रूप से दो पंक्तियाँ लेता है। तस्वीर में मैं एक उदाहरण बैश पर देता हूं ताकि इसे अन्य भाषाओं में आसानी से अनुवादित किया जा सके।

अगली चाल। एक भौंरा आवेदन है, यह बेथ के समान है, लेकिन थोड़ी अलग अवधारणा के साथ, बहुत अधिक दिलचस्प है। वहां आपको फेसबुक के जरिए लॉगइन करना होगा। हमारे सभी परीक्षणों में, चूंकि हम हर बार पूल से एक नए उपयोगकर्ता का उपयोग करते हैं, इसलिए हमें पिछले एक से लॉग आउट करना पड़ा। ऐसा करने के लिए, WebDriverAgent का उपयोग करते हुए, हमने सफारी खोला, फेसबुक पर गए, साइन आउट पर क्लिक किया। यह अच्छा लगता है, लेकिन प्रत्येक परीक्षण में लगभग एक मिनट लगता है। एक सौ परीक्षण। एक सौ अतिरिक्त मिनट।

इसके अलावा, फेसबुक कभी-कभी ए / बी परीक्षण करना पसंद करता है, इसलिए वे स्थानीय लोगों, बटन पर पाठ को बदल सकते हैं। अचानक, परीक्षणों का एक गुच्छा गिर जाएगा, और हर कोई बेहद दुखी होगा। इसलिए, fbsimctl के माध्यम से हम list_apps बनाते हैं, जो सभी अनुप्रयोगों को ढूंढता है।



मोबाइल खोजें:



और DataContainer के लिए एक रास्ता है, और यह कुकीज़ के साथ एक द्विआधारी फ़ाइल है:



हम इसे हटाते हैं - इसमें 20 ms लगते हैं। टेस्ट 100 मिनट तेजी से पास होने लगे, अधिक स्थिर हो गए, क्योंकि वे फेसबुक के कारण गिर नहीं सकते। तो कभी-कभी समानांतरकरण की आवश्यकता नहीं होती है। आप अनुकूलन के लिए स्थान पा सकते हैं, यह 100 मिनट के लिए आसान है, कुछ भी करने की आवश्यकता नहीं है। कोड में, ये दो लाइनें हैं।

अगला: हम सिमुलेटर चलाने के लिए मेजबान मशीन कैसे तैयार करते हैं।



पहले उदाहरण के साथ, ऐप्पियम लॉन्च करने वाले कई लोग हार्ड कीबोर्ड को अक्षम करने से परिचित हैं। सिमुलेटर में टेक्स्ट में प्रवेश करने पर कंप्यूटर पर हार्डवेयर कीबोर्ड को जोड़ने की आदत होती है, और वर्चुअल को पूरी तरह से छिपा देता है। और Appium पाठ दर्ज करने के लिए एक आभासी कीबोर्ड का उपयोग करता है। तदनुसार, इनपुट परीक्षणों के स्थानीय डिबग के बाद, कीबोर्ड की कमी के कारण अन्य परीक्षण विफल होना शुरू हो सकते हैं। इस कमांड से आप हार्ड कीबोर्ड को डिसेबल कर सकते हैं, और हम प्रत्येक टेस्ट नोड को उठाने से पहले ऐसा करते हैं।



अगला पैराग्राफ हमारे लिए अधिक प्रासंगिक है, क्योंकि एप्लिकेशन जियोलोकेशन-संबंधित है। और बहुत बार आपको परीक्षण चलाने की आवश्यकता होती है ताकि यह शुरू में अक्षम हो। आप लोकेशन में 3101 सेट कर सकते हैं। ऐसा क्यों? Apple के प्रलेखन में एक लेख हुआ करता था, लेकिन फिर उन्होंने इसे किसी कारण से हटा दिया। अब यह कोड में केवल एक जादू की जगह है जिसे हम सभी के लिए प्रार्थना करते हैं और आशा करते हैं कि यह नहीं टूटेगा। क्योंकि जैसे ही यह टूट जाएगा, सभी उपयोगकर्ता सैन फ्रांसिस्को में होंगे, क्योंकि लोड करते समय fbsimctl ऐसा स्थान डालता है। दूसरी ओर, हम आसानी से पता लगा लेंगे, क्योंकि हर कोई सैन फ्रांसिस्को में होगा।



अगला Chrome को अक्षम कर रहा है, सिम्युलेटर के चारों ओर एक फ्रेम जिसमें विभिन्न बटन हैं। ऑटोटेस्ट्स चलाते समय, इसकी आवश्यकता नहीं होती है। इससे पहले, इसे बंद करने से आपको बाएं से दाएं और अधिक सिमुलेटर लगाने की अनुमति मिलती है कि सब कुछ समानांतर में कैसे चलता है। अब हम ऐसा नहीं करते हैं, क्योंकि सब कुछ हेडलेस है। कितने लोग कार में नहीं जाते हैं, खुद सिमुलेटर दिखाई नहीं देंगे। यदि यह आवश्यक है, तो आप वांछित सिम्युलेटर से स्ट्रीम कर सकते हैं।



विभिन्न विकल्पों का एक सेट भी है जिसे आप चालू / बंद कर सकते हैं। इनमें से, मैं केवल SlowMotionAnimation का उल्लेख करूंगा, क्योंकि मेरे पास काम पर दूसरा या तीसरा दिन बहुत दिलचस्प था। मैंने परीक्षण चलाए, और वे सभी समय समाप्त होने लगे। उन्हें निरीक्षक में तत्व नहीं मिले, हालांकि वह था। यह पता चला कि उस समय मैंने एक नया टैब खोलने के लिए क्रोम शुरू किया, cmd + T दबाया। इस बिंदु पर, सिम्युलेटर सक्रिय हो गया और टीम को बाधित कर दिया। और उसके लिए, cmd + T एनीमेशन को डीबग करने के लिए 10 बार सभी एनिमेशन का मंदी है। यदि आप उन मशीनों पर परीक्षण चलाना चाहते हैं, जिन पर लोगों की पहुंच है, तो यह विकल्प भी स्वतः बंद हो जाना चाहिए, क्योंकि वे गलती से एनिमेशन को धीमा करके परीक्षण तोड़ सकते हैं।

शायद मेरे लिए सबसे दिलचस्प बात, क्योंकि मैंने ऐसा बहुत पहले नहीं किया था, इस सभी बुनियादी ढांचे का प्रबंधन है। 60 वर्चुअल होस्ट (वास्तव में 64 + 6 टीमसिटी एजेंट) कोई भी मैन्युअल रूप से रोल आउट नहीं करना चाहता है। हमें xcversion उपयोगिता मिली - अब यह फास्टलेन का हिस्सा है, एक रूबी रत्न जिसे कमांड लाइन उपयोगिता के रूप में इस्तेमाल किया जा सकता है: यह आंशिक रूप से Xcode की स्थापना को स्वचालित करता है। फिर हमने वांछित संस्करण के हर जगह fbsimctl को रोल करने के लिए Ansible, playbooks को लिखा, खुद डिवाइस सर्वर के लिए Xcode और परिनियोजित कॉन्फिगर किया। और सिमुलेटर को हटाने और अद्यतन करने के लिए Ansible। जब हम iOS 11 पर स्विच करते हैं, तो हम iOS 10 को छोड़ देते हैं। लेकिन जब परीक्षण दल कहता है कि यह iOS 10 पर स्वचालित परीक्षण को पूरी तरह से समाप्त कर देता है, तो हम बस Ansible से गुजरते हैं और पुराने सिमुलेटर को साफ करते हैं। अन्यथा, वे बहुत सारे डिस्क स्थान लेते हैं।



यह कैसे काम करता है? यदि आप बस xcversion लेते हैं और इसे प्रत्येक 60 मशीनों पर कॉल करते हैं, तो इसमें बहुत समय लगेगा, क्योंकि यह Apple वेबसाइट पर जाता है और सभी छवियों को डाउनलोड करता है। पार्क में मौजूद मशीनों को अपडेट करने के लिए, आपको एक काम करने वाली मशीन का चयन करने की आवश्यकता है, एक्सकोड के उस पर आवश्यक संस्करण के साथ xcversion स्थापित करें, लेकिन कुछ भी स्थापित न करें और न ही कुछ हटाएं। इंस्टॉलेशन पैकेज को कैश में डाउनलोड किया जाएगा। वही सिम्युलेटर के किसी भी संस्करण के लिए किया जा सकता है। स्थापना पैकेज ~ / लाइब्रेरी / कैश / XcodeInstall में रखा गया है। फिर आप सेफ के साथ सब कुछ लोड करते हैं, और अगर यह नहीं है, तो इस निर्देशिका में किसी प्रकार का वेब सर्वर शुरू करें। मैं पायथन के लिए उपयोग किया जाता हूं, इसलिए मैं मशीनों पर पायथन पायथन सर्वर चलाता हूं।



अब, डेवलपर या परीक्षक की किसी भी अन्य मशीन पर, आप xcversion को स्थापित कर सकते हैं और उठाए गए सर्वर के लिंक को निर्दिष्ट कर सकते हैं। यह निर्दिष्ट मशीन से xip डाउनलोड करेगा (यदि स्थानीय क्षेत्र नेटवर्क तेज है, तो यह लगभग तुरंत होगा), पैकेज को अनपैक करें, लाइसेंस की पुष्टि करें - सामान्य तौर पर, यह आपके लिए सब कुछ करेगा। एक पूरी तरह से काम करने वाला Xcode होगा जिसमें सिमुलेटर और टेस्ट चलाना संभव होगा। दुर्भाग्य से, हमने सिमुलेटरों के साथ ऐसा आसानी से नहीं किया है, इसलिए आपको कर्ल या वाइज़ करना होगा, उसी सर्वर से अपने स्थानीय मशीन में उसी निर्देशिका में एक पैकेज डाउनलोड करें, xcversion सिमुलेटर - स्थापना चलाएं। हमने इन कॉलों को Ansible स्क्रिप्ट के अंदर रखा और एक दिन में 60 मशीनों को अपडेट किया। मुख्य समय नेटवर्क फाइल कॉपी द्वारा लिया गया था। इसके अलावा, हम उस क्षण में आगे बढ़ रहे थे, यानी कुछ कारों को बंद कर दिया गया था। हमने उन कारों को पकड़ने के लिए दो या तीन बार अन्सिबल को फिर से शुरू किया जो इस कदम के दौरान अनुपस्थित थीं।

थोड़ा सा डिब्रीफिंग करते हैं। पहले भाग में: यह मुझे लगता है कि प्राथमिकताएँ महत्वपूर्ण हैं। यही है, सबसे पहले आपके पास परीक्षणों की स्थिरता और विश्वसनीयता होनी चाहिए, और फिर गति। यदि आप केवल गति का पीछा करते हैं, तो सब कुछ समानांतर करना शुरू करें, तो परीक्षण जल्दी से काम करेंगे, लेकिन कोई भी कभी भी उन्हें नहीं देखेगा, वे बस सब कुछ फिर से शुरू करेंगे जब तक कि सब कुछ अचानक से गुजरता नहीं है। या यहां तक ​​कि परीक्षण पर स्कोर करें और मास्टर को धक्का दें।

अगला बिंदु: स्वचालन एक ही विकास है, इसलिए आप केवल उन पैटर्नों को ले सकते हैं जो आपने पहले ही हमारे लिए सोचा था और उनका उपयोग करें। यदि अब आपका बुनियादी ढांचा परीक्षणों के साथ निकटता से जुड़ा हुआ है और स्केलिंग की योजना बनाई गई है, तो यह पहले विभाजित करने का एक अच्छा क्षण है, और फिर पैमाने पर है।

और अंतिम बिंदु: यदि कार्य परीक्षणों को गति देना है, तो पहली बात जो दिमाग में आती है वह है कि किसी कारक द्वारा इसे तेज करने के लिए अधिक सिमुलेटर जोड़ना। वास्तव में, बहुत बार आपको जोड़ने की आवश्यकता नहीं होती है, लेकिन कोड का सावधानीपूर्वक विश्लेषण करें और कुकीज़ के साथ उदाहरण में, कुछ पंक्तियों के साथ सब कुछ अनुकूलित करें। यह समानांतरीकरण से बेहतर है, क्योंकि कोड की दो पंक्तियों के साथ 100 मिनट बचाए गए थे, और समानांतरकरण के लिए आपको बहुत सारे कोड लिखने होंगे और फिर बुनियादी ढांचे के लोहे के हिस्से का समर्थन करना होगा। पैसे और संसाधनों के लिए यह बहुत अधिक खर्च करेगा।

जो लोग हाइजेनबग सम्मेलन से इस रिपोर्ट में रुचि रखते हैं, वे निम्न हेइज़ेनबग में भी रुचि ले सकते हैं: यह 6-7 दिसंबर को मॉस्को में आयोजित किया जाएगा, और सम्मेलन की वेबसाइट में पहले से ही कई रिपोर्टों का वर्णन है (और, वैसे, रिपोर्टों के लिए आवेदन की स्वीकृति अभी भी खुली है)।