एआई टेस्टिंग एंड स्टार्टअप: एडम कार्मि (अप्लाइट्स) के साथ साक्षात्कार

एक लोकप्रिय वाक्यांश है "अपनी खुद की खुजली खरोंचें": यदि आप एक नया उत्पाद बनाना चाहते हैं, तो एक ऐसा काम करें जिसमें आप खुद की कमी रखते हैं। इस मामले में, आप सबसे अच्छा समझते हैं कि यह कैसे करना है।

एडम कार्मे को एक दृश्य परीक्षण उपकरण की कमी के बारे में पता था जो लोगों को यात्रा लेआउट की तलाश में उनकी आंखों को नहीं तोड़ने में मदद करेगा। और अंत में, उन्होंने इस तरह के एक उपकरण का निर्माण किया, इसके लिए AI को आदत डाल दी, और Applitools के सह-संस्थापकों में से एक बन गए। यह एक सपने की नौकरी की तरह लगता है: जब आप जानते हैं कि दर्द के साथ संघर्ष करते हैं, तो आपको लगता है कि आप दुनिया को बेहतर के लिए बदल रहे हैं। लेकिन जब एक पूरी कंपनी का भाग्य उस पर निर्भर करता है, तो आईटी विशेषज्ञ को किन कठिनाइयों का सामना करना पड़ता है?

और चूंकि एप्लाइट्स टूल को भी खुद को जांचने की आवश्यकता है, इसलिए एडम ने एआई के साथ परीक्षण परियोजनाओं के बारे में बहुत कुछ सीखा। कल हाइजेनबग में वह बात करेंगे कि यह कैसे करना है, और उनकी रिपोर्ट को लाइव प्रसारित किया जाएगा - ताकि हर कोई इसे लाइव देख सके। इस बीच, हमने उनसे दोनों विषयों के बारे में पूछा: एक कंपनी बनाने में कैसा लगता है, और परीक्षण और एआई से संबंधित चीजें।

स्टार्टअप लाइफ

एवगेनी ट्रिफोनोव ( फिलिनियम ): आप कई वर्षों से एक कर्मचारी थे, और फिर आपने एक स्टार्टअप बनाने का फैसला किया। यह कैसे हुआ और क्या प्रेरणा थी?

एडम: मेरी पिछली नौकरी एक सूचना सुरक्षा कंपनी थी। मैंने वहां 8 साल काम किया। मुझे लगता है कि आप कल्पना कर सकते हैं कि एक सुरक्षा उत्पाद में कितने UI हैं। बड़ी संख्या में लॉग, चार्ट, ग्राफ़, क्वेरी और अलर्ट। और इस सब के आसपास यूआईओबी का एक बहुत कुछ था।

सब कुछ इस तथ्य से जटिल था कि इस यूआई को 6 भाषाओं में अनुवादित किया गया था और पांच अलग-अलग ब्रांडों के तहत आपूर्ति की गई थी। सभी रूपों में शुरू से अंत तक इसे मैन्युअल रूप से परीक्षण करने के लिए, इसमें लगभग एक सप्ताह का समय लगा। ऐसे 20 परीक्षक थे जिन्होंने हर पुनरावृत्ति को अंजाम दिया। यही है, अगर एक रिलीज के लिए कई पुनरावृत्तियों की आवश्यकता होती है, तो इसके लिए कम से कम 2-3 महीने के रिलीज चक्र की आवश्यकता होती है।

इसलिए, उन वर्षों में जब मैंने वहां काम किया, मेरे पास इस समस्या के समाधान की कमी थी। बेशक, हम स्वचालन में लगे हुए थे। सेलेनियम तब भी एक युवा उत्पाद था, हमने इसका इस्तेमाल किया, लेकिन इसने यूआई को कवर नहीं किया। मैंने लगातार समय (एचपी, माइक्रोसॉफ्ट और आईबीएम) के विक्रेताओं को समस्या बताई और समाधान के लिए कहा। उत्तर हमेशा एक रहा है: यह असंभव है। यह सत्यापित करने के लिए कि इंटरफ़ेस जैसा दिखता है, बल्कि ("जैसा होना चाहिए" वैसे ही कार्य करना चाहिए), मैन्युअल परीक्षकों की हमेशा आवश्यकता होगी।

वर्षों तक इस जवाब को सुनकर, मैंने अपनी टीम के लिए इस तरह के एक उपकरण को एक साइड प्रोजेक्ट के रूप में शामिल करने का फैसला किया। मैं 10 साल की उम्र से कोड लिख रहा हूं, मुझे वास्तव में यह पसंद है, मैं इसे कर सकता हूं। और इसलिए, जब मैंने एक बड़ी टीम का नेतृत्व किया, तो मेरे पास हमेशा पालतू परियोजनाएं थीं: मैंने अपने बच्चों के लिए खेल लिखा, फिर मैंने सिर्फ दिलचस्प चीजों के बारे में गड़बड़ कर दी। और मैं वास्तव में इस समस्या को हल करना चाहता था। मैंने तुरंत देखा कि यह कितना मुश्किल था, लेकिन इसने मुझे केवल कड़ी मेहनत करने और निर्णय लेने के लिए प्रेरित किया।

लगभग एक साल के काम में, मैंने नींव रखने में कामयाबी हासिल की। और इस समय तक, मैंने जिस कंपनी में काम किया था, उसे दूसरे द्वारा खरीदा गया था। और मैंने दूसरे के पास जाने के बजाय अपने स्वयं के व्यवसाय के बारे में जाने का फैसला किया।

सामान्य तौर पर, मेरी प्रेरणा ऐसी चीज पर काम करना था जो मुझे तकनीकी स्तर पर दिलचस्पी लेती थी। एक महान व्यवसायी बनने की मेरी कोई महत्वाकांक्षा नहीं थी। यह सिर्फ मुझे मोहित करने पर काम करने में सक्षम होने की बात थी।

यूजीन: जब आईटी लोगों ने कंपनियों को पाया, तो अक्सर यह तकनीकी समस्या नहीं है जो समस्या है, लेकिन व्यापार पक्ष। आपको प्रबंधकीय पदों पर अनुभव था - इससे कितनी मदद मिली? क्या आप अपनी कंपनी स्थापित करने से पहले इसे प्राप्त करने की सलाह देते हैं?

एडम: के साथ शुरू करने के लिए, मैं यह नोट करना चाहता हूं कि किसी को व्यवसाय के साथ प्रबंधन के अनुभव को भ्रमित नहीं करना चाहिए। ये बहुत अलग चीजें हैं।

टेक्नी होना एक अलग कौशल है। आप प्रतिभाशाली लोगों को आकर्षित करते हैं, उन्हें कड़ी मेहनत करने के लिए प्रेरित करते हैं, सुनिश्चित करें कि वे आपकी टीम में कई सालों तक बने रहें और काम उन्हें लुभाए। मेरा मानना ​​है कि यह काफी हद तक एक अच्छा इंजीनियर होने के कारण है, और व्यवसाय से संबंधित नहीं है।

ऐसे लोग हैं जो मानते हैं: चूंकि मैं एक स्टार्टअप बना रहा हूं, तो मैं सीईओ बनूंगा। मैं खुद सब कुछ जानता हूं, कोई भी मेरा सलाहकार नहीं है। बहुत से लोग सोचते हैं और असफल होते हैं। यहां तक ​​कि जो बहुत अच्छे सीईओ बन गए हैं। आप इस तरह से कोई भी गलती कर सकते हैं।

मेरी स्थिति बिल्कुल अलग थी। मैंने तुरंत कहा कि मुझे नहीं पता कि सीईओ कैसे बनना है। इसलिए, मैंने कहा: चलो कोई है जो पहले से ही जानता है कि क्या करना है और इस मामले में प्रासंगिक अनुभव किसके पास है। और उसे सीईओ होने दें, और मैं तकनीकी घटक के लिए जिम्मेदार हूं।

यह इस बात की गारंटी नहीं देता है कि इस मामले में सब कुछ बदल जाएगा, लेकिन कम से कम मैं उन गलतियों को करने में समय बर्बाद नहीं करूंगा जो एक अनुभवी व्यक्ति ऐसा करने से पूरी तरह से बचा जा सकता है।

8 साल तक काम करने वाली कंपनी को निगलने से पहले, हमारे सीईओ ने मुझे इस बारे में बताने के लिए कहा, हमने भविष्य के लिए योजनाओं के बारे में सोचना शुरू किया, और मैंने उन्हें बताया कि मैं उस समय क्या काम कर रहा था। उन्होंने तुरंत दिलचस्पी ली, स्थिति की ठीक से जांच की, मेरे साथ जुड़ने का फैसला किया, और तब से हम दोनों एप्लाइट्स में काम करते हैं।

मैं दोहराता हूं, मेरा मानना ​​है कि एक इंजीनियर स्टार्टअप के लिए सबसे अच्छा विकल्प नहीं है। संभावना आपकी तरफ नहीं है। यह किसी को खोजने के लायक है जो जानता है कि वह क्या कर रहा है। इससे सफलता की संभावना बढ़ जाएगी, हालांकि यह कुछ भी गारंटी नहीं देता है।

यूजीन: समझ गया। और इस स्थिति में, जब जटिल व्यावसायिक कार्य किसी अन्य व्यक्ति पर थे, तो आपके लिए सबसे अधिक पसीना आने वाली चीज क्या है?

एडम: इससे मुझे पसीना आ गया ... मैं Applitools के लिए विशिष्ट कठिनाइयों के बारे में विस्तार से नहीं जाना चाहता। मुझे लगता है कि यह बहुत अच्छा है कि नवोदित उद्यमी बहुत भोले होते हैं। बेशक, यह एक ऐसा क्लिच है जिसे हर कोई दोहराता है, लेकिन जब तक आप खुद ऐसा नहीं करते, तब तक आप उस दबाव, अनिश्चितता, मनोवैज्ञानिक उतार-चढ़ाव की कल्पना भी नहीं कर सकते जो आप कंपनी के साथ करते हैं। उसी दिन ऐसा लग सकता है कि आप दुनिया पर विजय प्राप्त कर लेंगे और आपको सभी को आग लगाना होगा। इसके अनुकूल होने में समय लगता है और चीजों को परिप्रेक्ष्य में देखना शुरू करते हैं। यह बहुत मुश्किल है।

खैर, सामान्य कठिनाइयां हैं - उत्पाद को ठीक से काम करने के लिए, इंजीनियरिंग घटक से निपटने के लिए, कड़ी मेहनत करना।

मिखाइल ड्रुझिनिन ( xomyakus ): ऐसा लगता है जैसे विकास एक साधारण हिस्सा है। वह कम से कम पूर्वानुमानित है।

एडम: बिल्कुल।

किसी स्टार्टअप के जीवन के पहले भाग के दौरान, जब यह स्पष्ट नहीं होता है कि वह जीवित रहेगा, तो अपने आप को ऐसी स्थिति में खोजना आसान नहीं है, जहां आप पाते हैं कि आपके पास अब पैसा नहीं है। आप पहले से ही कर्मचारियों को वेतन देने के लिए अपनी व्यक्तिगत बचत में चढ़ जाते हैं। जिन्हें आपने पहले अपने करिश्मे की मदद से अपने स्थानों को छोड़ने और आपके लिए कम वेतन के लिए काम करने के लिए राजी किया था क्योंकि वे आप पर विश्वास करते हैं।

लेकिन यहां तक ​​कि जब आपने उत्तरजीविता मोड छोड़ा, तो आपके पास एक उत्कृष्ट उत्पाद और ग्राहक हैं, यदि आपने धन जुटाया है, तो आपके पास ऐसे निवेशक हैं जो आपके निवेश से लाभ की प्रतीक्षा करेंगे। अब बहुत अधिक गति से बढ़ने और विकसित होने के लिए लगातार दबाव है, और इसके लिए रचनात्मक दृष्टिकोण और बहुत काम करने की आवश्यकता है, क्योंकि आपको इस वृद्धि से निपटना होगा।

मान लीजिए कि आपकी बिक्री प्रति वर्ष X मिलियन की है, और आप सफलता में आनन्दित हैं। लेकिन अगले साल आपको दोगुना बेचना होगा, यह कैसे करना है?

माइकल: आपने रचनात्मकता के बारे में कहा, इसका वास्तव में क्या मतलब है?

एडम: आमतौर पर आप सोचते हैं: मैंने एक महान उत्पाद बनाया, अब पूरी दुनिया इसका उपयोग करेगी।

वास्तविकता यह है कि दुनिया वास्तव में बहुत व्यस्त है। दुनिया को आपके अस्तित्व के बारे में कोई पता नहीं है। दुनिया में हमेशा 10 अलग-अलग चीजें होती हैं, और आप इस सूची में शामिल नहीं होंगे। और आपके पास आपके बारे में जानने के लिए ज्यादा पैसे नहीं हैं। पैसा विज्ञापन, सम्मेलन, वेबिनार, व्यक्तिगत बिक्री का बजट है। यह सब सिर्फ एक पैसे की लागत है।

और यहाँ रचनात्मकता का मतलब रूढ़ियों से परे सोचना और उन दृष्टिकोणों का उपयोग करना है जिनके लिए बहुत कम धन और संसाधनों की आवश्यकता होती है। Applitools ऐसा कर सकते हैं, यह हमें हर साल एक नई ऊंचाई लेने की अनुमति देता है। लेकिन हर बार हमें इससे आगे जाना होगा।

माइकल: बिल्कुल, आपको अधिक मोटे तौर पर सोचने की जरूरत है। मुझे लगता है कि कई डेवलपर्स और परीक्षक बहुत सीधे तौर पर सोचते हैं, वे समस्या का केवल एक समाधान देखते हैं। परीक्षण के लिए पांच महीने और बहुत सारे संसाधन लगते हैं। फिर उन्हें बताया जाता है: तुम्हें पता है, केवल एक महीना बचा है, और फिर हम सब मर जाएंगे। यहीं से शुरू होती है रचनात्मकता!

एडम: हाँ, बिल्कुल। रचनात्मकता भी है, जो उत्पाद की चिंता करती है: आपको हमेशा संयम रखने की जरूरत है, कुछ चीजों को तेजी से और अधिक कुशलता से करें। यह बिना कहे चला जाता है।

यूजीन: विकास के विषय पर लौटते हुए: आज कितने लोग Applitools में काम करते हैं, और यह संख्या कितनी तेजी से बढ़ रही है?

एडम: 110 लोग आज काम करते हैं। और 2018 की शुरुआत में, हम में से लगभग 20 लोग थे। विकास तेजी से हुआ, एक दो साल में पांच बार।

यूजीन: प्रभावशाली, हाँ। लेकिन कंपनी के कल्चर को बनाए रखने के लिए कई नए लोगों के आने पर क्या विकास दर इतनी मुश्किल थी?

एडम: बहुत अच्छा सवाल। अपने अनुभव से, मुझे एहसास हुआ कि एक अच्छी तरह से परिभाषित कंपनी संस्कृति कितनी महत्वपूर्ण है। ऐसा लगता है कि मैं अब इस विषय पर पूरी रिपोर्ट बना सकता हूं।

शुरू करने के लिए, इसराइल में कॉर्पोरेट संस्कृति की अवधारणा बहुत विकसित नहीं है। यदि कोई ऐसा करने की कोशिश कर रहा है, तो लोगों की प्रतिक्रिया "ओह, यह कॉर्पोरेट बकवास है"।

और हमारे लिए यह एक शुरुआती बिंदु बन गया है। मैंने आर एंड डी प्रबंधक के रूप में अप्लाइटल्स के साथ क्या करने का फैसला किया? अन्य कंपनियों में अपने अनुभव को देखते हुए, मैं एक प्रयोग करना चाहता था: सामान्य तौर पर, मुझे लोगों को भर्ती करते समय बार को कम करने की अनुमति नहीं होगी, बस उत्कृष्ट विशेषज्ञ और वह सब लें। कोई समझौता नहीं। यह बहुत मुश्किल था।

बेशक, पहले कर्मचारी वे हैं, जिन्हें आप व्यक्तिगत रूप से जानते हैं और जिन्हें आपने जाना है। लेकिन इसके बाद इसे उगाना बहुत मुश्किल हो जाता है। कभी-कभी सही कर्मचारी खोजने में हमें 6-8 महीने लग जाते हैं।

लेकिन समय के साथ, यह आसान हो जाता है, क्योंकि आपकी टीम में पहले से ही बहुत मजबूत विशेषज्ञ हैं, और वे अन्य प्रतिभाशाली लोगों को जानते हैं। और जब ये प्रतिभाशाली लोग काम की तलाश शुरू करते हैं, तो वे आपकी कंपनी के कर्मचारियों के नाम देखते हैं - और अंतर्राष्ट्रीय सम्मेलनों के ठोस वक्ता होते हैं, जो स्थानीय समुदाय में प्रसिद्ध हैं। और फिर यह आसान हो जाता है: वे किसी बड़ी कंपनी की तुलना में आपके पास जाने में अधिक रुचि रखते हैं।

इसने हमें एक अनूठी विकास प्रक्रिया बनाने की अनुमति दी, जो एक प्रक्रिया को कॉल करना और भी मुश्किल है। हमारे प्रत्येक डेवलपर्स के पास हर चीज के लिए एक जिम्मेदारी है। हमारे पास स्प्रिंट्स, नियोजित रिलीज़ नहीं हैं, हमें पूर्ण विनिर्देश प्रदान करने के लिए उत्पाद टीम की आवश्यकता भी नहीं है।

यह पर्याप्त है कि आपके पास एक विचार है, और आप इसके कार्यान्वयन के लिए जिम्मेदार हैं। आप स्वयं अपनी जरूरत की जानकारी की तलाश में हैं, आप स्वयं ही लोगों की तलाश में हैं। यदि आप कुछ करना नहीं जानते हैं, तो आप इसे कैसे करना है, यह सीखने के लिए जिम्मेदार हैं।

इसलिए हम कुछ खास बनाने में कामयाब रहे। और जब हमने बड़ी मात्रा में निवेश को आकर्षित किया और यह जान लिया कि हम बढ़ेंगे, तो मैं इसके बारे में बहुत चिंतित था। हमारी विशिष्टता को कैसे संरक्षित करें, और विकास के दौरान इसे नष्ट न करें, जब इंजीनियरिंग टीम ट्रिपल?

निर्णय इस प्रक्रिया को ठीक करने और संस्कृति को स्पष्ट रूप से परिभाषित करने के लिए था।

मैंने एक बहुत ही अच्छे एचआर को काम पर रखा है, जिन्होंने ड्रॉपबॉक्स के लिए काम किया है। वास्तव में, उसने पूरी ड्रॉपबॉक्स टीम को इकट्ठा किया, और अब इसे दुनिया में काम करने के लिए सबसे अच्छी जगहों में से एक माना जाता है। वह बहुत अनुभवी है। हम बस बैठ गए और अपनी नई संस्कृति का मसौदा लिखना शुरू कर दिया।

हमने टाइमलिड्स के लिए अपनी उपलब्धियों को प्रस्तुत किया, जिन्होंने इस सब को पूरी तरह से खारिज कर दिया। और उन्हें बहुत गुस्सा आया। और फिर संवाद शुरू हुआ। बड़ी संख्या में प्रतिक्रिया के साथ चर्चा की प्रक्रिया में, हम यह बनाने में सक्षम थे कि हमारी कंपनी में काम करने का क्या मतलब है। हमें उन मूल्यों की एक सूची मिली, जिनके साथ टीम के सभी नेता सहमत थे।

इसमें कई महीने लग गए, लेकिन अंत में, जब हमने पूरी टीम को परिणाम प्रस्तुत किया, तो लोगों ने तुरंत इसे उठाया। उन्होंने तुरंत महसूस किया कि शब्द वास्तव में व्यक्त करते हैं कि हमारी कंपनी में काम करना इतना रोमांचक क्यों है। इस बार हमें शानदार प्रतिक्रिया मिली।

अब हम धार्मिक रूप से इन मूल्यों की रक्षा करते हैं और सुनिश्चित करते हैं कि राज्य का विस्तार करते समय, उनके साथ कोई टकराव न हो। यह निर्णय लेने और वातावरण को बनाए रखने में हमारी मदद करता है, और मुझे आशा है कि भविष्य में भी यह मदद करता रहेगा।

यूजीन: Applitools के बारे में एक और दिलचस्प विवरण: आपका मुख्यालय सिलिकॉन वैली में है, लेकिन आर एंड डी इजरायल में है। क्या आप बता सकते हैं कि ऐसा क्यों है?

एडम: सबसे पहले, जब आप एक कंपनी शुरू करते हैं, तो सबसे पहले आप घर से काम करते हैं, अपने घर के पास एक कैफे से या यात्रा करते हैं।

मेरी कंपनी की स्थापना और विकास इज़राइल में हुआ, क्योंकि वहाँ आईटी बहुत है। और सिर्फ इज़राइल में हमारी गतिविधि के कारण, हम दुनिया के बाकी हिस्सों में फैलने में कामयाब रहे। जब एक बड़ी कंपनी की इज़राइल में एक टीम होती है, और वे इस टीम में किसी प्रकार के टूल का उपयोग करते हैं, परिणामस्वरूप, इस कंपनी की अन्य टीमों (संयुक्त राज्य अमेरिका, ग्रेट ब्रिटेन, कहीं और) में इसे देखते हैं। और यदि आप इस उपकरण को करते हैं, तो आपके उत्पाद में अचानक विदेशी ग्राहक हैं, हालांकि आप विदेश में विपणन या बिक्री में नहीं लगे हैं।

लेकिन कुछ बिंदु से आप अपने ग्राहकों के करीब होना चाहते हैं। और एक कंपनी के रूप में जो निवेश को आकर्षित करती है, आप उन निवेशकों के करीब रहना चाहते हैं, जिनके पास उचित राशि है। इज़राइली फंड मुख्य रूप से शुरुआती चरण में स्टार्टअप के साथ काम करते हैं, इसलिए उनसे बड़ी मात्रा में प्राप्त करना अधिक कठिन है। या उनका निवेश कम उपयोगी है, क्योंकि उनके पास संयुक्त राज्य अमेरिका से उद्यम निधि के रूप में ऐसे कनेक्शन नहीं हैं। इन लोगों के करीब रहना और उनके साथ संबंध बनाए रखना मददगार होता है। आखिरकार, मैं एक ऐसी स्थिति में रहना चाहता हूं, जहां निवेशक आप में निवेश करना चाहते हैं और आपकी ओर रुख करना चाहते हैं (और आप पैसे स्वीकार करने के लिए सहमत हैं या नहीं), और न कि आप उनके बाद चल रहे हैं।

मैं भी ग्राहक के करीब होना चाहता हूं, और हमारे पास पहले से ही दर्जनों बिक्री प्रबंधक हैं। संयुक्त राज्य अमेरिका के किस क्षेत्र में व्यापार हमारे साथ सबसे अधिक सक्रिय रूप से जा सकता है? इन कर्मचारियों के लिए हमारा कार्यालय वहाँ स्थित है, और यह निवेशकों के बगल में स्थित मुख्यालय भी है।

और इज़राइल में आर एंड डी शुरू होता है। यहां उत्कृष्ट विशेषज्ञ हैं, और साथ ही यहां इंजीनियरों की एक टीम रखना सिलिकॉन वैली की तुलना में बहुत सस्ता है, और प्रतिभा के लिए प्रतिस्पर्धा इतनी अधिक नहीं है। इन सभी कारणों से, मैं इज़राइल में यहां रहकर, इजरायली कार्यालय के प्रमुख के रूप में प्रसन्न हूं। यह मेरे और कंपनी के लिए अच्छा है। और मेरे दो साथी अब लगभग चार साल से सैन फ्रांसिस्को में हैं।

माइकल: और भर्ती करते समय आपके द्वारा उल्लिखित उच्च बार के अलावा, क्या आप गुणवत्ता के स्तर को तेजी से बढ़ने से रोकने के लिए किसी अन्य चाल का उपयोग करते हैं?

एडम: मैं आपको बता सकता हूं कि मैं अब क्या कर रहा हूं (शायद यह भविष्य में बदल जाएगा)।

मेरा दृढ़ विश्वास है कि एक अच्छा डेवलपर वास्तव में काम करने वाला सॉफ्टवेयर बनाता है। वह ऐसे सॉफ़्टवेयर नहीं बनाता है जिसके साथ वह पहले ही समाप्त हो चुका है, लेकिन दूसरों को अभी भी इसका परीक्षण करने की आवश्यकता है। यह वास्तव में काम करना उसका काम है। मुझे परवाह नहीं है कि वह यह कैसे करता है। इससे कोई फर्क नहीं पड़ता कि वह हर बार मैन्युअल रूप से सब कुछ परीक्षण करता है या परीक्षण को स्वचालित करता है। मैं वास्तव में परवाह नहीं है। लेकिन यह उसका काम है और उसका काम है।

सामान्य तौर पर, एल्गोरिदम और बैकएंड लिखने वाले लोग इस स्थिति से अधिक संतुष्ट होते हैं। लेकिन फ्रंट-एंड बहुत खुश नहीं है, क्योंकि यूआई का परीक्षण यूनिट परीक्षणों के साथ एपीआई की तुलना में बहुत अधिक कठिन है।

इस सब के साथ एक समस्या है। बेशक, आपके पास सबसे अधिक संभावना एक डेवलपर हो सकती है जो समझता है कि उसे वह सब कुछ परीक्षण करना होगा जो वह लिखता है। वह जानता है कि यह उसका काम है, और इसके लिए सहमत है। लेकिन जब आप पूछते हैं, "क्या सब कुछ अच्छी तरह से परीक्षण किया गया है?" उसने कुछ किया, लेकिन जो होना चाहिए था, उसका 50% हो सकता है, और उसने खुद को एक नोटबुक में लिखा था "रिहाई के बाद इस पर वापस लौटना जरूरी होगा"।

और यहां तक ​​कि एक कोड समीक्षा हमें क्या हो रहा है की पूरी तस्वीर नहीं देगी, क्योंकि कोड समीक्षा करने वाले कर्मचारी भी व्यस्त थे। वह कहता है कि कुछ परीक्षण थे, और उसने उनमें से कुछ को देखा - सब कुछ ठीक है, चलो आगे बढ़ते हैं।

यही कारण है कि मेरे पास एक गुणवत्ता निर्देशक है (क्यूए नहीं)।

उसकी अपनी टीम है। कंपनी पर उनका लक्ष्य यह सुनिश्चित करना है कि सब कुछ परीक्षण किया गया है और डेवलपर्स ने वास्तव में सब कुछ कवर किया है। सीधे शब्दों में कहें, गुणवत्ता के बारे में सब कुछ परीक्षण किया जाना चाहिए। गुणवत्ता निर्देशक के पास बहुत अधिक अधिकार और स्वतंत्रता है। अगर वह मुझसे कहता है कि कुछ पर्याप्त नहीं है, तो हम कुछ भी नहीं करेंगे, जब तक हम इसका पता नहीं लगा लेते।

उनकी टीम भी विकास टीम को अंतराल में भरने में मदद करती है। कभी-कभी समस्याओं को पूर्वव्यापी रूप से खोजा जाता है जब संबंधित टीम कुछ विशेषताओं में व्यस्त होती है और उनके पास स्विच करने का समय नहीं होता है - तब गुणवत्ता निदेशक की टीम इन कार्यों को ले सकती है।

और फिर भी यह टीम विभिन्न टीमों और उत्पादों को प्रभावित करने वाले एंड-टू-एंड परीक्षण के लिए जिम्मेदार है। यह एक ऐसा क्षेत्र है जो इंजीनियरिंग टीमों के लिए अच्छी तरह से कवर करना मुश्किल है: वे यह पता लगा सकते हैं कि वे अपने लिए क्या जिम्मेदार हैं, लेकिन जब कोई चीज एक साथ कई टीमों या उत्पादों को प्रभावित करती है, तो यह उम्मीद करना मुश्किल है कि उनमें से एक इस के साथ सामना करेगा और जवाब देने का उपक्रम करेगा। हर चीज के लिए। यह उस तरह से काम नहीं करेगा इसलिए, गुणवत्ता निदेशक ऐसे जटिल परीक्षणों के लिए जिम्मेदार है। वह आ सकता है और मुझे बता सकता है "मुझे इसके लिए इंजीनियरिंग संसाधनों की आवश्यकता है," क्योंकि परीक्षण के कुछ हिस्से के लिए वह उनके पास नहीं हो सकता है।

यह सामान्य रूप से कैसे काम करता है, हालांकि इसके पहलू हैं। जब आप पांच लोगों की कंपनी में काम करते हैं, तो उन्हें कोई फर्क नहीं पड़ता है, लेकिन जब आपके पास दुनिया के दूसरे हिस्से में एक कार्यालय होता है, और समर्थन होता है, तो प्रत्येक रिलीज के संबंध में बहुत सारे संचार अचानक उत्पन्न होते हैं। यदि कुछ काम नहीं करता है जैसा कि होना चाहिए, या यदि कुछ नया दिखाई देता है, तो ग्राहक समर्थन प्रश्न पूछना शुरू करते हैं। और अगर वे अच्छी तरह से नहीं जानते कि क्या बदल गया है, तो वे अच्छी तरह से प्रतिक्रिया नहीं दे पाएंगे।

इसलिए प्रयास का हिस्सा संचार बनाने के लिए समर्पित है: बहुत जानकारीपूर्ण रिपोर्टें जो परिवर्तनों के बारे में सभी मुख्य सवालों का जवाब देती हैं, और मुझे यह भी दिखाती हैं कि सब कुछ परीक्षण किया गया है। अगर सब कुछ नहीं है, तो अंतराल कहां हैं? और ऐसी सामान्य रिपोर्टों के लिए, गुणवत्ता टीम भी जिम्मेदार है, जिससे यह सुनिश्चित हो जाता है कि हर कोई जानता है कि क्या हो रहा है। यह कंपनी को उच्च गुणवत्ता की भावना प्रदान करता है - न कि केवल परीक्षण और कवरेज के संदर्भ में।

माइकल: आप एक परीक्षण उपकरण बनाते हैं, लेकिन आप स्वयं इस उपकरण का परीक्षण कैसे करते हैं? Applitools का परीक्षण कैसे किया जाता है?

एडम: एप्लाइटसूल में सभी दृश्य परीक्षण और कार्यात्मक यूआई परीक्षण दोनों को एप्लाइटिस का उपयोग करके किया जाता है। बेशक, कुछ ऐसा है जो मैन्युअल रूप से परीक्षण किया जाता है, और यह UI के माध्यम से परीक्षण करने के लिए कोई मतलब नहीं है और एपीआई के माध्यम से कवर किया गया है। लेकिन दृश्य घटक के साथ, हमारे पास ठोस डॉगफूड है।

हम इसे दिन में कई बार जारी करेंगे, लेकिन हम ऐसा नहीं कर सकते हैं ताकि उपयोगकर्ता परिवर्तनों को देख सके। विकास टीम को उचित समर्थन अधिसूचना प्रक्रिया के माध्यम से जाने के बिना उपयोगकर्ता इंटरफ़ेस को नहीं बदलना चाहिए ताकि उन्हें पता हो कि प्रश्नों का उत्तर कैसे देना है।

इसलिए, यह आमतौर पर इस तरह से होता है: यदि यूआई बदलता है, तो इन परिवर्तनों को एक अलग शाखा में विकसित किया जाता है या एक ध्वज द्वारा नकाब लगाया जाता है, लेकिन बैकएंड परिवर्तन दिन में कई बार डाला जाता है। हमारे पास यूआई में दिखाई देने वाली बड़ी विशेषताओं के साथ आवधिक रिलीज़ हैं। हमारे पास परिवर्तनों के लिए ग्राहकों को तैयार करने के लिए एक रोडमैप भी है, हम सभी परिवर्तनों के लिए एक मैपिंग अभियान और लेखन दस्तावेज विकसित कर रहे हैं।

और इस प्रक्रिया का हिस्सा - बड़ी रिलीज से पहले, ऑटोटेस्ट के अलावा, हम मैन्युअल रूप से सब कुछ का परीक्षण करते हैं, और हम सक्रिय रूप से शोध परीक्षण का भी सहारा लेते हैं। रिलीज से पहले हफ्ते में, हम समर्थन के लिए अंतिम संस्करण देते हैं, उन्हें परिवर्तनों का उपयोग करना सिखाया जाता है। जब वे सब कुछ स्वयं करने की कोशिश करते हैं, तो वे परिवर्तनों के बारे में सब कुछ जानते हैं।

यह पूरी तथाकथित प्रक्रिया है। बेशक, कुछ भाग हैं जब यूआई को मैन्युअल रूप से परीक्षण किया जाता है, हालांकि मूल रूप से यह सभी स्वचालित परीक्षण है।

मैं वास्तव में पसंद करता हूं (और कंपनियां, मुझे लगता है, भी) कि हम सक्रिय रूप से अपने स्वयं के उत्पाद का उपयोग करते हैं। हमारी टीम में से प्रत्येक किसी भी तकनीक का चयन कर सकता है, लेकिन फिर भी हमारे अपने पसंद करते हैं। यह महसूस करना भी बहुत अच्छा है कि आप कुछ ऐसा कर रहे हैं जिसका उपयोग पूरी दुनिया कर रही है - Apple, Netflix, Dropbox, IBM जैसी कंपनियाँ।

परीक्षण और ए.आई.

यूजीन: चूंकि यह परीक्षण करने के लिए आया था, इसलिए अपनी रिपोर्ट पर चलते हैं। इसे "एआई और परीक्षण" कहा जाता है, और इसकी व्याख्या अलग-अलग तरीकों से की जा सकती है: दोनों के रूप में "चलो एआई की मदद से कुछ परीक्षण करें", और "आइए खुद एआई का परीक्षण करें।" आइए सबसे पहले AI को डॉट करें: क्या बात है?

: — , AI. - AI, ? , — , , .

, — , AI. 80% , AI.

: «I» , . ?

: .

« , , , ». , AI . , , . .

, . , .

, — . , . , . , , .

AI . AI — , , , .

: AI AI?

: . Applitools Applitools, , AI-. , - AI AI.

, , « ». , , « ».

— , . — , , , .

: , Applitools, AI - — , ?

: . AI «» . , AI . , — :

• AI. यह बहुत महत्वपूर्ण है।
• AI, , AI
• AI , -

— «self-healing tests». , UI , «», .

AI? . : , .

: , , . - — , . . - , , — «». , UI , , .

: , , , AI.

, , AI. , ! .

, , , , . - , . , , . , .

: . , - , . « », . «, , , - ».

: . . , , . , . , , . , . , , . , ?

, . , . , : 100%, . . , .

: Heisenbug , . , , ?

: . , , . , . , , .

, . . , , , , . . . , - , . क्यों? .

: . ?

: . , .

, . , - , . , — , , , , .

, . . , , , . , , .

, . , , . .

Heisenbug, 5 . Heisenbug , . , Heisenbug , , ( , ).