अर्बन टेक चैलेंज हैकथॉन में हमने बिग डेटा ट्रैक कैसे और क्यों जीता

मेरा नाम दिमित्री है। और मैं इस बारे में बात करना चाहता हूं कि हमारी टीम बिग डेटा ट्रैक पर अर्बन टेक चैलेंज हैकथॉन के फाइनल में कैसे पहुंची। मुझे तुरंत कहना होगा कि यह पहला हैकथॉन नहीं है जिसमें मैंने भाग लिया था, और न कि पहला जिसमें मैंने पुरस्कार जीते हैं। इस संबंध में, अपनी कहानी में, मैं हैकाथॉन उद्योग के संबंध में कुछ सामान्य टिप्पणियों और निष्कर्षों को आवाज देना चाहता हूं, और अर्बन टेक चैलेंज के अंत के तुरंत बाद नेटवर्क पर दिखाई देने वाली नकारात्मक समीक्षाओं के विपरीत अपनी बात देना चाहता हूं (उदाहरण के लिए यह एक )।

तो, पहले, कुछ सामान्य अवलोकन।

1. यह आश्चर्य की बात है कि काफी कम लोग भोलेपन से सोचते हैं कि एक हैकथॉन एक तरह का खेल आयोजन है, जिसमें सबसे अच्छा कोडर्स जीतते हैं। ऐसा नहीं है। मैं उन मामलों पर विचार नहीं करता जब हैकाथॉन के आयोजक खुद नहीं जानते कि वे क्या चाहते हैं (मैंने यह भी देखा)। लेकिन, एक नियम के रूप में, हैकथॉन की व्यवस्था करने वाली कंपनी अपने लक्ष्यों का पीछा करती है। उनकी सूची अलग हो सकती है: यह कुछ समस्याओं का एक तकनीकी समाधान हो सकता है, नए विचारों और लोगों की खोज, आदि। ये लक्ष्य अक्सर घटना के प्रारूप, उसके समय, ऑनलाइन / ऑफ़लाइन, कार्यों को कैसे तैयार किया जाएगा (और क्या उन्हें बिल्कुल तैयार किया जाएगा), यह निर्धारित करता है कि क्या हैकाथॉन पर एक कोड समीक्षा होगी, आदि। दोनों टीमों और उन्होंने जो किया उसका मूल्यांकन इस दृष्टिकोण से ठीक किया गया है। और वे टीमें जो कंपनी की जीत के लिए आवश्यक बिंदु तक पहुंचती हैं, और कई इस बिंदु पर पूरी तरह से अनजाने और गलती से पहुंच जाती हैं, यह सोचकर कि वे वास्तव में एक खेल प्रतियोगिता में भाग लेते हैं। मेरी टिप्पणियों से पता चलता है कि प्रतिभागियों को प्रेरित करने के लिए, आयोजकों को कम से कम खेल के माहौल और समान स्थितियों की उपस्थिति का निर्माण करना चाहिए, अन्यथा उन्हें उपरोक्त समीक्षा की तरह नकारात्मकता की लहर प्राप्त होगी। लेकिन हम भटक गए।

2. इसलिए निम्नलिखित निष्कर्ष। आयोजकों को अपनी सर्वश्रेष्ठ प्रथाओं के साथ हैकाथॉन में आने वाले प्रतिभागियों में दिलचस्पी है, कभी-कभी यहां तक ​​कि इसके लिए एक ऑनलाइन पत्राचार चरण भी विशेष रूप से व्यवस्थित किया जाता है। यह मजबूत आउटपुट समाधान के लिए अनुमति देता है। "स्वयं के काम" की अवधारणा बहुत सापेक्ष है, कोई भी अनुभवी प्रोग्रामर अपनी पुरानी परियोजनाओं से कोड की हजारों पंक्तियों को पहले प्रतिबद्ध में जमा कर सकता है। और क्या यह पूर्व-तैयार परिचालन समय होगा? लेकिन किसी भी मामले में, नियम लागू होता है, जिसे मैंने एक प्रसिद्ध मेम के रूप में व्यक्त किया था:



जीतने के लिए आपके पास कुछ होना चाहिए, किसी तरह का प्रतिस्पर्धात्मक लाभ: एक समान परियोजना जो आपने किसी विशिष्ट विषय में अतीत, ज्ञान और अनुभव में की है, या हैकाथॉन के शुरू होने से पहले ही पूरी कर ली गई है। हां, यह खेल नहीं है। हां, यह प्रयास को वापस नहीं कर सकता है (यहां हर कोई तय करता है कि रात में 3 सप्ताह का कोड 100 हजार के पुरस्कार के लिए देना चाहिए, पूरी टीम द्वारा विभाजित किया गया था, और यहां तक ​​कि इसे प्राप्त न करने के जोखिम के साथ)। लेकिन, अक्सर, यह आगे बढ़ने का एकमात्र मौका है।

3. टीम का चयन। जैसा कि मैंने हैकाथॉन चैट से देखा, कई लोग इस मुद्दे को हल्के में लेते हैं (हालांकि, यह सबसे महत्वपूर्ण निर्णय है जो हैकाथॉन में आपका परिणाम निर्धारित करेगा)। गतिविधि के कई क्षेत्रों में (खेल और हैकथॉन दोनों में), मैंने देखा कि मजबूत लोग मजबूत लोगों के साथ एकजुट होते हैं, कमजोर लोगों के साथ कमजोर होते हैं, स्मार्ट लोगों के साथ स्मार्ट लोग, अच्छी तरह से, आप सामान्य रूप से समझते हैं ... यह वही है जो चैट रूम में होता है: अधिक या कम मजबूत प्रोग्रामर सही समय पर, जिन लोगों के पास कोई मूल्यवान हैकथॉन कौशल नहीं है, वे लंबे समय तक चैट में लटकाते हैं और सिद्धांत के अनुसार एक टीम चुनते हैं यदि केवल किसी ने इसे लिया। कुछ हैकाथॉन में, टीमों के बीच यादृच्छिक वितरण का अभ्यास किया जाता है, और आयोजकों का कहना है कि यादृच्छिक टीमों के परिणाम पहले से स्थापित लोगों की तुलना में खराब नहीं होते हैं। लेकिन मेरी टिप्पणियों के अनुसार, लोगों को प्रेरित किया, एक नियम के रूप में, टीम को स्वयं ढूंढें, यदि किसी को वितरित करना है, तो अक्सर उनमें से कई हैकाथॉन में नहीं आते हैं।

टीम की संरचना के लिए, यह बहुत व्यक्तिगत है और कार्य पर अत्यधिक निर्भर है। मैं कह सकता था कि न्यूनतम व्यवहार्य टीम एक डिजाइनर है - फ्रंट-एंड या फ्रंट-एंड - बैक-एंड। लेकिन मुझे ऐसे मामलों का भी पता है, जब टीमों ने केवल फ्रंट-एंडर्स जीते, जो नोड.जेएस से एक सरल बैक-एंड से जुड़े थे, या रिएक्ट नेटिव पर एक मोबाइल एप्लिकेशन बनाया था; या केवल एक सरल लेआउट बनाने वाले beckenders से। सामान्य तौर पर, सब कुछ बहुत ही व्यक्तिगत होता है और कार्य पर निर्भर करता है। हैकाथॉन के लिए एक टीम का चयन करने की मेरी योजना इस प्रकार थी: मैंने एक टीम को इकट्ठा करने या फ्रंट-एंड-बैक-एंड-एंड डिजाइनर जैसी टीम में शामिल होने की योजना बनाई थी (मैं खुद सामने हूं)। और बहुत जल्दी उसने एक अजगर बैक-एंड और एक डिजाइनर के साथ बातचीत करना शुरू कर दिया, जिसने हमें शामिल होने का निमंत्रण स्वीकार किया। थोड़ी देर बाद, एक व्यापार विश्लेषक लड़की हमारे साथ जुड़ गई, जिसके पास पहले से ही हैकथॉन जीतने का अनुभव था, और इसने हमारे साथ जुड़ने के मुद्दे को तय किया। एक छोटी बैठक के बाद, हमने खुद को शानदार चार के समान U4 (URBAN 4, शहरी चार) बुलाने का फैसला किया। और उन्होंने हमारे टेलीग्राम चैनल पर भी एक तस्वीर डाली।

4. कार्य की पसंद। जैसा कि मैंने कहा, आपको एक प्रतिस्पर्धात्मक लाभ होना चाहिए, हैकाथॉन का कार्य इसी के आधार पर चुना गया है। इससे आगे बढ़ते हुए, कार्यों की सूची को देखने और उनकी जटिलता का आकलन करने के बाद, हम दो कार्यों पर बस गए: DPiIR से अभिनव उद्यमों की एक सूची और EFKO से एक चैट बॉट। इंस्टीट्यूट ऑफ इंडस्ट्रियल एंड इंडस्ट्रियल डेवलपमेंट की ओर से किए गए टास्क को बैकेंडर ने चुना था, EFKO के टास्क को मेरे द्वारा चुना गया, क्योंकि नोड.जेएस और डायलॉगफ्लो पर चैटबॉट लिखने का अनुभव था। EFKO कार्य में ML भी शामिल है, मेरे पास कुछ है, बहुत बड़ा नहीं, ML में अनुभव। और समस्या की स्थितियों के अनुसार, मुझे ऐसा लग रहा था कि यह शायद ही एमएल के माध्यम से हल किया गया था। अर्बन टेक चैलेंज मीटिंग में जाने पर यह भावना मजबूत हुई, जहां आयोजकों ने मुझे एक ईएफसीओ डेटासेट दिखाया, जहां उत्पाद लेआउट (विभिन्न कोणों से ली गई) की लगभग 100 तस्वीरें और लेआउट त्रुटियों की लगभग 20 कक्षाएं थीं। और एक ही समय में, कार्य के ग्राहक 90% की वर्गीकरण सफलता दर चाहते थे। परिणामस्वरूप, मैंने बिना एमएल के समाधान की प्रस्तुति तैयार की, बैकेंडर ने कैटलॉग के अनुसार प्रस्तुति तैयार की, और साथ में, प्रस्तुतियों को अंतिम रूप देते हुए, हमने उन्हें अर्बन टेक चैलेंज में भेज दिया। पहले से ही इस स्तर पर, प्रत्येक प्रतिभागी की प्रेरणा और योगदान का स्तर पता चला था। हमारे डिजाइनर ने चर्चाओं में भाग नहीं लिया, देर से जवाब दिया और यहां तक ​​कि प्रस्तुति में खुद के बारे में अंतिम क्षण में जानकारी भर दी, सामान्य संदेह पैदा हुए।

नतीजतन, हम निर्माण और डिजाइन विभाग से कार्य के माध्यम से चले गए, और बिल्कुल भी परेशान नहीं थे कि हम ईएफकेओ के माध्यम से नहीं गए, क्योंकि यह कार्य हमें लग रहा था, इसे हल्के ढंग से, अजीब तरीके से डाल दिया।

5. हैकाथॉन के लिए तैयारी। जब यह अंततः ज्ञात हो गया कि हम हैकाथॉन में गए, तो हमने वर्कपीस तैयार करना शुरू किया। और यहाँ मैं आपसे हैकथॉन की शुरुआत से एक सप्ताह पहले कोड लिखना शुरू करने का आग्रह नहीं करता। कम से कम, आपके पास एक बॉयलरप्लेट तैयार होना चाहिए, जिसके साथ आप तुरंत टूल ट्यून किए बिना काम कर सकते हैं, और बिना किसी प्रकार के बग में टकराए बिना, जो आप हैकाथॉन पर पहली बार प्रयास करने का निर्णय लेते हैं। मुझे एंगलर्स के बारे में एक कहानी पता है जो हैकाथॉन में आए और प्रोजेक्ट असेंबली स्थापित करने में 2 दिन बिताए, इसलिए सब कुछ पहले से तैयार किया जाना चाहिए। हम निम्नानुसार कर्तव्यों को वितरित करने वाले थे: बीकेंडर क्रॉलर लिखते हैं जो इंटरनेट को स्कैन करते हैं और डेटाबेस में एकत्रित सभी जानकारी डालते हैं, मैं नोड पर नोड लिखता हूं। जेएस, जो इस डेटाबेस का अनुरोध करता है और सामने वाले को डेटा भेजता है। इस संबंध में, मैंने पहले से ही एक्सप्रेस.जेएस पर सर्वर तैयार किया, और प्रतिक्रिया पर फ्रंटएंड तैयार किया। मैं CRA का उपयोग नहीं करता, मैं हमेशा अपने लिए वेबपैक को अनुकूलित करता हूं और मुझे अच्छी तरह पता है कि इससे क्या जोखिम हो सकता है (हम एंग्लर्स के बारे में कहानी याद करते हैं)। इस समय, मैंने अपने डिजाइनर से इंटरफ़ेस ब्लैंक या कम से कम मॉकअप का अनुरोध किया, ताकि मुझे अंदाजा हो सके कि मैं क्या लगाऊंगा। सिद्धांत रूप में, उन्हें भी, अपनी तैयारी करनी चाहिए और उन्हें हमारे साथ समन्वित करना चाहिए, लेकिन मुझे कभी कोई उत्तर नहीं मिला। नतीजतन, मैंने अपनी पुरानी परियोजनाओं में से एक से डिजाइन उधार लिया। और इसलिए यह तेजी से बाहर निकलना शुरू हुआ, क्योंकि इस परियोजना के लिए सभी शैलियों को पहले से ही लिखा गया था। इसलिए निष्कर्ष: डिजाइनर की टीम में हमेशा जरूरत नहीं होती है)))। इन विकासों के साथ, हम हैकाथॉन में आए।

6. हैकाथॉन पर काम करें। मैंने पहली बार सीडीपी में हैकाथॉन के उद्घाटन के समय अपनी टीम को लाइव देखा। हम मिले, कार्य पर समाधान और काम के चरणों पर चर्चा की। और हालांकि ओपनिंग के बाद हमें रेड अक्टूबर के लिए बसें लेनी थीं, हम सोने के लिए घर चले गए, 9 बजे तक हमारे स्थान पर आने के लिए सहमत हुए। क्यों? आयोजक, जाहिरा तौर पर, प्रतिभागियों में से सबसे अधिक को निचोड़ना चाहते थे, इसलिए उन्होंने बस इस तरह के कार्यक्रम की व्यवस्था की। लेकिन, मेरे अनुभव में, आप सामान्य रूप से एक रात सोए बिना कोड कर सकते हैं। दूसरे के लिए, मुझे अब यकीन नहीं है। हैकाथॉन एक मैराथन है, आपको अपनी ताकत की पर्याप्त गणना और योजना बनाने की आवश्यकता है। इसके अलावा, हम खाली था।



इसलिए, सोने के बाद, ९ .०० बजे हम डेवोक्रेसी की छठी मंजिल पर बैठे थे। तब हमारे डिजाइनर ने अप्रत्याशित रूप से घोषणा की कि उसके पास एक लैपटॉप नहीं है, और वह घर से काम करेगा, और हम टेलीफोन द्वारा संवाद करेंगे। यह आखिरी तिनका था। और इसलिए हम चार से तीन हो गए, हालांकि हमने टीम का नाम नहीं बदला। फिर से, यह हमारे लिए एक मजबूत झटका नहीं बन गया, मेरे पास पहले से ही पुरानी परियोजना से डिजाइन था। सामान्य तौर पर, पहली बार में सब कुछ काफी सुचारू रूप से और योजना के अनुसार हुआ। हमने आयोजकों से डेटाबेस में नवीन कंपनियों के डेटासेट अपलोड किए हैं (हमने neo4j का उपयोग करने का निर्णय लिया है)। मैंने टाइप करना शुरू किया, फिर नोड.जेएस पर लिया, और फिर मिसफायर चले गए। मैंने पहले कभी भी neo4j के साथ काम नहीं किया था, और पहले मैंने इस डेटाबेस के लिए एक काम करने वाले ड्राइवर की तलाश की, फिर मुझे पता चला कि अनुरोध कैसे लिखा जाता है, और फिर मुझे यह देखकर आश्चर्य हुआ कि यह डेटाबेस नोड ऑब्जेक्ट्स और उनके किनारों की एक सरणी के रूप में संस्थाओं को लौटाता है। यानी जब मैंने टीआईएन द्वारा संगठन और उस पर सभी डेटा के लिए पूछा, तो एक ही संगठन ऑब्जेक्ट के बजाय, मैंने इस संगठन पर डेटा और उनके बीच संबंध रखने वाली वस्तुओं की एक लंबी सरणी लौटा दी। मैंने एक मैपर लिखा जो पूरे ऐरे को ट्रेस करता है और संगठन की सभी वस्तुओं को एक ऑब्जेक्ट में विभाजित करता है। लेकिन लड़ाई में, जब 8,000 संगठनों के डेटाबेस को क्वेरी करते हुए, यह लगभग 20-30 सेकंड के लिए बेहद धीमा था। मैंने अनुकूलन के बारे में सोचा ... और फिर हम समय में रुक गए और MongoDB में चले गए, और हमें लगभग 30 मिनट लग गए। लगभग 5 घंटे neo4j पर खो गए थे।

याद रखें, कभी भी हैकथॉन तकनीक को न लें जो आप से परिचित नहीं हैं, आश्चर्य हो सकता है। लेकिन, सामान्य तौर पर, इस विफलता के अलावा, सब कुछ योजना के अनुसार हुआ। और पहले से ही 9 दिसंबर की सुबह हमारे पास पूरी तरह से काम करने वाला आवेदन था। शेष दिन के लिए, हमने इस पर अतिरिक्त सुविधाओं को हवा देने की योजना बनाई। भविष्य में, सब कुछ अपेक्षाकृत सुचारू रूप से चला गया, लेकिन खोजकर्ता में अपने क्रॉलर के प्रतिबंध के साथ, कानूनी एग्रीगेटर्स के स्पैम में, बीकेंडर को समस्याओं का एक पूरा गुच्छा था, जो प्रत्येक विशिष्ट कंपनी के लिए अनुरोध करने पर खोज परिणामों के पहले स्थानों में आता था। लेकिन इस बारे में वह बेहतर बताएंगे। पहली अतिरिक्त विशेषता जो मैंने खराब कर दी है वह पूर्ण नाम से एक खोज है सीईओ वी। कोंटक। इसमें कई घंटे लग गए।

इसलिए, हमारे आवेदन में कंपनी के पृष्ठ पर सामान्य निदेशक का एवा, उसके वीके पेज का लिंक और कुछ अन्य डेटा दिखाई दिए। यह केक पर एक अच्छा चेरी था, हालांकि इसने हमें जीत नहीं दिलाई होगी। फिर, मैं कुछ विश्लेषण करना चाहता था। लेकिन विकल्पों की एक लंबी खोज के बाद (यूआई के साथ कई बारीकियां थीं), वह सामाजिक गतिविधि कोड द्वारा संगठनों के सबसे सरल एकत्रीकरण पर बसे। पहले से ही शाम में, आखिरी घंटों में, मैं अभिनव उत्पादों (अनुभाग उत्पाद और सेवाएं हमारे आवेदन में माना जाता है) को प्रदर्शित करने के लिए एक रिक्त कर रहा था, हालांकि इसके लिए बैकएंड तैयार नहीं था। एक ही समय में आधार को छलांग और सीमा से सूज गया था, क्रॉलर काम करना जारी रखते थे, बैक-एंड ने एनएलपी के साथ अभिनव ग्रंथों को गैर-अभिनव लोगों से अलग करने के लिए प्रयोग किया)))। लेकिन यह अंतिम प्रस्तुति के लिए पहले से ही समय था।

7. प्रस्तुति। अपने स्वयं के अनुभव से मैं कह सकता हूं कि आपको इसकी डिलीवरी से 3-4 घंटे पहले एक प्रस्तुति तैयार करने के लिए स्विच करना चाहिए। खासकर अगर वीडियो इसमें होना चाहिए, तो शूटिंग और संपादन में बहुत समय लगता है। हमारे पास एक वीडियो होना चाहिए था। और हमारे पास एक विशेष व्यक्ति था जो इस में लगा हुआ था, और कई अन्य संगठनात्मक मुद्दों को भी हल किया। इस संबंध में, अंतिम क्षण तक, हम कोडिंग से विचलित नहीं थे।

8. पिच। मुझे यह पसंद नहीं आया कि प्रस्तुतियां और अंतिम एक अलग सप्ताह के दिन (सोमवार) को बनाई गई थीं। यहां, सबसे अधिक संभावना है, आयोजकों ने प्रतिभागियों में से अधिकतम को निचोड़ने की नीति जारी रखी। मैंने काम से समय निकालने की योजना नहीं बनाई थी, मैं केवल फाइनल में आना चाहता था, हालांकि मेरी टीम के बाकी लोगों ने सप्ताहांत में काम किया। हालांकि, हैकाथॉन में भावनात्मक विसर्जन पहले से ही इतना अधिक था कि सुबह 8 बजे मैंने अपनी टीम (वर्किंग, हैकाथॉन टीम) की चैट को लिखा कि मैंने अपने खर्च पर दिन लिया और पिचों के लिए सीडीसी में गया। हमारी समस्या बहुत सारे विशुद्ध वैज्ञानिकों के आंकड़ों से पता चली और इस समस्या को हल करने के दृष्टिकोण को बहुत प्रभावित किया। कई के पास एक अच्छा डीएस था, लेकिन किसी के पास एक कार्यशील प्रोटोटाइप नहीं था, कई खोज इंजनों में अपने क्रॉलर के प्रतिबंधों के आसपास नहीं पहुंच सके। हम काम कर रहे प्रोटोटाइप के साथ एकमात्र टीम थे। और हम जानते थे कि कार्य को कैसे हल किया जाए। अंत में, हमने ट्रैक जीत लिया, हालांकि हम बहुत भाग्यशाली थे कि हमने सबसे कम प्रतिस्पर्धी कार्य चुना। अन्य पटरियों में पिचों को देखते हुए, हमें एहसास हुआ कि हमारे पास वहां कोई मौका नहीं होगा। मैं यह भी कहना चाहता हूं कि हम जूरी के साथ बहुत भाग्यशाली थे, उन्होंने सावधानीपूर्वक कोड की जांच की। और, समीक्षाओं को देखते हुए, यह सभी ट्रैक पर होने से दूर था।

9. फाइनल। कोड समीक्षा के लिए हमें कई बार जूरी में बुलाया गया था, हमने सोचा कि हमने आखिरकार सभी मुद्दों को हल कर लिया है और बर्गर किंग में डिनर करने चले गए। वहां, आयोजकों ने हमें फिर से बुलाया, हमें जल्दबाजी में आदेश देने और वापस आने के लिए कहा।

आयोजक ने दिखाया कि किस कमरे में जाना है, और वहां जाकर, हमने खुद को विजेता टीमों के लिए एक सार्वजनिक बोलने वाले प्रशिक्षण में पाया। जिन लोगों को मंच पर प्रदर्शन करना था, वे अच्छी तरह से चार्ज किए गए, हर कोई असली शोमैन के रूप में सामने आया।

और मुझे स्वीकार करना चाहिए, फाइनल में, अन्य पटरियों से सबसे मजबूत टीमों की पृष्ठभूमि के खिलाफ, हम पीला दिखे, राज्य ग्राहक के नामांकन में जीत लायक टीम ने ट्रैक रियल एस्टेट तकनीक से टीम को छोड़ दिया। मुझे लगता है कि ट्रैक पर हमारी जीत में योगदान देने वाले प्रमुख कारक थे: एक तैयार रिक्त की उपलब्धता, जिसके कारण हम जल्दी से एक प्रोटोटाइप बनाने में सक्षम थे, प्रोटोटाइप में "ज़ेस्ट" की उपस्थिति (सामाजिक नेटवर्क में सामान्य निर्देशकों की खोज) और हमारे बैकेंडर के एनएलपी कौशल जो जूरी में भी बहुत रुचि रखते हैं।



और निष्कर्ष में, उन सभी लोगों के लिए पारंपरिक धन्यवाद, जिन्होंने हमें समर्थन दिया, हमारे ट्रैक की जूरी, एवगेनी एवग्राफिएव (उस कार्य के लेखक जो हमने हैकाथॉन में हल किया) और निश्चित रूप से, हैकाथॉन के आयोजकों को। यह शायद सबसे बड़ा और सबसे अच्छा हैकथॉन था जिसमें से मैंने भाग लिया, यह केवल लोगों को इस तरह के एक उच्च ब्रांड और अधिक रखने की कामना है!