एक प्रोग्रामर के रूप में, डेटासेंटर कर्नेल ने लिखा

कुछ लोगों का मानना ​​है कि आधुनिक डेटा साइंस स्टैक का निर्माण पायथन में नहीं किया जा सकता है, लेकिन ऐसी मिसालें हैं :)। Odnoklassniki स्टैक का गठन कई वर्षों से किया गया था, मुख्य रूप से प्रोग्रामर द्वारा जो डेटा साइंस पर स्विच करते थे, लेकिन फिर भी उत्पाद के करीब बने रहे, इसलिए यह JVM स्टैक की खुली प्रौद्योगिकियों पर आधारित है: Hadoop, Spark, Kafka, Cassandra, आदि। यह हमें मॉडल को संचालन में लगाने के समय और लागत को कम करने में मदद करता है, लेकिन कभी-कभी यह मुश्किलें पैदा करता है। उदाहरण के लिए, एसएनए हैकथॉन 2019 प्रतिभागियों के लिए बुनियादी समाधान तैयार करते समय, उन्हें अपनी इच्छाशक्ति को संपीड़ित करना और गतिशील टाइपिंग की दुनिया में उतरना था। कट के तहत विवरण और आसान ट्रोलिंग) :)

स्थापना

लगभग किसी भी विकास मशीन पर किसी प्रकार का अजगर है। वह खदान पर पाया गया, पहले से ही डुप्लिकेट - 2.7 और 3.4 में। स्मृति के डिब्बे में रम जाने के बाद, मुझे याद आया कि मैंने तीन साल पहले 3.4 संस्करण स्थापित किया था, प्रतिभागियों द्वारा एसएनए हैकथॉन 2016 में महाकाव्य समस्याओं का सामना करने के बाद, स्मृति में एक आधे-गीगाबाइट ग्राफ का विस्तार करने की कोशिश कर रहा था (एक छोटी सी वीडियो और एक अलग प्रतियोगिता के परिणामस्वरूप), लेकिन आज यह है अर्थव्यवस्था पहले से ही अप्रचलित है और इसे अद्यतन करने की आवश्यकता है।

जावा दुनिया में, असेंबली के दौरान प्रत्येक प्रोजेक्ट वह सब कुछ इंगित करता है जिसे वह खुद में शामिल करना चाहता है, और आगे भी इसी के साथ रहता है। सिद्धांत रूप में, सब कुछ सरल और सुंदर है, लेकिन व्यवहार में, जब आपको लाइब्रेरी ए और लाइब्रेरी बी की आवश्यकता होती है, तो यह निश्चित रूप से पता चलेगा कि उन्हें सी लाइब्रेरी की आवश्यकता है, दो अलग-अलग असंगत संस्करणों के साथ :)। इस दुष्चक्र को तोड़ने का व्यर्थ प्रयास करते हुए, कुछ पुस्तकालयों ने अपनी सारी निर्भरता स्वयं में पैक कर ली और बाकी से छिप जाते हैं, जबकि बाकी स्पिन के रूप में वे कर सकते हैं।

अजगर में इसके साथ क्या हो रहा है? ऐसी कोई परियोजना नहीं है, लेकिन एक "पर्यावरण" है, और प्रत्येक वातावरण के भीतर, कुछ संस्करणों के पैकेज से एक स्वतंत्र पारिस्थितिकी तंत्र का गठन किया जा सकता है। इसी समय, आलसी के लिए उपकरण हैं, जिसकी मदद से स्थानीय पायथन वातावरण का प्रबंधन करना अधिक कठिन नहीं है, क्लोडर या हॉर्टन के वितरित विषम क्लस्टर की तुलना में। लेकिन पैकेज के संस्करणों के बीच आपसी टकराव गायब नहीं होगा। मैंने तुरंत इस तथ्य का सामना किया कि पंडों की रिहाई 0.24 ने निजी _maybe_box_datetimelike विधि को सार्वजनिक API में स्थानांतरित कर दिया, और अचानक यह पता चला कि बहुत सारे लोगों ने इसे अपने पिछले रूप में इस्तेमाल किया था और अब बंद हो गया :) (और हाँ,) जावा दुनिया एक ही है )। लेकिन अंत में, हर चीज की मरम्मत की गई, नए डेरीसाइशिन के बारे में भयानक चेतावनी के अलावा, इसने काम किया।

सहयोगात्मक आधार रेखा

एसएनए हैकथॉन 2019 में कार्य तीन क्षेत्रों में विभाजित हैं - लॉग, ग्रंथों और चित्रों पर सिफारिशें। आइए लॉग्स के साथ शुरू करें (स्पॉइलर - मेगापैटर्न सेमी + सी / सीएमडी + वी के साथ स्टैकओवरफ्लो भी अजगर के साथ काम करता है)। डेटा को एक लाइव उत्पादन से एकत्र किया गया था - प्रत्येक उपयोगकर्ता को बेतरतीब ढंग से, वजन के बिना, अपने पर्यावरण से कुछ फ़ीड दिखाया गया था, जिसके बाद शो के समय सभी संकेत और अंतिम प्रतिक्रिया लॉग में दर्ज की गई थी। केक कार्य का टुकड़ा: हम संकेत लेते हैं, हम एक लोगो , लाभ में भागते हैं !

लेकिन डेटा पढ़ने पर यह योजना पहले चरण में भड़की। सिद्धांत रूप में, एक अद्भुत अपाचे एरो पैकेज है, जिसे विभिन्न पारिस्थितिकी प्रणालियों में डेटा के साथ काम को एकीकृत करना था और विशेष रूप से, स्पार्क्स के बिना अजगर से "लकड़ी की छत" फाइलों को पढ़ने की अनुमति देना। व्यवहार में, यह निकला। यहां तक ​​कि सरल नेस्टेड संरचनाओं को पढ़ने के साथ उन्हें समस्याएं हैं , और हमारी सुंदर पदानुक्रम एक फ्लैट स्क्वैलर में बदल गई है :(।

लेकिन सकारात्मक पहलू थे। सामान्य तौर पर, जुपिटर प्रसन्न था, यह लगभग उतना ही आरामदायक है, हालांकि ज़ेपेलिन जितना सुंदर नहीं है। यहां तक ​​कि एक रॉक कोर भी है! खैर, स्मृति में डेटा के एक छोटे से टुकड़े पर लॉजिस्टिक रिग्रेशन की गति प्रसन्न होती है - यह वितरित विकल्प की शक्ति तक नहीं पहुंचती है, लेकिन यह चार संकेतों और दो सौ उदाहरणों पर तुरंत सीखती है।

फिर, हालांकि, जो उत्साह पैदा हुआ, वह बहुत मुश्किल था: यदि आवश्यक डेटा परिवर्तन (कुंजी द्वारा समूह और एक सूची में इकट्ठा) मानक सूची में नहीं है और लागू होता है या नक्शा दिखाई देता है, तो गति परिमाण के आदेश से गिरती है। नतीजतन, बेसलाइन का 80% समय डेटा, जॉइन, मॉडल ट्रेनिंग और सॉर्टिंग नहीं पढ़ रहा है, लेकिन सूची का सामान्य संकलन है।

वैसे, इस विशेषता के कारण यह ठीक है कि मैं हमेशा pySpark उपयोगकर्ताओं पर आश्चर्यचकित हूं - आखिरकार, लगभग सभी मानक कार्यक्षमता स्पार्क SQL के रूप में उपलब्ध है, जो कि अजगर और चट्टान में समान है, और पहले अजगर की तरह युडफ-इन के साथ कुछ व्यक्तिगत दस-कोर के साथ क्लस्टर कद्दू में बदल जाता है ...

लेकिन, अंत में, सभी बाधाएं दूर हो गईं और स्कोर 0.65 के लिए नौ अंक पर्याप्त थे!

पाठ आधार रेखा

ठीक है, अब हमारा कार्य अधिक जटिल है - यदि सभी प्लेटफार्मों के लिए सैकड़ों कार्यान्वयन में लॉगजीआर पाया जा सकता है, तो अजगर के तहत ग्रंथों के साथ काम करने के लिए अधिक विविधताएं हैं। सौभाग्य से, ग्रंथों को पहले से ही न केवल कच्चे रूप में भेजा जा रहा है, बल्कि स्पार्क और ल्यूसिन पर आधारित हमारे नियमित प्रीप्रोसेसिंग सिस्टम द्वारा भी संसाधित किया जा रहा है। इसलिए, आप तुरंत टोकन की सूची ले सकते हैं और टोकन / लेमेटाइजेशन / स्टेमिंग के बारे में चिंता न करें।

कुछ समय के लिए मुझे संदेह था कि क्या लेना है: घरेलू बिगार्टम या आयातित गेंसिम । नतीजतन, मैं दूसरे पर बस गया और doc2vec ट्यूटोरियल :) की नकल की। मुझे उम्मीद है कि BigARTM टीम के सहकर्मी मौका लेने और प्रतियोगिता में अपने पुस्तकालय के फायदे दिखाने में विफल नहीं होंगे।

हमारे पास फिर से एक सरल योजना है: हम परीक्षण से सभी ग्रंथों को लेते हैं, Doc2Vec मॉडल को प्रशिक्षित करते हैं, फिर इसे ट्रेन पर अनुमान लगाते हैं और इसके परिणामों पर लॉगग्राम सीखते हैं (स्टैकिंग हमारा सब कुछ है!)। लेकिन, हमेशा की तरह, समस्याएं तुरंत शुरू हुईं। प्रशिक्षण नमूना (केवल डेढ़ गीगाबाइट) में पाठ की अपेक्षाकृत मामूली मात्रा के बावजूद, जब उन्हें रैंप में खींचने की कोशिश की गई, तो अजगर ने 20 (20 कार्ल!) गीगाबाइट मेमोरी में खा लिया, एक स्वैप में चला गया और वापस नहीं आया। मुझे भागों में एक हाथी खाना था।

पढ़ते समय, हम हमेशा संकेत देते हैं कि कौन से कॉलम को फर्श से उठाना है, जो हमें स्मृति में कच्चे पाठ को पढ़ने की अनुमति नहीं देता है। यह इसके उपयोग को आधे से बचाता है, परीक्षण सेट के दस्तावेजों को समस्याओं के बिना प्रशिक्षण के लिए मेमोरी में लोड किया जाता है। इस तरह के एक ट्रिक के प्रशिक्षण सेट के साथ पर्याप्त नहीं है, इसलिए एक समय में हम एक से अधिक "पैराक" फ़ाइल अपलोड नहीं करते हैं। इसके अलावा, डाउनलोड की गई फ़ाइल में, हम केवल उन दिनों की आईडी छोड़ते हैं जिन्हें हम प्रशिक्षण के लिए उपयोग करना चाहते हैं, और हम पहले से ही उन पर अनुमान लगाते हैं।

इसके शीर्ष पर लॉगिंग उतनी ही तेजी से काम करती है, और अंत में हमें 14 अनुच्छेद मिलते हैं और स्कोर 0.54 :)

चित्र आधार रेखा

गहरी सीख से ज्यादा लोकप्रिय क्या हो सकता है? केवल बिल्लियों! इसलिए, बेसलाइन तस्वीर के लिए, हमने शानदार ढंग से सरल योजना बनाई: परीक्षण सेट से चित्रों पर एक बिल्ली डिटेक्टर चलाएं, और फिर स्कोर के अनुसार सामग्री को रैंक करें :)

और फिर से चुनने के लिए बहुत कुछ है। वर्गीकरण या पहचान? pyTorch या Tensorflow? मुख्य मानदंड कॉपी-पेस्ट विधि द्वारा कार्यान्वयन में आसानी है। और विजेता है ... MXNet पर YOLOv3 :)। उनके प्रदर्शन की संक्षिप्तता पहली नजर में लुभा गई, लेकिन फिर, हमेशा की तरह, समस्याएं शुरू हुईं।

आमतौर पर बड़े डेटा के साथ क्या काम शुरू होता है? प्रदर्शन अनुमान और आवश्यक मशीन समय के साथ! मैं बेसलाइन को जितना संभव हो उतना स्वायत्त बनाना चाहता था, इसलिए उन्होंने इसे सीधे टार फाइल के साथ काम करना सिखाया और जल्दी से महसूस किया कि प्रति सेकंड 200 फोटो टार से tmpfs निकालने की गति में, लगभग आधे घंटे लगेंगे, 352,758 छवियों को संसाधित करने के लिए मानदंड। फ़ोटो का लोडिंग और प्रीप्रोसेसिंग जोड़ें - 100 प्रति सेकंड, सब कुछ के लिए एक घंटे, मानदंड। तंत्रिका नेटवर्क की गणना जोड़ें - 20 तस्वीरें प्रति सेकंड, 5 घंटे, अच्छी तरह से ... ठीक है परिणाम निष्कर्षण जोड़ें - 1 फोटो प्रति सेकंड, सप्ताह, डब्ल्यूटीएफ?

तंबूरा के साथ नृत्य करने के कुछ घंटों के बाद, समझ में आता है कि जो एनडीएआरआरई हम देखते हैं वह कभी भी खस्ता नहीं है, और एमएक्सनेट की आंतरिक संरचना, जो सभी गणना आलसी करती है। बिंगो! क्या करें? किसी भी नौसिखिए राजनयिक को पता है कि पूरी बात बैच के आकार की है! यदि एमएक्सनेट स्कोर को आलसी तरीके से गणना करता है, तो यदि हम पहले उन्हें एक दर्जन तस्वीरों के लिए अनुरोध करते हैं, और फिर हम उन्हें निकालना शुरू करते हैं, तो शायद तस्वीरों का प्रसंस्करण बैचों में जाएगा? और हां, 10 फोटो प्रति सेकंड की गति से बैचिंग करने के बाद, मैं सभी बिल्लियों को खोजने में कामयाब रहा :)।

फिर हम जाने-माने इंजीनियरिंग को लागू करते हैं और 10 पैराग्राफ में हम स्कोर 0.504 :) प्राप्त करते हैं।

निष्कर्ष

जब एक ज्ञानी इंद्रिय से पूछा गया, "कौन जीतेगा, एकिडो मास्टर या कराटे?", उसने जवाब दिया "मास्टर जीत जाएगा।" हमें इस प्रयोग द्वारा लगभग एक ही निष्कर्ष पर ले जाया गया था: सभी अवसरों के लिए कोई आदर्श भाषा नहीं है और न ही हो सकती है। अजगर के साथ, आप जल्दी से तैयार ब्लॉकों से एक समाधान इकट्ठा कर सकते हैं, लेकिन पर्याप्त मात्रा में डेटा के साथ उनसे दूर जाने की कोशिश करने से बहुत दर्द होगा। जावा और स्काला में, आप कई तैयार किए गए उपकरण भी पा सकते हैं और आसानी से अपने विचारों को लागू कर सकते हैं, लेकिन स्वयं भाषाएं कोड की गुणवत्ता पर अधिक मांग करेंगी।

और हां, सभी SNA Hackathon 2019 सदस्यों को शुभकामनाएँ!