ओह, माई कोड: मशीन लर्निंग एंड एनालिटिक्स एट क्लासमेट्स

मशीन लर्निंग और डेटा विश्लेषण के बीच अंतर क्या है, जो ओडनोकलास्निक में बैठता है और मशीन सीखने में अपनी यात्रा कैसे शुरू करें - हम इस बारे में बात करते हैं प्रोग्रामर के लिए टॉक शो के बारहवें अंक में।


चैनल टेक्नोस्ट्रीम पर वीडियो

कार्यक्रम के मेजबान मीडिया परियोजनाओं के तकनीकी निदेशक पावेल शचरबिन हैं, और अतिथि दिमित्री बुगाएंचेंको, ओडनोकलास्निक के एक विश्लेषक हैं।

00:56 दिमित्री बुगाचेन्को: आउटसोर्सिंग से ओके और वैज्ञानिक गतिविधि तक
02:42 यूनिवर्सिटी और एक बड़ी कंपनी में काम क्यों मिलाएँ
02:57 ओके में मशीन लर्निंग कहाँ लागू होती है
03:49 मशीन लर्निंग और डेटा विश्लेषण - क्या अंतर है?
05:08 स्क्रेनेकास्ट "हम डेटा विश्लेषण की मदद से दर्शकों का विश्लेषण करते हैं"
22:34 क्या सहपाठी एक डेटिंग सेवा हैं?
24:07 मशीन लर्निंग कहाँ से शुरू करें?
25:33 क्या मुझे मशीन लर्निंग चैंपियनशिप में भाग लेना चाहिए?
26:53 OK में अभ्यास कैसे करें
28:18 मशीन लर्निंग हैंडबुक
30:28 मशीन लर्निंग इवेंट
32:48 ओके में डेटा पाइपलाइन की व्यवस्था कैसे की जाती है (बोर्ड पर दिखाएँ)
43:42 ब्लिट्ज पोल

अपने बारे में थोड़ा बताएं।

हम यह मान सकते हैं कि मेरा कैरियर पथ 1999 में शुरू हुआ, जब मैंने गणित में प्रवेश किया। पांच वर्षों के लिए, उन्होंने सक्रिय रूप से गणित, प्रोग्रामिंग और विभिन्न संबंधित विषयों का अध्ययन किया। फिर उन्होंने एक आउटसोर्सिंग कंपनी में लंबे समय तक काम किया। आउटसोर्सिंग एक बहुत ही दिलचस्प अनुभव है। मैं रेफ्रिजरेटर के लिए ड्राइवर लिखने से लेकर वितरित एंटरप्राइज़ सिस्टम बनाने तक, कई प्रकार की परियोजनाओं में काम करने में कामयाब रहा।

इस समय, मुख्य काम के अलावा, मैंने अकादमिक समुदाय के साथ संपर्क बनाए रखने के लिए विश्वविद्यालय में पढ़ाया, जो काफी कठिन था। जब 2011 में मुझे ओडनोक्लास्निक के लिए सिफारिश करने वाले सिस्टम में शामिल होने के लिए आमंत्रित किया गया था, तो यह एक बहुत अच्छा मौका था, जिसका मैंने फायदा उठाया। यहां, विश्वविद्यालय की गणितीय तैयारी और प्रोग्रामिंग के व्यावहारिक अनुभव दोनों को संयोजित करना संभव है। हालांकि, मैं विश्वविद्यालय में पढ़ाना जारी रखता हूं।

क्या शिक्षण में बहुत समय लगता है?

सप्ताह में 1.5 दिन विश्वविद्यालय जाते हैं, लेकिन यह इसके लायक है, क्योंकि हमारे पास पहले से ही मेरे तीन पूर्व छात्र हैं। यही है, विश्वविद्यालय कर्मियों के एक फोर्ज के रूप में भी काम करता है।

काम पर, शांति से इस तथ्य से संबंधित है कि आप 1.5 दिनों के लिए चले गए हैं?

इस्तीफा दे दिया। हर कोई समझता है कि इससे क्या लाभ है, इसलिए मैं किसी भी विपक्ष से नहीं मिलता।

मुझे बताएं कि ओडनोक्लास्निक में मशीन सीखने का उपयोग कहां किया जाता है।

हमारे पास बहुत सारे एप्लिकेशन हैं। ऐतिहासिक रूप से, पहली मशीन लर्निंग सिस्टम संगीत की सिफारिश थी। यह सब 2011 में शुरू हुआ था। तब बस विस्फोटक वृद्धि हुई थी: समुदायों की सिफारिश, दोस्तों की सिफारिश, "शायद आप एक दूसरे को जानते हैं," व्यक्ति के फ़ीड में सामग्री को रैंक करने का प्रयास करते हैं। अब बहुत सारी परियोजनाएँ विकसित हो रही हैं। कोई फर्क नहीं पड़ता कि आप Odnoklassniki के किस हिस्से में प्रहार करते हैं, मशीन सीखने या डेटा विश्लेषण से संबंधित घटक हैं।

हमारे पाठकों को इन दोनों अवधारणाओं को अलग करने में मदद करें: मशीन लर्निंग और डेटा विश्लेषण।

डेटा का विश्लेषण एक व्यक्ति द्वारा कुछ पैटर्न, कनेक्शन खोजने, कुछ परिकल्पनाओं का परीक्षण करने के लिए किया जाता है। इसके लिए, गणितीय आँकड़ों के विभिन्न साधनों का उपयोग किया जाता है। मशीन लर्निंग पैटर्न की खोज करने का एक और अधिक उन्नत तरीका है, तकनीक का उपयोग करना जो आमतौर पर बड़ी संख्या में मापदंडों के साथ किसी प्रकार के बड़े, जटिल मॉडल पर आधारित होते हैं।

हम इस मॉडल के मापदंडों का चयन करने की कोशिश कर रहे हैं ताकि यह अच्छी तरह से उस घटना का वर्णन करे जो हमें चाहिए। कई अलग-अलग एल्गोरिदम हैं, मापदंडों की गणना करने के तरीके, लेकिन यह सब कुछ नियमितता खोजने के लिए किया जाता है। उदाहरण के लिए, सोशल नेटवर्क पर किसी पोस्ट के डेटा के अनुसार, इस संभावना का आकलन करें कि कोई विशेष व्यक्ति इस पोस्ट पर "क्लास" लगाएगा। यही है, मशीन लर्निंग डेटा विश्लेषण के लिए एक उपकरण है।

क्या आप और मैं ओडनोक्लासनिक के बारे में मिथकों में से एक पर बहस कर सकते हैं, जिसके अनुसार इस ऑडियंस में बहुत पुराने जमाने के दर्शक हैं?

कोई बात नहीं। यह एक मानचित्र है जो वास्तविक समय में प्रत्येक विशिष्ट उपयोगकर्ता के लॉगिन को दर्शाता है। यही है, प्रत्येक बिंदु एक ऐसा व्यक्ति है जो लॉग इन करता है और ओडनोकलास्निक में कुछ करता है।



बिग रेड सर्कल ऐसे शहर हैं जहां से कई उपयोगकर्ता हमारे पास आए हैं। यहां यह बहुत स्पष्ट रूप से दिखाई दे रहा है कि ओडनोकलास्निक न केवल जीवित है, वे लगभग पूरे यूरेशिया को कवर करते हैं।

आइए गणना करें कि कल कितने उपयोगकर्ता ओडनोक्लासनिक में "वर्ग" डालते हैं, और आयु वितरण देखते हैं।

कोडिंग कहाँ से शुरू होती है? बेशक, भविष्य के कुल गणना के लिए विभिन्न उपयोगी डेटा आयात करने से। हमारा मुख्य उपकरण स्पार्क है , जिसके उपयोग के लिए हम ज़ेपेलिन वेब फ्रंट का उपयोग करते हैं। मूल रूप से, डेटा अपाचे काफ्का के माध्यम से आता है, पैक किया जाता है और विभिन्न ब्लॉकों में टूट जाता है। इस मामले में, हम उस ब्लॉक में रुचि रखते हैं जो कल की उपयोगकर्ता गतिविधि, विशेष रूप से, कक्षाओं का वर्णन करता है। एक क्षेत्र है जिसमें उपयोगकर्ताओं के जनसांख्यिकी को संग्रहीत किया जाता है, जिसमें जन्मदिन भी शामिल है।



आउटपुट पहले दस रिकॉर्ड के जन्म का वर्ष है। अब इससे कुछ एग्रीगेट बनाने की कोशिश करते हैं। हम अद्वितीय उपयोगकर्ताओं की संख्या गिनना चाहते हैं। हमें आईडी और जन्म वर्ष की आवश्यकता है, वर्ष-दर-वर्ष समूह और अद्वितीय उपयोगकर्ताओं की संख्या की गणना करें। और इसे थोड़ा खेलते हैं: निश्चित रूप से ऐसे लोग होंगे जिनके जन्म का वर्ष इंगित नहीं किया गया है, इसलिए हम उन्हें फ़िल्टर करेंगे ताकि वे ग्राफ़ पर शोर पैदा न करें।

गणना करने के लिए, सिस्टम को लगभग 1 टीबी डेटा फावड़ा करने की आवश्यकता है। हमें इसका परिणाम मिलता है और इसे रेखांकन:



आयु शिखर 1983 - 35 वर्ष पर पड़ता है। जो कि अपने आप में काफी पुराने उपयोगकर्ता हैं।
स्थिति का बेहतर प्रतिनिधित्व करने के लिए, एक स्रोत से पर्याप्त जानकारी नहीं है। अगर हम उपयोगकर्ता जनसांख्यिकी के बारे में बात कर रहे हैं, तो तुलना के लिए सबसे दिलचस्प स्रोत रूस की आबादी पर आंकड़े हैं। रोसस्टेट की वेबसाइट से , मैंने 2016 में एकत्र किए गए रूसियों के जन्म के वर्षों के आंकड़ों को डाउनलोड किया।



आंकड़ों में चोटी ओडनोकलास्निक के अनुसार चोटी के बहुत करीब है - हमारे पास 1983 और रोस्टैट - 1987 में पैदा हुए उपयोगकर्ता हैं। मुझे जो मिला वह दो बड़ी असफलताएं थीं। 1940 के दशक की शुरुआत में ग्रेट पैट्रियटिक वॉर था। युद्ध से हमें न केवल 20 मिलियन से अधिक लोगों की मृत्यु हुई, बल्कि लाखों अजन्मे लोगों की भी मृत्यु हो गई। यह जनसांख्यिकीय गड्ढा है जिसे अभी भी महसूस किया जा रहा है। दूसरा गड्ढा - 1990 का दशक। और हम इस संकट से पूरी तरह से उबर नहीं पाए हैं। हम ओडनोक्लासनिक के डेटा में एक ही तस्वीर देखते हैं: 1990 के बाद, एक मजबूत गिरावट आई थी। हमारे पास अभी भी 2015 में पैदा हुए लोग नहीं हो सकते हैं, क्योंकि पंजीकरण के लिए न्यूनतम आयु 5 वर्ष है।

न केवल वर्ष से, बल्कि लिंग द्वारा भी हमारे नमूने और समूह में लिंग विशेषता जोड़ें।



1990 के बाद, एक तीव्र गिरावट आई है, जो रूस में सामान्य आयु की स्थिति के साथ संबंधित है। महिलाओं ने "वर्ग" को अधिक सक्रिय रूप से रखा, पुरुषों की तुलना में लगभग दोगुना। यह सामाजिक नेटवर्क के लिए एक काफी विशिष्ट तस्वीर है, क्योंकि महिलाएं पुरुषों की तुलना में अधिक सामाजिक रूप से सक्रिय हैं।

आप कई चोटियों पर भी ध्यान दे सकते हैं जो "गोल" वर्षों से सहसंबंधित हैं। इन चोटियों के आधार पर, बॉट या उन लोगों के प्रभाव का आकलन किया जा सकता है जो जानबूझकर उनकी उम्र को विकृत करते हैं, क्योंकि ऐसे मामलों में वे आमतौर पर किसी प्रकार की गोल तारीखों का संकेत देते हैं।

हम अपने उपयोगकर्ताओं के भौगोलिक वितरण में भी रुचि रखते हैं। हमें अद्वितीय आगंतुकों की गणना करने के लिए एक उपयोगकर्ता आईडी की आवश्यकता है, और प्रोफाइल में इंगित निवास के पते। शहर द्वारा समूह और इकाई की गणना। अवरोही क्रम में उपयोगकर्ताओं की संख्या से क्रमबद्ध करें और केवल पहले 200 शहरों को छोड़ दें। रन एकत्रीकरण:



सहपाठियों को सेट करने वाले सहपाठियों की संख्या के मामले में यह शीर्ष शहर है। स्वाभाविक रूप से, मास्को नेतृत्व में है। रूस के दक्षिण में उत्तर पश्चिम की तुलना में बहुत बेहतर प्रतिनिधित्व किया जाता है। हमारे पास यूएसए, कनाडा, जर्मनी में बहुत से, इजरायल में उपयोगकर्ता हैं। दिलचस्प तथ्य: युज़्नो-सखालिंस्क के 36 हजार लोगों ने प्रत्येक दिन पसंद किया। और कुल मिलाकर, विकिपीडिया के अनुसार, शहर में १ people० हजार लोग रहते हैं। यज़्नो-सखालिंस्क की आबादी का 20% ओडनोक्लास्निक में गया और एक "वर्ग" रखा।



ज़ूम इन करें और देखें कि मॉस्को और मॉस्को क्षेत्र में क्या होता है।



मध्य एशियाई गणराज्य, मोल्दोवा, यूक्रेन बहुत अच्छी तरह से Odnoklassniki में प्रतिनिधित्व करते हैं।



आप तुरंत देख सकते हैं कि उन्होंने हमारे सामाजिक नेटवर्क तक पहुंच को अवरुद्ध करने का प्रयास कहां किया है, और कहां नहीं।



जैसा कि आप देख सकते हैं, Odnoklassniki एक जीवंत, गतिशील उत्पाद है जो दुनिया भर के युवा लोगों और पुराने लोगों दोनों द्वारा उपयोग किया जाता है, कभी-कभी यहां तक ​​कि जहां आप उम्मीद नहीं करते हैं। सभी आयु वर्गों के बीच, हमारे पास सबसे अधिक 30 साल के बच्चे हैं।

सामाजिक नेटवर्क समुदायों के आसपास बनाए गए हैं। अक्सर ऐसा होता है कि अगर कोई समुदाय एक निश्चित सामाजिक नेटवर्क में प्रवेश करता है, तो वह अन्य सामाजिक नेटवर्क के बारे में बहुत कम जानता है। इसलिए, उदाहरण के लिए, पत्रकारों के पेशेवर समुदाय को यह भ्रम हो सकता है कि ओडनोकलास्निक मुख्य रूप से एक बुजुर्ग दर्शक है। वास्तव में, यह कुछ समुदाय की व्यक्तिपरक राय है। हमारे पास 50-60 वर्ष और उससे अधिक आयु के उपयोगकर्ता हैं, स्कूली बच्चे हैं, 20 वर्षीय युवा हैं, 30-35 वर्ष के परिपक्व, परिपक्व लोग हैं।

Odnoklassniki कवरेज रूस, पड़ोसी देशों, यूक्रेन, बेलारूस, मध्य एशिया के सभी क्षेत्रों में है। हमने बहुत अच्छी तरह से प्रवासी भारतीयों का प्रतिनिधित्व किया है, उदाहरण के लिए, रूसी प्रवासियों के जर्मन प्रवासी, अमेरिकी प्रवासी और इजरायल। वे अपने रिश्तेदारों के साथ काफी सक्रिय रूप से संवाद करते हैं जो रूस और पूर्व सोवियत गणराज्यों में बने हुए हैं। इस दृष्टिकोण से, ओडनोकलास्निक एक सामाजिक नेटवर्क के मूल कार्य के कार्यान्वयन में बहुत अच्छी तरह से योगदान करते हैं - एक दूसरे से दूर रहने वाले लोगों के बीच संपर्क बनाए रखने के लिए।

एक राय है कि Odnoklassniki कई लोगों के लिए इतना आकर्षक है क्योंकि यह दोस्तों और अपने दोस्तों और रिश्तेदारों के परिचितों से मिलने का एक आसान तरीका है। यही है, Odnoklassniki एक डेटिंग सेवा के रूप में प्रस्तुत किया गया है। डिमांड में डेटिंग का यह तरीका कितना है और यह ओडनोकलास्निक की विचारधारा का हिस्सा है?

विपरीत लिंग सहित अन्य लोगों से मिलने की आवश्यकता एक बुनियादी मानवीय आवश्यकता है। स्वाभाविक रूप से, यह किसी भी सामाजिक नेटवर्क में व्यक्त किया जाता है। लेकिन Odnoklassniki में यह किसी भी अन्य सामाजिक नेटवर्क की तुलना में अधिक नहीं और कम व्यक्त किया गया है। हमारा डेटिंग सेवाओं पर कोई जोर नहीं है। हमारे सोशल नेटवर्क के विकास की विचारधारा लोगों के बीच संचार जैसे सामान्य मूल्य पर आधारित है। यह हमारे लिए इतना महत्वपूर्ण नहीं है कि क्या यह सहपाठी होंगे जो विभिन्न शहरों में फैल गए हैं, या वे लोग जो एक साथी की तलाश में हैं। दोनों विकल्प हमें पूरी तरह से सूट करते हैं। हमें खुशी है कि लोगों ने एक-दूसरे को पाया और संवाद किया। लेकिन ज्यादा कुछ नहीं

आप बहुत कुछ मशीन लर्निंग करते हैं। यह विषय अब कई लोगों को उत्साहित करता है। कहां से शुरू करें, इस पेशे में कैसे आएं?

सबसे पहले, आपको कुछ ज्ञान प्राप्त करने की आवश्यकता है। इसमें कोई समस्या नहीं है, स्टेपिक में और यूनिवर्सिटी के कुछ कार्यक्रमों में अद्भुत पाठ्यक्रम हैं, जो मशीन सीखने के लिए बहुत अच्छा बुनियादी ज्ञान प्रदान करते हैं। वास्तव में इस क्षेत्र में शामिल होने के लिए, आपको एक लक्ष्य और समझ की आवश्यकता है जहां आप इसे लागू कर सकते हैं। क्योंकि सिर्फ एक अमूर्त पाठ्यक्रम को सुनना उतना प्रभावी होने से दूर है जितना कि आप वास्तव में किसी समस्या या समस्या को हल करेंगे।

छात्रों के मामले में, आदर्श विकल्प शब्द कागजात, शोध प्रबंध है। और इस मामले में भी, मैं कोशिश करता हूं कि कार्य को ऊपर से नीचे न आने दिया जाए, लेकिन विचारों को छात्रों से आने में मदद करने के लिए, तब उनके पास बहुत अधिक प्रेरणा होगी।

अर्थात्, एक लक्ष्य निर्धारित करना, ऑनलाइन पाठ्यक्रम सुनना और फिर ज्ञान लागू करने का प्रयास करना। और सब कुछ बदल जाएगा।

यह मुझे लगता है कि आज पर्याप्त कार्य हैं। स्कर्बैंक, टिंकॉफ और कई अन्य कंपनियों से बड़ी संख्या में प्रतियोगिताओं में स्केटबेक होता है।

बेशक। लेकिन वे केंद्रित हैं, सबसे पहले, उन लोगों पर जो पहले से ही मशीन सीखने में बारीकी से लगे हुए हैं। इसके अलावा, बहुत बार ऐसी प्रतियोगिताओं में कोई भी मशीन सीखने का नहीं, बल्कि टोपी-नफरत का पालन कर सकता है। जिन मॉडलों को स्कैटल पर प्रशिक्षित किया जाता है, वे व्यावहारिक समस्याओं को हल करने में मदद नहीं करेंगे, क्योंकि वे बहुत सारे मापदंडों को चलाते हैं। नतीजतन, मॉडल विशेष रूप से स्कैटल पर विशिष्ट प्रतियोगिताओं के लिए विशेषज्ञ होते हैं, और उनमें से केवल किसी भी परिणाम प्राप्त होते हैं। और अगर आप इन मॉडलों को वास्तविक दुनिया में स्थानांतरित करते हैं, तो वे काम नहीं करेंगे।

सबसे अच्छा अभ्यास अभ्यास है। अपनी टीम के साथ अभ्यास कैसे करें?

बहुत सारे तरीके हैं। यदि हम शोध टीमों के बारे में बात करते हैं, तो हमारे पास ओके डेटा साइंस लैब नामक एक परियोजना है, जिसमें हम उन लोगों को कंप्यूटिंग संसाधन, डेटा, हमारे ज्ञान और अनुभव प्रदान करते हैं जो मशीन लर्निंग और डेटा विश्लेषण से संबंधित अपने विचारों को विकसित करना चाहते हैं। और जरूरी नहीं कि वह सोशल नेटवर्क के लिए ही हो। उदाहरण के लिए, हमारे पास एक अध्ययन है जिसमें लेखक यह समझने की कोशिश करता है कि आधुनिक स्कूली बच्चों के लिए सबसे दिलचस्प क्या है।

यदि आप एक विशेषज्ञ हैं और काम की तलाश कर रहे हैं, तो हमारे पास हमेशा मशीन लर्निंग से संबंधित कई खुली रिक्तियों हैं। एक साक्षात्कार के लिए हमें जाएँ।

क्या कोई किताब, मशीन लर्निंग रीडर है?

यह इतनी तेजी से बदलते क्षेत्र है कि मशीन सीखने की किताब या पाठक लिखना बहुत महत्वाकांक्षी है। मैं क्लासिक काम " सांख्यिकीय शिक्षा के तत्व " की सिफारिश कर सकता हूं। यह मशीन सीखने के सबसे बुनियादी तरीकों के बारे में है, जो आंकड़ों में उत्पन्न होते हैं।

सर्गेई निकोलेंको ने गहरी मशीन लर्निंग पर एक किताब प्रकाशित की।

मेरी राय में, गहरी शिक्षा वह नहीं है जहाँ से शुरू करें। यदि आप पहले से ही क्लासिक मशीन लर्निंग के मालिक हैं, तो यह एक अच्छा विकल्प है। लेकिन अगर आप अभी तक शास्त्रीय तकनीकों को नहीं जानते हैं, तो गहरी शिक्षा के साथ अभी शुरू करना गलत है, क्योंकि यह अक्सर शोधकर्ता को समस्या से दूर धकेल देता है, यह एक बहुत शक्तिशाली उपकरण है। इसे लागू करने से पहले, आपको समस्या को "मैन्युअल रूप से" सरल तरीके से विश्लेषण करने की आवश्यकता है। और उसके बाद ही, विषय क्षेत्र की समझ के साथ, गहन शिक्षण की ओर बढ़ें। अन्यथा, आपका मॉडल सीख जाएगा, लेकिन आप नहीं करेंगे। जब आप अपने मॉडल की तुलना में सुस्त हो जाते हैं, तो इसे हल्के ढंग से अप्रभावी बनाना है। आप मॉडल को और विकसित नहीं कर सकते, और यह एक मृत अंत है। इसलिए, पहले क्लासिक एमएल में कुशल बनना बेहतर है। इसका मतलब यह नहीं है कि आपको साल बिताने की ज़रूरत है, उचित समय में मास्टर करना काफी संभव है।

क्या आपके पास कोई मशीन सीखने की घटना है?

हमारे पास एसएनए हैकथॉन हैकथॉन की एक श्रृंखला है। अब तक, दो बार बीत चुके हैं। पहली बार हैकाथन पाठ का विश्लेषण करने और यह अनुमान लगाने की कोशिश करने के लिए समर्पित था कि एक विशेष पद कितने "वर्गों" का होगा। दूसरा हैकथॉन एक साल पहले हुआ था और रेखांकन के विश्लेषण के लिए समर्पित था। कई दिलचस्प घटनाएं हुई हैं। हमने अपने कुछ उपयोगकर्ताओं की "मित्रता" के बारे में जानकारी प्रदान की, ऐसा प्रतीत होता है, 1 जीबी के बारे में डेटा का एक छोटा सा टुकड़ा। लेकिन जब प्रतिभागियों ने अपने पूर्वानुमान भेजना चाहा, तो उनके साथ काम करने की कोशिश की, लगभग कोई भी सफल नहीं हुआ, यहां तक ​​कि 16 और 32 जीबी मेमोरी वाली मशीनों पर भी सब कुछ गिर गया, स्वैप में उड़ गया, काम नहीं करना चाहता था। हमें जल्दबाजी में यह भी बताना पड़ा कि डेटा के साथ कैसे और कैसे काम करना है।

यह पता चला कि कई, यहां तक ​​कि काफी उन्नत मशीन सीखने वाले विशेषज्ञ, जड़ों से उतर गए थे और प्रोग्रामिंग के मूल सिद्धांतों को भूलना शुरू कर दिया था। भूल जाओ कि बॉक्सिंग क्या है, हैश टेबल कैसे संरचित हैं, यदि आप हैश टेबल का उपयोग करते हैं तो मेमोरी ओवरहेड क्या हो सकता है। यदि आप इस सब के बारे में नहीं सोचते हैं और इसे पायथन, जावा या स्काला में हेड-ऑन करते हैं, तो वर्णित समस्याओं का वर्णन किया जाएगा। हमने पायथन में एक डेमो किया, वही रेक अन्य भाषाओं में है। 40 मिलियन लिंक का एक ग्राफ, जो 200 एमबी मेमोरी में फिट हो सकता है, 20 जीबी पर तेजी से विस्फोट करता है, क्योंकि आप भूल गए थे कि बुनियादी डेटा संरचनाएं कैसे व्यवस्थित होती हैं। यह तब बहुत प्रभावशाली था। यहां तक ​​कि अगर आप मशीन सीखने के विशेषज्ञ हैं, तो आपको प्रोग्रामिंग की मूल बातें नहीं भूलना चाहिए।

आपके डेटा प्रोसेसिंग वर्कफ़्लो की व्यवस्था कैसे की जाती है?

उपयोगकर्ता हमारे उत्पादों के पूरे पारिस्थितिकी तंत्र के साथ बातचीत करते हैं। हम सशर्त रूप से दो स्तरों को भेद कर सकते हैं: फ्रंट-एंड एप्लिकेशन (मोबाइल एप्लिकेशन, पोर्टल, मोबाइल संस्करण, विभिन्न अतिरिक्त एप्लिकेशन) और व्यावसायिक तर्क। मोर्चों अक्सर उपयोगकर्ताओं के साथ बातचीत करते हैं और सर्वरों की बहुत सीमित संख्या तक पहुंच होती है, इसलिए व्यापार तर्क में कुछ विशेष तरीके हैं जो मोर्चों को डेटा लॉग करने की अनुमति देते हैं।

यह डेटा अपाचे काफ्का सिंगल डेटा बस में आता है। यह वह मोड़ है जो एक उद्योग मानक बन गया है जिसका उपयोग कच्चे डेटा को इकट्ठा करने के लिए किया जाता है। स्वाभाविक रूप से, काफ्का में कच्चे डेटा का विश्लेषण करना मुश्किल है, इसलिए उन्हें नियमित रूप से बड़े और मोटे हडोप में स्थानांतरित किया जाता है। कोई कह सकता है कि हडोप आखिरी शताब्दी है, अब स्पार्क नियम है। लेकिन Hadoop एक ऐसा प्लेटफॉर्म है जिस पर आप बहुत सारे टूल्स चला सकते हैं। हमारे पास विभिन्न विश्लेषणात्मक उपकरण हैंडो के शीर्ष पर घूम रहे हैं। मैं अक्सर इस वर्गीकरण का सहारा लेता हूं:

• डेटा प्रविष्टि की शैली ।
  
  • बैच प्रसंस्करण। कुछ मात्रा में डेटा है जिसे आप किसी तरह संसाधित करते हैं।
  • स्ट्रीम प्रसंस्करण। आप वास्तविक समय के डेटा के साथ काम करते हैं जो सीधे धाराओं से आता है, इस मामले में हमारे काफ्का से।
    
    यदि बैच प्रसंस्करण के दौरान काफी गंभीर देरी हो सकती है - हमने दिन के दौरान आंकड़े एकत्र किए, और आप रात में मॉडल को प्रशिक्षित करते हैं, तो स्ट्रीमिंग प्रसंस्करण के मामले में, डेटा की प्राप्ति और इसके प्रसंस्करण के बीच सेकंड की इकाइयों में देरी को मापा जाता है।
• संचालन विश्लेषणात्मक । यह प्रक्रिया नियंत्रण और निगरानी है। उत्पादन कार्य करता है, यह मानव हस्तक्षेप के बिना ही काम करना चाहिए।
• इंटरएक्टिव एनालिटिक्स । एक व्यक्ति क्या करता है प्रतिक्रिया की गति यहां महत्वपूर्ण है: उन्होंने कुछ किया, परिणाम मिला।

इन प्रत्येक निशानों में, हमारे पास उत्पादों का अपना पारिस्थितिकी तंत्र है। उदाहरण के लिए, बैच ऑपरेशनल एनालिटिक्स मुख्य रूप से क्लासिक MapReduce, Apache Tez, और स्पार्क का एक सा उपयोग करता है। अगर हम इंटरेक्टिव बैच एनालिटिक्स के बारे में बात कर रहे हैं, तो ये स्पार्क SQL और स्क्रिप्टिंग भाषाएँ Pig और Hive हैं।

बेशक, कोई स्पष्ट रेखा नहीं है, क्योंकि कुछ इंटरैक्टिव भाषाओं का उपयोग अक्सर परिचालन बैच विश्लेषिकी के लिए किया जाता है।और ऑपरेशनल स्ट्रीमिंग एनालिटिक्स के लिए, हम Apache Samza का उपयोग करते हैं। यह लिंक्डइन प्लेटफॉर्म पर आधारित एक दिलचस्प विकास है। हमने इसे 2014 में वापस पेश किया। धाराओं के संवादात्मक विश्लेषण के लिए, यहाँ हम स्पार्क स्ट्रीमिंग का उपयोग करते हैं, इसे वेब इंटरफेस के साथ एकीकृत करते हैं।

एनालिटिक्स के परिणामों को किसी तरह उत्पादन में प्रदान किया जाना चाहिए, अन्यथा वे लाभ नहीं लाते हैं। एक नियम के रूप में, इसके लिए हम एक ही काफ्का का उपयोग करते हैं, लेकिन इसमें कमियां हैं। काफ्का एक कतार है, यह आपको बहुत जल्दी और जल्दी से लिखने की अनुमति देता है, लेकिन यह कुंजी द्वारा पढ़ने की अनुमति नहीं देता है। विशिष्ट कुंजी के लिए पता द्वारा कफका को लिखे गए डेटा को बाहर निकालने के लिए, हमने एक विशेष स्ट्रीमिंग इंडेक्स एप्लिकेशन विकसित किया। यह काफ्का के डेटा को पढ़ता है और इसे दो आधारों में विघटित करता है: अंतर्निहित कैसेंड्रा और साझा मेमोरी, एसएमसी के आधार पर बड़े अंतर्निहित कैश।

यही है, लगभग सभी ऑपरेशन मुख्य रूप से कैश के साथ किए जाते हैं, हमारी हिट दर बहुत अधिक है, लगभग 99%। और व्यापार तर्क सेवाएं पहले से ही स्ट्रीमिंग इंडेक्स के साथ संवाद करती हैं, इससे डेटा प्राप्त करते हैं और इसका उपयोग अपने काम को समायोजित करने के लिए करते हैं। विशेष रूप से, वे क्लिकों की संख्या और पोस्ट के छापों की संख्या के बारे में जानकारी डाउनलोड करते हैं, कितने पहले एक उपयोगकर्ता "वर्ग" को किसी अन्य उपयोगकर्ता को डालता है, और इसी तरह। यही है, सबसे अधिक प्रासंगिक, दिलचस्प सामग्री का चयन करने के लिए सभी जानकारी।

अंत में, कृपया कुछ ब्लिट्ज प्रश्नों का उत्तर दें। आप किस ओएस को पसंद करते हैं?

मैक।

आईडीई?

आइडिया।

आप क्या चुनेंगे: एक स्टार्टअप या एक बड़ी कंपनी?

स्टार्टअप।

क्यों?

गतिशीलता, नई तकनीक।

आपको क्या लगता है 10 साल में नया आईटी ट्रेंड होगा?

मुझे लगता है कि यह एक तंत्रिका इंटरफ़ेस और मानव मस्तिष्क के साथ सीधे संपर्क होगा।

आपके पास पैसे की क्या कमी है?

मैंने लंबे समय से सच्चाई सीखी है: मुख्य बात यह है कि इच्छाएं आपकी क्षमताओं के साथ मेल खाती हैं। शायद मेरे पास वह सब कुछ है जो मैं जीवन से चाहता था।

क्या आपके पास बिटकॉइन हैं?

शुक्रिया नं। मेरे पास बिटकॉइन को लेकर बहुत संशयपूर्ण रवैया है। वास्तव में, एक पूर्ण परमाणु रिएक्टर केवल लोगों को मेरा बिटकॉइन बनाने के लिए काम करता है। हमारी सभी पर्यावरणीय समस्याओं और ऊर्जा संकट को देखते हुए, यह स्पष्ट रूप से मानवता की आवश्यकता नहीं है।

यह सबसे ठोस जवाब है जो मैंने सुना है। आपके मित्र अक्सर आपसे Odnoklassniki के बारे में क्या पूछते हैं?

पत्रकारों के समान: Odnoklassniki में कितने लोग बचे हैं।

आप क्या सुपरहीरो बनना चाहेंगे?

शायद टोनी स्टार्क।

लौह पुरुष?

हां।

क्यों?

प्रौद्योगिकी।