👷🏻 💢 👩🏽‍🤝‍👨🏾 परीक्षा के बिना मास्टर के कार्यक्रम के लिए: ओलंपिक में एक नई दिशा "बिग डेटा" "मैं एक पेशेवर हूं" 👨‍🚒 🧖🏾 💞

हम स्नातक, परास्नातक और विशेषज्ञ " मैं एक पेशेवर हूं " के लिए ओलंपियाड के बारे में कहानी जारी रखता हूं । यह सबसे मजबूत विश्वविद्यालयों द्वारा समर्थित है। आज हम नई प्रतिस्पर्धी दिशा के बारे में बात करेंगे, जिसकी देखरेख ITMO विश्वविद्यालय करता है - "बिग डेटा"।

ITMO विश्वविद्यालय के क्षेत्रों में ओलंपियाड का सामान्य भागीदार "प्रोग्रामिंग और आईटी", "सूचना और साइबर सुरक्षा", " बिग डेटा " - Sberbank है।

^{क्रिस्टोफ स्कोल्ज़ / फ़्लिकर / सीसी बाय-एसए}

ओलंपिक के बारे में कुछ शब्द "मैं एक पेशेवर हूं"

ओलंपियाड विभिन्न विशिष्टताओं के छात्रों के लिए आयोजित किया जाता है।

इस साल 54 क्षेत्रों को पंजीकृत किया गया: गणित, कृत्रिम बुद्धिमत्ता, सॉफ्टवेयर इंजीनियरिंग, इंटरनेट ऑफ थिंग्स, फोटोनिक्स और कई अन्य हैं।

क्यों भाग लेते हैं विजेताओं को परीक्षा के बिना रूसी विश्वविद्यालयों में प्रवेश करने और ओलंपियाड की प्रमुख साझेदार कंपनियों में इंटर्नशिप लेने का अवसर मिलता है : यैंडेक्स, सेर्बैंक, एमआरजी और इसी तरह। जो छात्र अच्छे परिणाम दिखाते हैं, उन्हें शीतकालीन स्कूलों में भाग लेने का अवसर मिलेगा। वहां आप उद्योग के विशेषज्ञों से मिल सकते हैं।

सहभागिता का प्रारूप । पंजीकरण - 22 नवंबर तक। 24 नवंबर से 9 दिसंबर तक ऑनलाइन क्वालिफाइंग राउंड आयोजित किया जाएगा। यह उन लोगों द्वारा याद किया जा सकता है जिन्होंने आयोजकों द्वारा अनुमोदित सूची से कम से कम दो ऑनलाइन पाठ्यक्रम पूरा कर लिया है । फरवरी 2019 में, अंतिम चरण शुरू होगा।

वे देश के विभिन्न विश्वविद्यालयों में व्यक्तिगत रूप से आयोजित किए जाएंगे। आईटीएमओ विश्वविद्यालय ओलंपियाड के पांच क्षेत्रों की देखरेख करता है। हमने उनमें से कुछ के बारे में बात की, विशेष रूप से, पहले रोबोटिक्स के बारे में। आज बिग डेटा की दिशा की कल्पना करो। यह इस साल के ओलंपियाड की नवीनता है।

बिग डेटा डायरेक्शन: व्हाट यू नीड टू नो

दुनिया बिग डेटा पर कई घटनाओं और सेमिनारों की मेजबानी करती है।

यह अंतर्राष्ट्रीय सम्मेलनों SIGMOD , SIGKDD या ICML का उल्लेख करने योग्य है। हमारे देश में इस तरह के आयोजन हो रहे हैं। उदाहरण के लिए, डेटाफेस्ट , रुस्बेस से बिग डेटा कॉन्फ्रेंस और बिग डेटा प्रबंधन और विश्लेषण प्रौद्योगिकियों पर कई मिटैप्स।

ITMO विश्वविद्यालय भी विभिन्न आयोजनों में भाग लेता है और अपना स्वयं का आयोजन करता है। जैसे कि YSC सम्मेलनों की श्रृंखला ( यंग साइंस कॉन्फ्रेंस ), जर्मन ग्रीफ का एक व्याख्यान और हाल ही में एमआरजी में आयोजित कार्यशाला। बिग डेटा नए आईटी सिस्टम और गतिविधि के अन्य क्षेत्रों में समाधान के विकास में एक महत्वपूर्ण स्थान रखता है। ITMO विश्वविद्यालय सक्रिय रूप से सभी क्षेत्रों में बिग डेटा प्रौद्योगिकियों के अनुप्रयोग और विकास के साथ काम कर रहा है।

उदाहरण के लिए, ITMO विश्वविद्यालय के उच्च प्रदर्शन कम्प्यूटिंग विभाग के कर्मचारियों ने Exarch के शब्दार्थ वितरित डेटा वेयरहाउस का निर्माण किया है। यह डेटा को त्वरित पहुंच प्रदान करता है, उनके प्रसंस्करण का अनुकूलन करता है। एक्सार्च आपको एचडीएफएस और कैसेंड्रा जैसे उपकरणों की तुलना में सरल कार्यों को पूरा करने में लगने वाले समय को आधा करने की अनुमति देता है।

बड़े डेटा के साथ काम करने के क्षेत्र में विश्वविद्यालय के अनुभव और वैज्ञानिक हितों को देखते हुए, हम "मैं एक पेशेवर हूं" परियोजना के ढांचे में इस तरह की दिशा खोलने का अवसर नहीं छोड़ सकता। अलेक्जेंडर वेलेरिविच बुकानकोव्स्की, तकनीकी विज्ञान के डॉक्टर, आईटीएमओ विश्वविद्यालय में प्रसारण सूचना प्रौद्योगिकी के निदेशक, ओलंपियाड के इस ट्रैक की देखरेख करते हैं। अब वह और टीम, जिसमें विश्वविद्यालय के स्नातक छात्र शामिल हैं, कार्य तैयार कर रहे हैं।

बिग डेटा लाइन में डेटा एनालिसिस, स्टैटिस्टिक्स एंड मशीन लर्निंग प्लस डिस्ट्रिब्यूटेड कंप्यूटिंग और सिस्टम टेक्नोलॉजीज शामिल हैं। पहली दिशा गणित से संबंधित है और बड़ी मात्रा में डेटा प्रसंस्करण के लिए दृष्टिकोण है। दूसरा विश्लेषणात्मक प्रक्रियाओं के अनुकूलन के उद्देश्य से प्रोग्रामिंग और उच्च-प्रदर्शन कंप्यूटिंग के आसपास बनाया गया है।

प्रतिभागी बिग डेटा के साथ काम करने के लिए Yandex.Conest मंच और सबसे लोकप्रिय प्रोग्रामिंग भाषाओं का उपयोग करेंगे। ये जावा, स्काला और पायथन हैं।

जावा और स्काला आमतौर पर विशेषज्ञों द्वारा ईटीएल और ईएलटी के लिए डेटा इंजीनियर और बुनियादी एल्गोरिदम के कार्यान्वयन के लिए उपयोग किए जाते हैं। पायथन अधिक बार डेटा साइंटिस्ट नामक लोगों के हाथों में एक उपकरण के रूप में कार्य करता है। इसी समय, इन सभी भाषाओं को अपाचे स्पार्क द्वारा समर्थित है, जो इस समय बड़े डेटा को संसाधित करने के लिए सबसे व्यापक और लोकप्रिय समाधान है।

ध्यान दें कि पत्राचार चरण में, प्रोग्रामिंग कार्यों की पेशकश नहीं की जाएगी। यह Yandex.Contest साइट की कुछ सीमाओं के कारण है - प्रसंस्करण के लिए वास्तविक डेटा सरणियों को जोड़ने का कोई तरीका नहीं है। प्रतियोगिता के पूर्णकालिक चरण तक, इस क्षण को हल किया जाएगा।

ओलंपिक की तैयारी कर रहा है

प्रतिभागियों के लिए एक विशेष कार्यक्रम तैयार किया गया है, जिसमें विशेष क्षेत्र में तीन वेबिनार शामिल हैं। ओलम्पियाड कार्यों के उदाहरणों को समझाने और उनका विश्लेषण करने के लिए अग्रणी विश्वविद्यालयों के शिक्षकों द्वारा व्याख्यान दिए जाते हैं।

यहां मूल बड़े डेटा प्रश्नों में से एक का उदाहरण दिया गया है।

64-बिट bmp प्रारूप में विभिन्न रेखापुंज फोटो छवियों की एक बड़ी सरणी समान स्थानीय नेटवर्क में 1000 स्वतंत्र भंडारण नोड्स में समान रूप से वितरित की जाती है। इन फ़ाइलों पर चेहरे की छवियों को उजागर करने के लिए, एक क्लस्टर का उपयोग किया जाता है जिसमें 100 कंप्यूटिंग नोड होते हैं।

एक नोड की तुलना में सभी नोड्स पर प्रसंस्करण प्रक्रिया की एक शुरुआत के साथ, प्रसंस्करण त्वरण केवल 52 गुना है। क्या इसका मतलब यह है कि:

A. क्लस्टर बहुत छोटा है, दक्षता बढ़ाने के लिए अधिक कंप्यूटिंग नोड्स की आवश्यकता होती है;
B. छवि आकार भिन्न हैं, और इस वजह से, उद्देश्यपूर्ण रूप से, अधिक दक्षता प्राप्त करना असंभव है;
A. भंडारण और क्लस्टर के बीच संचार चैनल बहुत कमजोर है;
जी। यह अभी तक स्पष्ट नहीं है। विभिन्न कॉन्फ़िगरेशन में अतिरिक्त प्रयोगों की एक श्रृंखला का संचालन करना आवश्यक है।

उत्तर: जी। एक माप के आधार पर, कारण को स्थापित करना असंभव है, क्योंकि स्थितियों के आधार पर, विकल्प ए और बी दोनों हो सकते हैं।

अलेक्जेंडर बुकानोवस्की द्वारा दिया गया व्याख्यान:

दूसरा व्याख्यान बड़े डेटा प्रोसेसिंग के तकनीकी पहलुओं के बारे में है। ITMO यूनिवर्सिटी अलेक्जेंडर विसराटिन के NKT के अनुसंधान संस्थान में एक वरिष्ठ शोधकर्ता द्वारा आयोजित:

सामान्य तौर पर, ओलंपियाड के कार्यों को हल करने के लिए, उन विशिष्ट तंत्रों का अध्ययन करना आवश्यक है जो बिग डेटा को संसाधित करने के बुनियादी कार्यों से गुजरते हैं। हम Apache Spark और Apache Flink चौखटे (उदाहरण के लिए, फेरबदल या प्रसारण संचालन) में पैटर्न के बारे में बात कर रहे हैं। एक्सपेक्टेशन - मैक्सिमाइजेशन जैसे बड़े डेटा पर मशीन लर्निंग के लिए इस्तेमाल किए जाने वाले पुनरावृत्त एल्गोरिदम के संचालन का अध्ययन करना अच्छा होगा। डेटा संरचनाओं का ज्ञान और आधुनिक कैसंड्रा या क्लिकहाउस स्टोरेज में उपयोग किए जाने वाले डेटा स्टोरेज संगठन के सिद्धांतों को चोट नहीं पहुंचेगी।

हम यह भी सुझाव देते हैं कि आप बिग डेटा प्रोसेसिंग पर यांडेक्स के पाठ्यक्रमों पर ध्यान दें:

वैसे, इन पाठ्यक्रमों में से दो के पारित होने से आप "बिग डेटा" की दिशा में क्वालीफाइंग दौर को दरकिनार कर देंगे और सीधे ओलंपियाड के पूर्णकालिक मंच पर पहुंच पाएंगे।

परीक्षा के बिना मास्टर के कार्यक्रम के लिए: ओलंपिक में एक नई दिशा "बिग डेटा" "मैं एक पेशेवर हूं"

ओलंपिक के बारे में कुछ शब्द "मैं एक पेशेवर हूं"

बिग डेटा डायरेक्शन: व्हाट यू नीड टू नो

ओलंपिक की तैयारी कर रहा है

More articles: