2018 केगल एमएल एंड डीएस सर्वे के परिणामों का विश्लेषण

कागले मशीन सीखने की प्रतियोगिताओं की मेजबानी के लिए एक प्रसिद्ध मंच है जहां पंजीकृत उपयोगकर्ताओं की संख्या 2.5 मिलियन से अधिक हो गई है। विभिन्न देशों के हजारों डेटा वैज्ञानिक प्रतियोगिताओं में भाग लेते हैं, और कागले को दर्शकों की दिलचस्पी है। अक्टूबर 2018 में, दूसरा सर्वेक्षण आयोजित किया गया था और 147 देशों के 23,859 लोगों ने इसका उत्तर दिया था।

सर्वेक्षण में विभिन्न विषयों पर कई दर्जनों प्रश्न थे: लिंग और आयु, शिक्षा और कार्य क्षेत्र, अनुभव और कौशल, प्रोग्रामिंग भाषा और उपयोग किए गए सॉफ़्टवेयर, और बहुत कुछ।

लेकिन कागल केवल प्रतियोगिताओं के लिए एक स्थान नहीं है, डेटा रिसर्च या प्रतियोगिता समाधान (उन्हें गुठली और जुपिटर नोटबुक के समान कहा जाता है) प्रकाशित करना भी संभव है, इसलिए सर्वेक्षण के परिणामों के साथ डेटासेट सार्वजनिक डोमेन में प्रकाशित किया गया था, और इन आंकड़ों के सर्वोत्तम शोध के लिए एक प्रतियोगिता आयोजित की गई थी। मैंने भी भाग लिया और नकद पुरस्कार नहीं लिया, लेकिन मेरे कर्नेल ने वोटों की संख्या में छठा स्थान प्राप्त किया। मैं अपने विश्लेषण के परिणामों को साझा करना चाहूंगा।

बहुत सारे डेटा हैं और उन्हें विभिन्न कोणों से देखा जा सकता है। मुझे विभिन्न देशों के लोगों के बीच मतभेदों में दिलचस्पी थी, इसलिए अधिकांश शोध रूस (हम यहां रहते हैं), अमेरिका (डीएस के संदर्भ में सबसे उन्नत देश), भारत (बहुत डीएस के साथ एक गरीब देश के रूप में) और अन्य देशों के लोगों की तुलना करेंगे।

अधिकांश रेखांकन और विश्लेषण मेरे कर्नेल से लिए गए थे (जो लोग वहां पाइथन कोड देख सकते हैं), लेकिन नए विचार भी हैं।

सामान्य समीक्षा

मैं तुरंत ध्यान देता हूं कि जिन लोगों ने सवालों के जवाब दिए वे डेटा वैज्ञानिकों के प्रतिनिधि प्रतिनिधि नहीं हैं। हर कोई प्रतियोगिताओं पर समय बिताने में दिलचस्पी नहीं रखता है, किसी ने सिर्फ इस मंच के बारे में नहीं सुना है, आखिरकार, ~ 24 हजार उत्तरदाता - सभी कागले प्रतिभागियों का एक छोटा सा हिस्सा। फिर भी, हमारे पास केवल यह डेटा है, इसलिए भविष्य में मैं विचार करूंगा कि उपलब्ध जानकारी देशों और सामान्य तौर पर निष्कर्ष निकालने के लिए पर्याप्त है।

इस मानचित्र पर आप विभिन्न देशों में सर्वेक्षण किए गए लोगों की संख्या देख सकते हैं। थोक में अमेरिका और भारत हैं। वर्तमान में, अमेरिका, शायद, डीएस में एक नेता कहा जा सकता है, साथ ही यह क्षेत्र पहले भी लोकप्रिय हो गया है, जो इतने सारे लोगों को समझाता है। भारत एक विशाल जनसंख्या वाला देश है जो लंबे समय से आईटी पर ध्यान दे रहा है। सिराज रावल डीएस के पाठ्यक्रमों की बदौलत लोकप्रियता हासिल कर रहा है और बड़ी संख्या में भारतीयों को आकर्षित कर रहा है। चीन बहुत पिछड़ गया, लेकिन मुझे लगता है कि यह उनके इंटरनेट की निकटता के कारण है।

रूस, कनाडा, ब्राजील और यूरोप में भी काफी डीएस हैं, लेकिन इन देशों में जनसंख्या बहुत कम है, इसलिए वे प्रतिभागियों की संख्या के मामले में प्रतिस्पर्धा नहीं कर सकते हैं।

आइए देखें कि सर्वेक्षण में लोगों ने कितना समय बिताया। जैसा कि आप देख सकते हैं, कई लोगों ने सर्वेक्षण पर 10-20 मिनट बिताए, जो सवालों के विचारशील उत्तर के लिए काफी है। कुछ ही मिनटों में प्रश्नों के उत्तरदाताओं, जाहिरा तौर पर, बस तुरंत या लगभग तुरंत सर्वेक्षण बंद कर दिया। कोई व्यक्ति सर्वेक्षण को पसंद नहीं कर सकता है, किसी को जवाब देने में बहुत आलसी हो सकता है, कोई उनके लिंग के बारे में सवाल का जवाब नहीं देना चाहता था (नीचे उस पर अधिक)। आम तौर पर, अभी भी ऐसे लोग थे जो सर्वेक्षण में दसियों घंटे बिताते थे। वे शायद खुले टैब के बारे में भूल गए :)

उम्र और सेक्स संरचना

सामान्य तौर पर, तस्वीर आश्चर्यजनक नहीं है। सबसे अधिक, 22-29 या 18-34 वर्ष की आयु के युवा, कागले में भाग लेते हैं। ये स्कूली बच्चे, छात्र और हाल ही में स्नातक हैं। सबसे अधिक संभावना है, वे सभी या तो ज्ञान प्राप्त करना चाहते हैं या काम की तलाश में लाभ प्राप्त करने के लिए प्रभावशाली परिणाम प्राप्त करते हैं। महिलाओं की तुलना में काफी अधिक पुरुष हैं। सामान्य तौर पर, यह आश्चर्य की बात नहीं है, यह देखते हुए कि हमारा क्षेत्र आईटी, गणित और अन्य क्षेत्रों को जोड़ता है जिसमें लंबे समय से लिंग असंतुलन है। क्या इस असंतुलन को ठीक करने के लिए सक्रिय रूप से कुछ करने की आवश्यकता है? मैं इस लेख पर चर्चा नहीं करना पसंद करता हूं।

यह ध्यान देने योग्य है कि लिंग को निर्दिष्ट करना या इसे स्वयं निर्दिष्ट करना संभव नहीं था। आइए देखें सबसे लोकप्रिय विकल्प:

मुक्त रूप में उत्तर के बीच:

• गैर-बाइनरी (पर्याप्त)
• हेलीकाप्टर हमला (शांत! मैं वास्तव में अपने माता-पिता को देखना चाहूंगा)
• पुरुष (केवल इस विकल्प को क्यों नहीं चुना गया?)
• तुम कौन हो मैं एक लिंग है? (अच्छा, क्योंकि आप इंसान हैं?)
• कागल (अच्छी तरह से, कम से कम नहीं काग्लोसोनिक)
• आपकी महारानी (आपने निश्चित रूप से इस सवाल को दूसरों के साथ भ्रमित नहीं किया?)
• थोड़ी धूप। :) (यह बहुत प्यारा है!)
• डबल पुरुष (सीधे माचो!)
• पुरुष और महिला लिंग हैं लिंग नहीं। लिंग हमारे सेक्स से जुड़े रूढ़ियों का एक प्रतिगामी समूह है। पूछें कि हम जनसांख्यिकीय उद्देश्यों के लिए क्या सेक्स कर रहे हैं, अगर यह महत्वपूर्ण है। (SWJ का पता चला!)

विभिन्न देशों की आयु और लिंग संरचना में अंतर को देखना काफी दिलचस्प है।
अमेरिका में, महिलाओं का अनुपात अन्य देशों की तुलना में अधिक है। ऐसा इसलिए है क्योंकि पिछले कुछ वर्षों में, "लैंगिक असमानता" के खिलाफ एक सक्रिय संघर्ष हुआ है। उसे इसकी आवश्यकता है या नहीं यह एक सवाल है, लेकिन परिणाम दिखाई दे रहे हैं।

भारत बड़ी संख्या में युवा डीएस के साथ खड़ा है। ऐसा लगता है कि लोग बचपन से भविष्य और पंप कौशल के बारे में पहले से सोचते हैं। बाद में हम देखेंगे कि भारत में शिक्षा प्रणाली वांछित होने के लिए बहुत कुछ छोड़ देती है।

एक पूरे के रूप में रूस अन्य देशों के समान है।

गठन

जैसा कि पहले उल्लेख किया गया है, भारत में छात्रों या स्नातक का उच्च अनुपात है, लेकिन व्यावहारिक रूप से डॉक्टरेट के कोई धारक नहीं हैं। रूस बाहर खड़ा है क्योंकि कई डीएस की औपचारिक शिक्षा नहीं है (या वे जवाब नहीं देना चाहते थे)। सामान्य तौर पर, यह प्रभावशाली है - जाहिरा तौर पर वे अपनी कड़ी मेहनत और दृढ़ता के साथ डीएस क्षेत्र में प्रवेश करने में सक्षम थे।

यह देखना दिलचस्प है कि विभिन्न देशों में डीएस अलग-अलग दिशाओं से कैसे दिखाई देते हैं। सीएस, आईटी और गणित / सांख्यिकी सभी देशों में प्रबल है, लेकिन भारत में तकनीकी दिशा में एक पूर्वाग्रह दिखाई देता है, अमेरिका में व्यापार अनुशासन (अर्थशास्त्र सहित) अधिक महत्वपूर्ण है, और रूस में भौतिकी भी अधिक महत्वपूर्ण है।

इस सवाल में, लोगों से उनकी राय पूछी गई कि क्या ऑनलाइन प्लेटफ़ॉर्म पर पाठ्यक्रमों की गुणवत्ता पारंपरिक शिक्षा से बेहतर या बदतर है। और यहां आप देशों के बीच अंतर देख सकते हैं। भारत में शिक्षा खराब है। शायद बस पर्याप्त शिक्षक नहीं हैं, हो सकता है कि शिक्षा की गुणवत्ता कम हो, किसी भी मामले में, अधिकांश भारतीय ऑनलाइन पाठ्यक्रम पसंद करते हैं। अमेरिका में एक विकसित शिक्षा प्रणाली है, परिणामस्वरूप, लगभग एक तिहाई लोग मानते हैं कि विश्वविद्यालय की शिक्षा उच्च गुणवत्ता की है। रूस और दुनिया के बाकी हिस्सों में, पारंपरिक शिक्षा की गुणवत्ता खराब नहीं है और प्रतियोगियों के लिए लगभग नीच है।

नौकरी का शीर्षक

स्थिति को इंगित करने के लिए पूछे जाने वाले प्रश्नों में से एक के रूप में, यह मुझे लगता है कि इस रिपोर्ट के कार्यों के लिए इतने सारे विकल्पों की आवश्यकता नहीं है। कुछ विचार के बाद, मैंने 7 समूह बनाए और निम्नलिखित चित्र प्राप्त किया:

यहां हम एक और पुष्टि देखते हैं कि कई हगल भारतीय छात्र हैं और / या अधिक तकनीकी क्षेत्रों के प्रतिनिधि हैं। अमेरिका विश्लेषिकी पर जोर देने के लिए खड़ा है, और रूस लागू क्षेत्रों में बाहर खड़ा है।

लेकिन आइए एक और विस्तृत तस्वीर देखें:

यहां हम देखते हैं कि किसी व्यक्ति ने अपनी वर्तमान स्थिति में कितने समय तक काम किया है।

पहली चीज जो आपकी आंख को पकड़ती है - सभी पदों पर अधिकांश लोग नए हैं। मैं इस तथ्य के लिए 2 स्पष्टीकरण देखता हूं: या तो विश्वविद्यालय के स्नातक या काम के दायरे को बदल दिया है। डीएस / एमएल पर हाइप हाल ही में शुरू हुआ, और यह मुझे लगता है, केवल मजबूत हो रहा है, जिसके परिणामस्वरूप अधिक से अधिक लोग एक नई दिशा में शामिल होना चाहते हैं और अपनी खुद की आर्टिफिशियल इंटेलिजेंस बनाना चाहते हैं (क्योंकि डीएस के बाहर के लोग शायद ही कभी महसूस करते हैं कि कोई एआई नहीं होगा और आने वाले समय में नहीं होगा। वर्ष)।

एक और दिलचस्प घटना अनुभवी डेटा इंजीनियर का एक बड़ा हिस्सा है। मुझे लगता है कि बहुत सारे अनुभवी प्रोग्रामर ने डीएस को रोल करने का फैसला किया, लेकिन डीई उनके करीब था - अधिकांश उपलब्ध कौशल उत्पादन में एमएल समाधान के आउटपुट के लिए उपयुक्त हैं। यह दिलचस्प है कि रूस में 5-10 और 10-15 साल के अनुभव से डीई की हिस्सेदारी काफी अधिक है, जाहिरा तौर पर ये जावा और अन्य भाषाओं में वरिष्ठ विकास हैं, जो उच्च-लोड सिस्टम की मांग में हैं। व्यक्तिगत रूप से, मैं रूस में अनुभवी शोधकर्ताओं के उच्च अनुपात से अलग-अलग आश्चर्यचकित हूं, जब तक कि मैं इसके कारणों को नहीं समझता।

अमेरिका विश्लेषकों के एक उच्च अनुपात के साथ अन्य देशों के बीच बाहर खड़ा है। इसके कई कारण हैं: तथ्य यह है कि अमेरिका में डीएस को अक्सर विश्लेषणात्मक पदों के लिए लिया जाता है, और यह तथ्य कि कई बड़ी कंपनियों में एक डेटा विश्लेषक वास्तव में डीएस का काम करता है, और यह कि यह आंकड़ों को पीछे हटा सकता है।

चूंकि हम काम के बारे में बात कर रहे हैं, हम वेतन के मुद्दे पर नहीं छू सकते हैं।

यहां सब कुछ काफी अपेक्षित है: भारत में वेतन सबसे कम है, रूस में थोड़ा अधिक है, और अमेरिकी वेतन सबसे अधिक है।

आत्म विश्वास

2 सवालों के जवाब का संयोजन मुझे बहुत दिलचस्प लगा। पहला सवाल एमएल में अनुभव है, दूसरा यह है कि क्या आप खुद को डीएस मानते हैं। यहां आप या तो विश्वदृष्टि और आत्म-धारणा में अंतर देख सकते हैं, या मुद्दों की एक अलग समझ।

अधिकांश देशों में, दो साल से कम के अनुभव वाले नए लोगों की मिश्रित राय है - कोई पहले से ही आत्मविश्वासी है, कोई बहुत ही संदिग्ध है। जैसे-जैसे अनुभव बढ़ता है, आत्मविश्वास बढ़ता है। रूस में, शुरुआती के विशाल बहुमत खुद को डीएस मानते हैं, लेकिन अनुभव के लाभ के साथ, इस पर विश्वास कम हो जाता है।

आगे के सवाल जाएंगे जहां कई जवाब दिए जा सकते हैं, इसलिए शेयरों का योग 100% से अधिक दे सकता है

संसाधनों का दौरा किया

कागल और मीडियम सब कुछ सम्मान करते हैं। रूस में, वे ArXiV पर लेख पढ़ना पसंद करते हैं, अमेरिका में वे https://fivethirtyeight.com पसंद करते हैं (और वे लगभग इसे अन्य देशों में कभी नहीं जाते हैं), और भारत में वे सिराज से प्यार करते हैं।

मैं उन ओडेसाई का भी उल्लेख करना चाहूंगा, जो उन लोगों के बीच सबसे लोकप्रिय संसाधन बन गए हैं, जिन्हें लोग स्वयं निर्दिष्ट करते हैं। हमारे समुदाय में और कौन नहीं है, शामिल हों :)

आईडीई और प्रोग्रामिंग भाषाएं

आईडीई का उपयोग करने के संदर्भ में, लोगों को 2 मुख्य समूहों में विभाजित किया जा सकता है: एकीकृत दृश्य के साथ आईडीई (जुपिटर नोटबुक, RStudio, स्पाइडर) का उपयोग करना और क्लासिक आईडीई (वीएस कोड, विम) का उपयोग करना।

अमेरिका आर का उपयोग करते हुए विश्लेषकों के एक उच्च अनुपात के साथ खड़ा है, और परिणामस्वरूप, आरएसएसडीओ। हालाँकि, विड या एटम जैसे विचार भी जाने जाते हैं। Pycharm रूस में न केवल DS के बीच लोकप्रिय है, बल्कि सामान्य रूप से प्रोग्रामर के बीच भी लोकप्रिय है, इसलिए इसका उपयोग करने वाले लोगों की संख्या आश्चर्यजनक नहीं है।

एसक्यूएल, जावा, बैश, सी / सी ++ भी डीएस के लिए महत्वपूर्ण भाषाएं हैं।

चौखटे

यह मेरे लिए कुछ आश्चर्य की बात है कि DL फ्रेमवर्क का उपयोग करने का हिस्सा स्केलेरन का उपयोग करने के हिस्से से बहुत कम नहीं है। शायद कई तंत्रिका नेटवर्क से आकर्षित होते हैं, और वे शुरू से ही उनका अध्ययन करना चाहते हैं; शायद एक व्यवसाय अपने कार्यों में न्यूरॉन्स का उपयोग करना शुरू कर देता है; और शायद यह सिर्फ इतना है कि कई कागले प्रतिभागी चित्रों और ग्रंथों में प्रतियोगिताओं की कोशिश करने में रुचि रखते हैं।

अलग से, मैं रूस में पाइटोरेक और ढाल बूस्टिंग पुस्तकालयों का उपयोग करने वाले लोगों के उच्च अनुपात को नोट करना चाहूंगा। LGB / XGB / कैटबॉस्ट ग्रेडिएंट बूस्टिंग का सबसे प्रसिद्ध कार्यान्वयन है, और वे सारणीबद्ध डेटा पर उच्च गुणवत्ता दिखाते हैं। Pytorch एक लंबे समय पहले दिखाई दिया, लेकिन पिछले 1-2 वर्षों में उच्च लोकप्रियता हासिल करना शुरू कर दिया।

दृश्य

विज़ुअलाइज़ेशन के बिना क्या डेटा विश्लेषण! सामान्य तौर पर, तस्वीर आश्चर्यजनक नहीं है। R ggplot2 और चमकदार है। पायथन मैटलोट्लिब + सीबोर्न, प्लॉटली / बोकेह है।

डी 3 आपको शांत दृश्य बनाने की अनुमति देता है, लेकिन इसके साथ काम करना बहुत कठिन है।
Altair वेगा-लाइट पर एक पुस्तकालय है, मुझे आशा है कि भविष्य में यह इसमें उपलब्ध दिलचस्प इंटरैक्टिव विज़ुअलाइज़ेशन के लिए लोकप्रियता प्राप्त करेगा।
झांकी और अन्य बीआई सॉफ्टवेयर लोकप्रिय बने हुए हैं, जो आश्चर्य की बात नहीं है - ये उच्च गुणवत्ता वाले समाधान हैं जो समर्थित हैं और किसी भी चीज़ से बहुत कुछ एकीकृत कर सकते हैं।

ऑनलाइन शिक्षा के लिए प्लेटफार्म

कौरसेरा ऑनलाइन शिक्षा पाठ्यक्रमों में एक मार्केट लीडर है। वहाँ आप लगभग किसी भी विषय और स्तर पर पाठ्यक्रम पा सकते हैं। एक महत्वपूर्ण कारक यह है कि आप वित्तीय सहायता के लिए आवेदन कर सकते हैं और मुफ्त में पाठ्यक्रम ले सकते हैं। उडनेस, उडेमी और एडएक्स कम लोकप्रिय हैं, लेकिन फिर भी, आप उन पर बड़ी संख्या में दिलचस्प पाठ्यक्रम पा सकते हैं। कागले ने कुछ समय पहले अपनी शैक्षिक पहल शुरू की। अच्छी बात यह है कि पाठ्यक्रमों को गुठली के रूप में बनाया जाता है, जो कागल की क्षमताओं का उपयोग करने का अभ्यास देता है। डेटाकैम्प के पाठ्यक्रमों में एक विशिष्ट प्रारूप है जो आपको विशिष्ट विषयों पर बिंदु अभ्यास देने की अनुमति देता है, लेकिन इस प्लेटफॉर्म में गहराई से ज्ञान प्रदान करने की संभावना नहीं है।

अलग-अलग, यह ध्यान देने योग्य है कि ods.ai से mls.course.ai उपयोगकर्ताओं द्वारा निर्दिष्ट विकल्पों में से सबसे लोकप्रिय है। हाल ही में, पाठ्यक्रम का चौथा सत्र समाप्त हुआ जिसमें 7.5 हजार से अधिक लोग पंजीकृत थे। इस तथ्य के कारण कि मुख्य संचार सुस्त रूप से होता है, पाठ्यक्रम लोगों के प्रभावशाली अनुपात के साथ समाप्त होता है - अन्य मुफ्त एमएल पाठ्यक्रमों की तुलना में काफी अधिक है। यह पाठ्यक्रम न केवल सैद्धांतिक ज्ञान और जटिल होमवर्क प्रदान करता है, बल्कि कागल में प्रतियोगिताओं में भाग लेने का अभ्यास भी करता है।

व्याख्या उपकरण

अंत में, आइए देखें कि विभिन्न लोग मॉडल के परिणामों का विश्लेषण कैसे करते हैं।
स्वयं पूर्वानुमानों का विश्लेषण और लक्ष्य चर के वितरण के साथ उनके वितरण की तुलना विश्लेषण का एक बुनियादी लेकिन गुणात्मक तरीका है। रैखिक मॉडल के गुणांक या लकड़ी के मॉडल में सुविधाओं के महत्व का अध्ययन करने से आपको उन विशेषताओं को खोजने की अनुमति मिलती है जो भविष्यवाणियों को प्रभावित करती हैं।

इसके अलावा, मॉडल विश्लेषण के लिए विशेष रूपरेखा हाल ही में लोकप्रिय हो गए हैं: SHAP, LIME, और ELI5। वे हमें न केवल सरल मॉडल की व्याख्या करने की अनुमति देते हैं, बल्कि उनमें से कुछ भी जिन्हें ब्लैक बॉक्स माना जाता है।

परिणाम

हमने देखा कि कैसे डीएस दुनिया के विभिन्न देशों में एक दूसरे से अलग हैं, और यह भी पता लगाया है कि उन्हें क्या साथ लाता है। यह विश्लेषण सभी उपलब्ध डेटा को कवर नहीं करता है, लेकिन उन लोगों को दिखाता है जो मुझे सबसे दिलचस्प लगते थे। जो लोग इस डेटा पर अपने शोध का संचालन कर सकते हैं :)

आपका ध्यान के लिए धन्यवाद!