बुडापेस्ट सम्मेलन (29-31 अक्टूबर) डेटा क्रंच

इस साल मैंने डेटा एनालिटिक्स और डेटा एंगेजिंग को समर्पित बुडापेस्ट में डेटा क्रंच सम्मेलन में भाग लिया। लिंक्डिन, उबेर, जीथब और कई दूसरी-स्तरीय कंपनियों के वक्ताओं को इस सम्मेलन में आमंत्रित किया जाता है, जहां लोग अपने अनुभव साझा करते हैं या डेटा टूल के बारे में बात करते हैं। खैर, जो बात मेरे लिए दिलचस्प है, वह यह है कि सम्मेलन के प्रतिभागियों से यह समझने के लिए बात करें कि हमारी रूसी वास्तविकता यूरोप और अमेरिका से कैसे भिन्न है।

मुझे यह नोट करने के लिए:

1. पूर्ण स्टैक डेटा Sceince - 2 रिपोर्टें लगभग उसी विषय के लिए समर्पित थीं जो मैंने पहले लिखा था । डीएस / डीए को एक व्यक्ति बनाएं जो समस्याओं को शुरू से अंत तक हल कर सकता है। कार्य को "कार्यों" में विभाजित न करें, लेकिन डीएस को "विषयों" में विभाजित करें। यानी डेटा के साथ काम करना उन लोगों के बीच भागों में विभाजन नहीं है जो मॉडल तैयार करते हैं, प्रक्रिया करते हैं, विश्लेषण करते हैं और कल्पना करते हैं, लेकिन विशेषज्ञों के बीच "विषयों" का यह विभाजन जो पूरी तरह से सब कुछ कर सकता है।
2. शून्य से नायक तक - लोगों ने इस बारे में बात की कि उन्होंने अपने डीएस विभाग को खरोंच से कैसे बनाया। सामान्य तौर पर, सामान्य रूप से, सामान्य ध्वनि विचार काम करते हैं:
   
   • न्यूनतम टीम के आकार के रूप में 2 डीएस।
   • और 2 डेटा उन्हें संलग्न।
   • बी उत्पाद के मालिक, जो व्यवसाय के साथ संवाद करेंगे।
   • एक अच्छा पारिस्थितिकी तंत्र बनाएं। स्पीकर आमतौर पर ओपन-सोर्स के लिए डूब जाते हैं। हर रिपोर्ट में आमतौर पर Hadoop का उल्लेख होता है। समस्या उस मामले में कई मायनों में सही है जिसमें मैं काम करता हूं, साथ ही साथ कई पाठकों को, किसी भी Hadoop की आवश्यकता नहीं है, क्योंकि जहां भी लाभ होगा वहां डेटा की मात्रा नहीं है। सामान्य तौर पर, स्रोत खोलने के लिए मेरा दृष्टिकोण प्रयास करना, अध्ययन करना है, लेकिन यदि आपकी कंपनी ने पहले से ही कुछ खरीदा है, तो मालिकाना सॉफ्टवेयर के पारिस्थितिक तंत्र में रहना जारी रखना अन्य तकनीकों में भाग लेने और फिर उन्हें "पेयरिंग" करने या उन्हें खरोंच से सीखने की तुलना में अधिक लाभदायक हो सकता है।
   • आप जो कर रहे हैं, उसे परखें। ए / बी परीक्षण और परिणामों का मूल्यांकन। अजीब तरह से पर्याप्त है, लेकिन सरल सलाह व्यवहार में सब कुछ नहीं करती है।
3. Uber में डेटा का डेमोक्रेटाइजेशन - इसके बारे में मैंने पहले से ही एक अलग लेख लिखा था
4. एआई नैतिकता - चर्चा की कि कई कार्यों में कई मौलिक रूप से अलग-अलग ऑप्टिमा हैं। सशर्त रूप से, आपके पास "प्रभावी" निर्णय और "नैतिक निर्णय" हो सकता है। और समस्या यह है कि उनका अधिकतमकरण विभिन्न परिस्थितियों में होता है। और गणित या एल्गोरिदम में कोई सही समाधान नहीं है। यह लोगों को तय करना है कि वे अपनी "कारों" से क्या चाहते हैं। एक उदाहरण के रूप में, स्पीकर ने कहा कि क्राइम रिलैप्स रिस्क असेसमेंट एल्गोरिथ्म काले अमेरिकियों को बढ़ा हुआ रिस्क असेसमेंट देता है। यह जोखिम मूल्यांकन पैरोल पर निर्णय लेने के लिए उपयोग किया जाता है। दुविधा यह है कि अश्वेतों की सामाजिक रूप से अस्वीकार्य "भेदभाव" अपराध में एक निष्पक्ष रूप से अस्वीकार्य बाद में वृद्धि हुई है, जो व्यर्थ में अनुसूची से पहले जारी की गई है। और दोनों समाधानों को एक एल्गोरिथ्म में संयोजित करना असंभव है। दिलचस्प बात यह है कि संयुक्त राज्य का अश्वेत समुदाय मुख्य रूप से अपने ही "भाइयों और बहनों" के खिलाफ अपराध करता है, इसलिए गोरों और अश्वेतों को "समान" करने का प्रयास भी जोखिम में नहीं है, लेकिन जारी किए गए लोगों की संख्या के अनुसार, यह अश्वेतों के बीच हिंसा के शिकार लोगों की संख्या में असमान वृद्धि का कारण बनेगा।
5. एमएल और सूचना युद्ध - दोस्त ने बताया कि कैसे, एक दूसरे को पाठ और लिंक का विश्लेषण करके, और फेसबुक पर उन्होंने ट्रम्प चुनाव से पहले फेसबुक पर कुछ संदिग्ध गतिविधि पाई। उनका दावा है कि किसी ने बड़े पैमाने पर "रूसी" एजेंडे का निरीक्षण किया, ताकि रूढ़िवादी समूहों द्वारा बोली जाने वाली भाषा अधिक नस्लवादी हो जाए। उन्होंने नियो-नाजी समूहों में इस्तेमाल की जाने वाली शब्दावली का विश्लेषण करके इसकी जांच की और फिर परंपरावादियों की भाषा के साथ इसकी तुलना की। और उन्होंने पाया कि ट्रम्प के चुनाव से पहले लेक्सिकन बहुत करीब आने लगे, हालांकि ऐसा कुछ भी पहले नहीं देखा गया था। सामान्य तौर पर, उन्होंने संकेत दिया कि पुतिन को दोष देना है :)

सम्मेलन में लोगों के साथ बातचीत से:

1. आर बनाम पायथन। लोग दो उपकरणों के साथ रहते हैं और आमतौर पर आर को विज्ञान और गणित में पृष्ठभूमि से लोगों द्वारा प्यार किया जाता है, और अजगर को विकास में पृष्ठभूमि से लोगों द्वारा प्यार किया जाता है। आर का सबसे आम उपयोग पाइपलाइन के लिए खोजपूर्ण, पायथन के लिए है। मॉडल दोनों पर लिखते हैं। उदाहरण के लिए, आर पर मेरे पास उत्पादन मॉडल बनाने का निजी अनुभव है।
2. ए / बी परीक्षण - अपने कार्यों का एक नियमित मूल्यांकन लागू करना और ए / बी परीक्षणों के आधार पर समाधान चुनना अभी भी कंपनियों के लिए एक दुर्लभ अभ्यास है (एक दर्जन समूहों में से, जिनसे मैंने बात की थी, केवल 1 में ए / बी परीक्षण हैं)। लोग ए / बी परीक्षणों पर ऊर्जा खर्च नहीं करना चाहते हैं, वे कहते हैं कि वे पहले से ही जानते हैं या सीईओ "देखता है" कैसे ...
3. सभी के पास संचार समस्याएं हैं - प्रबंधकों के साथ, ग्राहकों के साथ, कंपनी के भीतर आदि। लगभग सभी टीमों के लिए संचार में सुधार एक विकास बिंदु है।
4. मशीन लर्निंग पर मुख्य काम सबसे अच्छे मॉडल को चुनने की रेखा के साथ नहीं होता है, लेकिन इसमें एनेर्जी और डेटा तैयार करना शामिल है। न तो Google और न ही facebook में "गुप्त" मॉडल हैं, लेकिन इन मॉडलों के लिए डेटा के प्रसंस्करण और तैयारी में उनके एल्गोरिदम की प्रभावशीलता अधिक संभावना है। यह आम तौर पर अच्छी खबर है, क्योंकि इसका मतलब है कि सार्वजनिक xgboost या प्रतिगमन अधिकांश कार्यों के लिए अत्याधुनिक एल्गोरिदम है।