बिग डेटा - ब्रो या ब्रो नहीं

Sistema_VC फाउंडेशन द्वारा आयोजित बिग डेटा सम्मेलन, मीट बिग ब्रदर, मास्को में आयोजित किया गया था। सब कुछ वहाँ था: एक इज़राइली डेवलपर आया जो किसी से भी सौ गुना तेजी से डेटा को संसाधित करना जानता है। एमटीएस ने कहा कि आईटी कंपनी नहीं बनने पर एमटीएस मर जाएगा। रूसी व्यापारी अलार्म उठा रहे थे, इसे दूर करने की कोशिश कर रहे थे।



ऐसा लगता है कि हर किसी को पहले से ही इस तथ्य के लिए इस्तेमाल किया जाता है कि बड़े डेटा के बारे में बातचीत में, खासकर यदि वे दार्शनिक हैं, जल्दी या बाद में ऑर्वेलियन पर्यवेक्षक बिग ब्रदर दिखाई देंगे - इंटरनेट पर सभी विवादों में हिटलर की तरह। आयोजकों ने शीर्षक में तुरंत मुहर नहीं खींची और हराया। चिंता - उचित या नहीं - प्रचार का हिस्सा है, क्या करना है।

वास्तव में, वे प्राचीनता से बड़ी तिथि के बारे में सपना देख रहे हैं - सभी प्रकार के प्राचीन मिस्रियों से, जब लोगों को यह समझने के लिए फिर से लिखा गया कि उन्हें और अधिक प्रभावी ढंग से कैसे उपयोग किया जाए। पीटर I के समय में, बड़े डेटा (कर संग्रह के लिए जनगणना) को तीन साल के लिए एकत्र किया गया था, और फिर एक और तीन वर्षों के लिए संसाधित किया गया था। अब, इस प्रक्रिया को छोड़कर, हमने स्वयं तार, गति और डेटा प्रकार जोड़े। दक्षता, अनुकूलन और मानव जाति के एक और भी अधिक प्राचीन सपने के नाम पर - ताकि सब कुछ किसी न किसी तरह से स्व-निर्मित हो जाए।

व्यवसायों का सपना है कि सब कुछ खुद स्पष्ट रूप से खंडित होना चाहिए, यह तय किया जाना चाहिए कि कौन, क्या और कब बेचना है। खरीदार चाहते हैं कि सब कुछ खरीदा जाए, चालू किया जाए, चबाया जाए और पचाया जाए। सम्मेलन में, स्मार्ट लोग इस पर चर्चा करने के लिए एकत्र हुए कि इसे कैसे प्राप्त किया जाए। मैंने चालाकी से उनकी बात सुनी, आसपास पूछा और सब कुछ लिख दिया।

यंग कॉललेबाउट और बिग डेटा में मनोविज्ञान

सम्मेलन की शुरुआत मनोवैज्ञानिक जोनल कॉलबाउट के एक भाषण से हुई। वह DataSine के लिए काम करता है। मशीन लर्निंग और मनोवैज्ञानिक मॉडल की मदद से, वे दर्शकों को सेगमेंट करते हैं और अध्ययन करते हैं कि कौन से विज्ञापनों को दिखाना है।

यह इस तरह से काम करता है: वे उन सभी डेटा को इकट्ठा करते हैं जो वे पाते हैं - इंटरनेट पर रिकॉर्ड से लेकर भुगतान के इतिहास तक - और मशीन लर्निंग की मदद से वे बिग फाइव के मनोवैज्ञानिक मॉडल पर उन्हें सुपरमूज करते हैं।

बहिर्मुखता - introversion
लगाव - अलगाव
आत्म-नियंत्रण - आवेग
भावनात्मक अस्थिरता - भावनात्मक स्थिरता
अभिव्यंजना - व्यावहारिकता

योरगन का दावा है कि उनकी कंपनी चौथे बिंदु का उपयोग नहीं करती है, क्योंकि यह नैतिक नहीं है। उनके अनुसार, कथित तौर पर, हम किसी व्यक्ति के मानसिक स्वास्थ्य के बारे में निष्कर्ष निकाल सकते हैं और उसका उपयोग उसके खिलाफ कर सकते हैं।

वितरण विधियों, निश्चित रूप से, व्यक्ति द्वारा कटौती की जाती है, और, अगर गहराई में नहीं जाना है, तो रूढ़िवादी प्रतीत होता है। उदाहरण के लिए, यॉगन कहता है कि यदि आप बहुत सारी किताबें खरीदते हैं, तो आप सबसे अधिक अंतर्मुखी हैं। यदि आप अक्सर सलाखों में पैसा खर्च करते हैं - शायद एक बहिर्मुखी (क्योंकि अंतर्मुखी घर पर बैठे हैं और चुप हैं)।

सवाल करने के लिए "और क्यों?" योरगन की चिकित्सा प्रतिक्रिया है। बात हार्मोन एसिटिलकोलाइन है, जिसके लिए सभी लोगों की संवेदनशीलता अलग-अलग है। यदि कोई व्यक्ति हार्मोन के प्रति संवेदनशील है, तो यह अंतर्मुखी हो जाता है, और लोगों के साथ बातचीत के मजबूत उत्सर्जन के साथ, यह एक गांठ में बंद हो जाता है और जीभ को निगल जाता है। एक्स्ट्रोवर्ट्स में हार्मोन उत्तेजना के लिए एक उच्च सीमा होती है। इसलिए, कुछ समय के लिए भीड़, शोर और संचार उन्हें परेशान नहीं कर सकते हैं।

हार्मोन न केवल लोगों की दृष्टि में अलग हो जाता है, यह कई चीजों पर प्रतिक्रिया करता है - रंग, ध्वनि, शब्द। इसलिए, विलोपन और परिचय के लिए, योरगन की टीम विभिन्न विज्ञापन पत्र बनाती है।

उदाहरण के लिए, हम समान आंकड़े और तथ्यों का उपयोग करते हैं, लेकिन हम विभिन्न तरीकों से मेलिंग सूची में अक्षरों को व्यवस्थित करते हैं। विलुप्त होने के लिए हम नारंगी चित्रों को उज्ज्वल करते हैं। अंतर्मुखी के लिए, नीला और ठंडा। मशीन लर्निंग इन तस्वीरों को लेने में हमारी मदद करता है। इस तथ्य से कि आप ईमेल में एक तस्वीर बदलते हैं, लिंक पर क्लिक की संख्या 40% बढ़ जाती है। यदि आप पाठ को कॉन्फ़िगर भी करते हैं, तो गुणांक 80% तक बढ़ जाता है।

जब योरगन से उत्सुकता से पूछा गया कि क्या बड़े डेटा की शुरूआत हम सभी को अंतर्मुखी में बदल देगी, तो उन्होंने कहा कि नहीं, उन्होंने जवाब नहीं दिया। कैसे पैदा हुए, इसलिए तुम हो जाओगे

लेकिन यह परेशान करने वाले सवालों में सबसे असामान्य था। बाकी लोग क्लासिक्स में चले गए - लेकिन क्या कंपनियां आपके इन मनोवैज्ञानिक गैजेट के साथ हमें हेरफेर करना शुरू नहीं करेंगी?

कई कंपनियां उस स्तर तक भी नहीं पहुंची हैं जहां वे बड़े डेटा का उपयोग कर सकते हैं, बहुत कम किसी को उनकी मदद से हेरफेर करते हैं। और सामान्य तौर पर, हम आपको हेरफेर नहीं करने जा रहे हैं। हम आपको अपनी इच्छा के विरुद्ध कुछ करने के लिए मजबूर नहीं करना चाहते। हम केवल ऑफ़र को निजीकृत करते हैं ताकि हर कोई खुश हो।

अमी गैल और GPU स्पीड डेटाबेस

सम्मेलन में तेल अवीव से SQream के संस्थापक अमी गैल आए। उनकी कंपनी अपने डेटाबेस को विकसित कर रही है, जो बयान के अनुसार, GPU के लिए प्रसंस्करण अनुरोधों के कारण सामान्य से 100 गुना तेज है। यह इसे बड़े डेटा के साथ काम करने के लिए उपयुक्त बनाता है।

उदाहरणों में, अमी ने इजरायल कैंसर रिसर्च सेंटर के मामले के बारे में बात की। दशकों से हजारों रोगियों के उपचार पर एक डेटाबेस है, प्रत्येक रोगी के जीन के नमूने हैं, सभी विसंगतियों, प्रतिक्रियाओं और निश्चित रूप से, एक विशेष उपचार की सफलता के बारे में जानकारी।

विशाल डेटासेटों को मिलाकर, वैज्ञानिकों ने प्रत्येक नए रोगी के लिए सबसे उपयुक्त उपचार विधियों का चयन करना सीखा। समस्या यह थी कि ऐसी तालिका के केवल एक कॉलम में 6 बिलियन तक के रिकॉर्ड हो सकते हैं। पहले, विश्लेषण में 2 महीने लगते थे - अब इसमें 2 घंटे लगते हैं।

यही है, जैसे ही वैज्ञानिकों को रोगी के डीएनए का एक नमूना प्राप्त होता है, वे तुरंत जानते हैं कि सफलता के लिए कौन सी विधि सबसे अधिक संभावना है।

मुझे अम्मी, उनकी कंपनी और प्रौद्योगिकी के बारे में अधिक जानने की दिलचस्पी थी, इसलिए मैंने उनसे व्यक्तिगत रूप से सब कुछ के बारे में पूछा।



अमी ने तेल अवीव विश्वविद्यालय में कंप्यूटर विज्ञान और भौतिकी का अध्ययन किया, फिर एक प्रोग्रामर के रूप में काम किया और 1996 में अपनी पहली कंपनी की स्थापना की। उनके अनुसार, तब यह तकनीकी स्टार्टअप के आधुनिक रोजमर्रा के जीवन की तरह नहीं था: "हमें कुछ करना था और जीवित रहने के लिए तुरंत इसे ग्राहकों को बेचना था।"

2000 में, उन्होंने भागीदारों के साथ मैजिक सॉफ्टवेयर की स्थापना की। वहां अमी ने तकनीकी निदेशक और आरएंडडी के उपाध्यक्ष का पद संभाला, लेकिन धीरे-धीरे प्रौद्योगिकी से व्यवसाय में स्थानांतरित हो गया - "अंधेरे पक्ष में चला गया।"

तीन साल बाद मैजिक छोड़ने के बाद, अमी ने स्टार्टअप्स में निवेश करना शुरू किया। "अगर स्टार्टअप रिश्तेदारों, दोस्तों और मूर्खों पर भरोसा करता है, तो मैं आखिरी में से एक था," वह हंसता है।

और अंत में, 2010 में, एक रूसी प्रवासी, कोस्ट्या वरकिन के साथ, अमी ने एक जीपीयू का उपयोग करके डेटाबेस को गति देने और SQream की स्थापना के विचार के साथ आया।

- जब यह विचार सामने आया, तब कोई सनसनी नहीं थी, "हाँ, यह स्पष्ट है!" कोई भी अभी भी GPU पर SQL क्वेरी को संसाधित क्यों नहीं कर रहा है? "

आज स्पष्ट है। लेकिन जब हमने शुरुआत की, तो कोई भी हमारी बात नहीं सुनना चाहता था। यह सभी को लग रहा था कि यह असंभव था।

यह विचार सेंट पीटर्सबर्ग से मेरे सह-संस्थापक कोस्त्या वरकिन के पास आया। लेकिन वह इतना असंभव लग रहा था कि उसने तुरंत इसे आवाज देने का फैसला नहीं किया। और मुझे लगा - GPU का उपयोग करना गेम के लिए नहीं है, बल्कि डेटा प्रोसेसिंग के लिए है - यह अच्छा है। हमने काम करना शुरू कर दिया, इस दृष्टिकोण को कंपनी के दिल में डाल दिया।

बेशक, हमारा मानना ​​था कि GPU डेटा के लिए बहुत अच्छे थे, और हर कोई इसे वहीं उपयोग करना शुरू कर देगा। लेकिन उन्होंने शुरुआत नहीं की। मुझे याद है कि जब मैं निवेश जुटाना चाहता था, तो व्यवसाय के लोगों ने इस तरह प्रतिक्रिया व्यक्त की: “क्या आप मजाक कर रहे हैं? GPU डाटा प्रोसेसिंग? ऐसा नहीं होता, छोड़ो। ”

केवल छह साल बाद (लगभग दो से तीन साल पहले) जीपीआई एआई के साथ अपने काम की बदौलत मुख्यधारा में शामिल हो गया, गहरी मशीन लर्निंग। और, ज़ाहिर है, अब GPU पर डेटा संसाधित करना एक अजीब विचार की तरह प्रतीत होता है।

"क्या आपने जिन लोगों को विचार का प्रस्ताव दिया है, उन्होंने गति देखी है?"

देखा, सबने देखा। लेकिन तथ्य यह है कि GPU को वेक्टर ग्राफिक्स के साथ काम करने के लिए डिज़ाइन किया गया है। और जिस तरह से हम डेटा प्रोसेस करते हैं वह वेक्टर के साथ काम करने का सटीक विपरीत है। चिप को इस तरह की गणना के लिए डिज़ाइन नहीं किया गया है। इसलिए, सॉफ़्टवेयर के साथ, हमें प्रोसेसर को यह विश्वास करना चाहिए कि यह प्रक्रिया करता है, उदाहरण के लिए, वीडियो, हालांकि यह ऐसा नहीं है। यही है, आपको जीपीयू से पहले और बाद में सब कुछ बदलना होगा, क्योंकि यह केवल वेक्टर को स्वीकार करता है।

हमें जटिल समस्याओं को उठाना पड़ा और उन्हें प्रोसेसर के सरल निर्देशों की सूची में तोड़ना पड़ा। लेकिन यह लगभग असंभव लग रहा था।

- और क्या विकसित करना सबसे मुश्किल था?

रूसी के साथ काम करें (हंसते हुए)। वास्तव में, कंपनी के इतिहास में सबसे कठिन चीज तकनीकी समाधान नहीं था। बहुत शुरुआत में, हमने अन्य लोगों के डेटाबेस के लिए केवल एक त्वरक विकसित करने की योजना बनाई। ऐसा कुछ जो Oracle, MS SQL को गति देगा। मान लें कि हम ओरेकल के लिए एक अनुरोध भेजते हैं और यह GPU के लिए तेजी से धन्यवाद देता है।

हमने इस सवाल के साथ बाजार में प्रवेश किया: "क्या आपको एक ऐसी चीज की आवश्यकता है जो आपके डेटाबेस को 20 गुना तेजी से काम करेगी"? और बाजार ने जवाब दिया: "नहीं, जरूरत नहीं है।"

समस्या यह थी कि हमने इंजन और क्लाइंट के बीच अनुरोध को रोक दिया था। यह ओरेकल के साथ एक हस्तक्षेप था। हमें बताया गया था: "यह असंभव है - अपने इंजन को एक अनुरोध भेजें और इसे स्वयं संसाधित करें।" और हम कहते हैं: "हमारे पास डेटाबेस नहीं है।"
"तो कर लो।"

हमने देखा कि अन्य कंपनियां कैसे कार्य करती हैं, और एमपीपी आर्किटेक्चर के साथ डेटा वेयरहाउस की व्यवस्था कैसे की जाती है। उन सभी को एक अन्य डेटाबेस के आधार पर बनाया गया है - मुख्य रूप से PostgreSQL या MySQL। वर्टिका, ग्रीनप्लम, और अन्य विरासत रिपॉजिटरी सभी पोस्टग्रे के आसपास बनाए गए हैं।

हमने इसे भी आजमाने का फैसला किया। उन्होंने PostgreSQL को लिया और इसे GPU पर लागू किया। यह बहुत धीमी गति से निकला: गति केवल दो बार बढ़ी। कोई भी दो बार में त्वरण के लिए GPU पर डेटाबेस का अनुवाद नहीं करेगा। हमें नहीं पता था कि क्या करना है, एक हफ्ते तक नहीं सोया। मेरे और मेरे सहयोगियों के लिए सभी सम्मान के साथ, हम खरोंच से डेटाबेस बनाने का जोखिम नहीं उठा सकते हैं - यह बहुत बड़ी परियोजना है।

लेकिन हमने कोशिश की और पहला ब्लॉक बनाने के बाद उत्पादकता 18 गुना बढ़ गई। फिर हमने जारी रखने का फैसला किया, हालांकि हम जानते थे कि रास्ता लंबा और कठिन होगा। यह निर्णय SQream के संचालन के पूरे समय के लिए सबसे कठिन निकला। आखिरकार, इसका मतलब था कि हमें कंपनी बनाने के लिए बहुत अधिक धन, लोगों और समय की आवश्यकता होगी।

प्रौद्योगिकी के दृष्टिकोण से बोलते हुए, डिस्क पर दो बड़ी तालिकाओं के बीच GPU का उपयोग करके एक JOIN को शुरू करना सबसे कठिन था।

- आपका स्टैक क्या है?

हम GPU के साथ काम करने के लिए CUDA का उपयोग करते हैं। हम सी ++, हास्केल और एर्लांग में थोड़ा लिखते हैं।

जब आप एक निश्चित अवधि के लिए अरबों के लेन-देन के साथ काम करते हैं, कहते हैं, एक दूसरे विभाजन में, आपको हार्डवेयर के बहुत करीब कुछ चाहिए।
हम कोडक से कोडा और C ++ तक जाते हैं। यदि आप रास्ते में कुछ और जोड़ते हैं, तो गति पहले से ही कम हो जाएगी, इसलिए हमें जितना संभव हो उतना कम होना चाहिए। हमने अन्य प्लेटफार्मों के साथ काम करने की कोशिश की: उदाहरण के लिए, हमने क्यूडीसी के बजाय ओपनसीएल का उपयोग किया, लेकिन यह सब इतनी अच्छी तरह से काम नहीं किया गया था, प्रक्रिया बहुत धीमी हो गई थी।

हमें यथासंभव गहरे जाने की जरूरत है ताकि उत्पादकता अधिक हो।
इसके लिए हम C ++, Haskell, Cuda जैसी प्रोग्रामिंग लैंग्वेज का इस्तेमाल करते हैं। कुछ बिंदुओं पर, हम एर्लांग को लागू करते हैं, लेकिन ऐसा बहुत कम बार होता है - हम एक ही सी ++ का अधिक से अधिक उपयोग करते हैं।

- अगर मैंने केवल नियमित डेटाबेस के साथ काम किया, तो आपके स्विच करने के मामले में, क्या मुझे पीछे हटना होगा?

भाषा के दृष्टिकोण से, कुछ भी नया सीखने की आवश्यकता नहीं है। यदि आपने एसक्यूएल में लिखा है, तो यहां सब कुछ समान होगा। ऐसी चीजें हैं जो अलग तरह से काम करती हैं। लेकिन चश्मा अच्छी तरह से वर्णन करते हैं कि सब कुछ कैसे सेट किया जाए।

- 100 बार घोषित त्वरण अधिकतम है जिसे आप GPU से बाहर निचोड़ सकते हैं?

मुझे नहीं लगता कि हमारी कंपनी संभव के 10% तक पहुंच गई है। पहले से ही सितंबर में हम उत्पाद का तीसरा संस्करण शुरू कर रहे हैं, जिसमें हम उत्पादकता को दोगुना कर देंगे। भविष्य में हम इसे और अधिक बढ़ाने की योजना बना रहे हैं। 2006 से सीपीयू का प्रदर्शन लगभग नहीं बढ़ रहा है, और डेटा की मात्रा तेजी से बढ़ रही है। GPU प्रदर्शन उसी तरह से बढ़ रहा है।

यह पता चला है कि हम जीवन चक्र की शुरुआत में हैं। जिन चीजों की हम जल्द ही योजना बनाते हैं, उनमें से एक जीपीयू पर न केवल प्रदर्शन बढ़ाना है, बल्कि कई पर काम करना भी है। ज़रा सोचिए कि यह किस गति से होगा! यहां 100 सेकंड तक चलने का अनुरोध है। हम इसे दस GPU के बीच कई छोटे लोगों में तोड़ते हैं - और अनुरोध एक पल में गुजरता है।

मुझे आमतौर पर लगता है कि हम एक नए युग के कगार पर हैं जब GPU कंप्यूटिंग डेटा प्रोसेसिंग में प्रमुख हो जाएगा।

"वे अभी भी क्यों नहीं कर रहे हैं?" क्या रुकता है?

बहुत सारा। मैं तीन बाधाओं को नाम दे सकता हूं।

पहला पहले जैसा मजबूत नहीं है, लेकिन फिर भी मौजूद है। जब हम ओरेकल या आईबीएम के साथ काम करने वाली कंपनियों में आते हैं, तो उन्हें एक विकल्प के साथ सामना करना पड़ता है - तेल अवीव से एक छोटे से स्टार्टअप पर जाएं या एक बड़े खिलाड़ी के साथ रहें। यहां तक ​​कि अगर वे हल कर रहे हैं, तो इस प्रक्रिया में बहुत देरी हो रही है।

दूसरा अवरोध लोगों की कमी है। तेल अवीव एक छोटी सिलिकॉन वैली है। इज़राइल में कर्मचारियों के लिए बहुत अधिक प्रतिस्पर्धा है: मुझे सही कर्मचारी खोजने में तीन महीने लगते हैं, हालांकि मुझे इसकी आवश्यकता तीन सेकंड में है।

और अंत में, तीसरा - एक प्रौद्योगिकी कंपनी के मालिक के रूप में, मैं कह सकता हूं कि हमेशा कोई आपसे ज्यादा स्मार्ट होता है, और बहुत कुछ। हमें लगातार यह सुनिश्चित करना होगा कि प्रौद्योगिकी अवसरों के चरम पर है, और इसमें निवेश करने के लिए बहुत कुछ है।

- क्या यह आपको प्रतीत नहीं होता है कि GPU अभी भी एक "बैसाखी" है, और डेटा के लिए अपनी बेहतर प्रोसेसिंग यूनिट को खोजना या उसका आविष्कार करना बेहतर होगा?

बेशक, हम नए प्रकार के प्रोसेसर की तलाश कर रहे हैं - न केवल ग्राफिक वाले। अब प्रौद्योगिकियां और बेहतर हैं - वे अगले कुछ वर्षों में बाजार में दिखाई देंगे। इसके लिए एक तैयार होना चाहिए। यही कारण है कि हम क्वांटम कंप्यूटर सहित स्टार्टअप्स, कंप्यूटिंग चिप्स के निर्माताओं के संपर्क में हैं।

जैसे ही ये प्रौद्योगिकियां विकसित होती हैं, दुनिया बहुत तेजी से समस्याओं को हल करने में सक्षम हो जाएगी, और यह, निश्चित रूप से देखने के लिए इंतजार नहीं कर सकता है। बहुत आशावादी होने के लिए, पांच वर्षों में ऐसी पहली मशीनें दिखाई देंगी, उनके बहुत शुरुआती संस्करण जो शैक्षणिक अनुसंधान के लिए उपयुक्त हैं। और सार्वजनिक क्षेत्रों में ऐसी तकनीक पेश करने के पहले प्रयासों से पहले दस साल से भी कम समय बीत जाएगा: चिकित्सा और सुरक्षा। इससे पहले, GPU अच्छा प्रदर्शन करेगा। यह देखना दिलचस्प है कि आखिरकार क्या तेज हो जाता है।

रूसी कंपनियों और बड़ा डेटा

प्रदर्शनों के बीच, युवा और सुंदर लोग स्टाइलिश स्थान के चारों ओर घूमते थे, छत पर चलते थे, गपशप करते थे और हर्बल नींबू पानी पीते थे। मैं बेवकूफ एसिटिलकोलाइन (समझाने के लिए धन्यवाद यंगन) के कारण इसे नहीं मिला, लेकिन मैं नाराज नहीं हूं।

इसके बाद, एमटीएस में बिग डेटा डिपार्टमेंट के प्रमुख लियोनिद तक्केंको, टिस्कॉफ बैंक से GOSU डेटा लैब के संस्थापक, एलिसिया चुमाचेंको, सेगमेंटो के संस्थापक रोमा नेस्टर और येवगेनी इसुपोव ने बड़े डेटा पर चर्चा करने के लिए मंच में प्रवेश किया।

मुझे और दर्शकों दोनों को लियोनिद के बयानों से पूरी तरह संपर्क था। रूस में सबसे बड़ी कंपनियों में से एक के ऊपर से इस तरह के फ्रेंकनेस का स्तर सुनना असामान्य है। तथ्य यह है कि मैं उसे यहां उद्धृत करूंगा, इसका मतलब यह नहीं है कि वह किसी और की तुलना में इतना अधिक बोलता है (यह एक एमटीएस विज्ञापन नहीं है। मेरे पास एक अलग ऑपरेटर है, और लियोनिद, उसके शब्दों को देखते हुए, पहले से ही इस बात से सहमत है। हालांकि इस मामले में भी वह मेरे बारे में बात कर रहा है। जितना मैंने सोचा था उससे अधिक जानता है)।



उन्होंने इस तथ्य के साथ सही शुरुआत की कि बिग डेटा वास्तव में अभी काम नहीं कर रहा है, और मिथक फूला हुआ है। उनके अनुसार, यदि समस्या को पारंपरिक तरीकों से हल नहीं किया जा सकता है, तो बड़े डेटा के आगमन के साथ कुछ भी नहीं बदलेगा।

उदाहरण के लिए, एमटीएस के पास एक सफल ग्राहक मंथन भविष्यवाणी मॉडल था। जब इसके लिए बड़ा डेटा लागू किया गया था, तो विकास पूरी तरह से नगण्य था। और ठीक इसके विपरीत। एमटीएस ने यह अनुमान लगाने का प्रबंधन नहीं किया कि ग्राहक कब एक सस्ता टैरिफ स्विच करने का निर्णय लेंगे (अग्रिम में कॉल करने और बोनस के एक जोड़े को अस्वीकार करने के लिए)। जब हमने बड़े डेटा का उपयोग करके समस्या को हल करने की कोशिश की, तब भी यह काम नहीं किया।

बिग डेटा तकनीकों में किसी चमत्कार की तलाश करने की आवश्यकता नहीं है

एवगेनी इसुपोव ने उस पर आपत्ति जताई:

- जब हमने नए डेटा या अधिक विशिष्ट गणित को जोड़ा, जो हमें उन्नत फीचर इंजीनियरिंग करने की अनुमति देता है, तो उन विशेषताओं को उत्पन्न करने के लिए जो किसी व्यक्ति के साथ आने के लिए मुश्किल थे, हमने वहां एक महत्वपूर्ण वृद्धि देखी।

और इस के साथ लियोनिद सहमत हुए:
- यहां एक उदाहरण यह भी है कि नए डेटा का जोड़ एक महत्वपूर्ण भूमिका निभाता है। यदि हम देखते हैं कि हमारे ग्राहक कैसे कॉल करते हैं, तो हम जानते हैं कि वे कॉल कर रहे हैं। यह एक न्यूनतम जियोनालिसिस को जोड़ने के लायक है, एक बेस स्टेशन जहां फोन सबसे अधिक रात बिताता है, और एक बेस स्टेशन जहां यह सप्ताह में पांच दिन स्थित होता है। सब कुछ - हम जानते हैं कि आप कहाँ रहते हैं और काम करते हैं।

यदि हम कॉल प्रोफ़ाइल के आधार पर मॉडलिंग जोड़ते हैं - और हमने ऐसा किया है - हम आपके पूरे घर को पुनर्स्थापित कर सकते हैं। हम देखते हैं कि इसमें तीन एमटीएस ग्राहक हैं, एक अन्य बीलाइन और दूसरा मेगाफोन। हमारे पास उन पर जियोनालिस्ट नहीं हैं, हम सिर्फ यह जानते हैं कि वे हमारे नेटवर्क को कैसे कहते हैं।

इस मॉडल में एक हजार से अधिक बहुत महत्वपूर्ण चीजें हैं जो आप स्वयं उत्पन्न नहीं करेंगे। उदाहरण के लिए, ऐसी सुविधा - लोगों के बीच संचार का घनत्व शुक्रवार को 3 से 4 और 4 से 5. और इतने पर कैसे बदल जाता है। हम उन सभी दोस्तों या अजनबियों की जोड़ी लेते हैं जो एक-दूसरे को बहुत बुलाते हैं, हज़ारों सुविधाएँ थोपते हैं और उन्हें दो भागों में काटने में सक्षम होते हैं - जोड़े जो साथ रहते हैं और जो जोड़े साथ नहीं रहते हैं।

एलिसा चुमाचेंको ने एक व्यावहारिक दिशा में विचार का नेतृत्व किया - पहली जगह में, उनके अनुसार, कार्य चल रहे हैं, न कि प्रौद्योगिकियां। यदि यह बड़े डेटा की मदद से कुछ करने के लिए समझ में आता है, और यह पुराने तरीकों की तुलना में अधिक लाभदायक और अधिक प्रभावी है, तो उनका उपयोग किया जाएगा। बिग डेटा के लिए बिग डेटा के साथ काम करना आवश्यक नहीं है, लेकिन किसी कारण के लिए कई प्रयास कर रहे हैं।

बिग डेटा बिल्कुल प्रचार है, और यह दिखाई देगा कि यह बिल्कुल कहाँ नहीं है।

जब उसने पूछा कि क्या किसी ने दीपमिन्द के बारे में सुना है, तो मैंने अपना हाथ इस विचार के साथ रखा, "भगवान, निश्चित रूप से सभी ने सुना, वे लानत हैं, पोप से बेहतर जाने जाते हैं।" लेकिन करीब पांच लोगों ने हथियार उठा लिए।

फिर ऐलिस गो में एआई की जीत के बारे में बात करना शुरू किया और एक तथ्य जोड़ा जिसने मुझे व्यक्तिगत रूप से आश्चर्यचकित किया। यह पता चला है कि एक प्रशिक्षित तंत्रिका नेटवर्क के लिए व्यावहारिक अनुप्रयोग मिला है। इसका उपयोग Google सर्वर को ठंडा करने के लिए किया जाता है।एअर इंडिया किस तरह के कूलिंग कॉइल पर जाता है, जहां मुड़ना सीखता है, खुद को प्रोत्साहित करता है और सजा देता है - और इस प्रक्रिया में पहले से ही सर्वर लागत 40% तक कम हो गई है।

खुद ऐलिस, चूंकि वह खेलों के साथ काम करती है, एक प्रणाली के सपने जो उसकी गेमिंग वरीयताओं के बारे में सब कुछ जान जाएगी। उसे पहली बार याद आया कि उसने लीग ऑफ लीजेंड्स में प्रवेश किया था, और खेल ने सौ नायकों में से एक को चुनने के लिए उसे 30 सेकंड दिए।

- अगर खेल को पता था कि मैं हमेशा समर्थन खेलता हूं - यह उन नायकों को उजागर करेगा जो मुझे बेहतर सूट करते हैं, और मुझे बाकी को नहीं छूने की सलाह दी। यदि खेल को पता था कि मैं प्यार करता हूं, तो मैं एक उपयोगकर्ता में परिवर्तित होऊंगा और इसमें पैसे खर्च करूंगा।



बड़े डेटा के भविष्य के बारे में बोलते हुए, एक अच्छे एकालाप ने लियोनिद को फिर से दिया:

- एमटीएस अपने 50 के दशक में एक आदमी है। सब कुछ पीछे है। अहेड या तो दयनीय जीवन है, या सामान्य रूप से वागनकोव पर। क्लासिक टेलीकॉम का अंत है। हम इसके बारे में जानते हैं, और एक व्यवसाय के रूप में हम एक नए शरीर की तलाश कर रहे हैं, जहां हमारी आत्मा को एक नए व्यवसाय में स्थानांतरित करना है। और इस शरीर में हम समाप्त हो गए हैं।

बिग डेटा एक बन सकता है। हमारी तीन रणनीतियाँ हैं:
- सामान्य रूप से क्लाइंट के बारे में सभी डेटा का पूर्ण संचय, भले ही हमें समझ में न आए कि इसका उपयोग कैसे करें। भंडारण प्रौद्योगिकियां सब कुछ स्टोर करने के लिए काफी सस्ती हैं।
- खुला डेटा वैज्ञानिकों ने डेटा तक पहुंच प्राप्त की और कुछ अंधे करने की कोशिश की।
- लोगों के बारे में ज्ञान, उनके सिर, आत्मा, इच्छाओं में प्रवेश के आधार पर एक नया व्यवसाय बनाएं। सबसे अधिक निजीकरण संभव है। आपके बारे में सब कुछ जानने के लिए, जैसे कि हम ऐसा कर रहे थे और आप पर एहसान कर रहे थे।

और इस व्यवसाय का अंतिम मील पहले से ही बनाया गया है - इंटरनेट पर किसी व्यक्ति को पकड़ने और उसे एक विज्ञापन दिखाने के लिए। यह पहला निर्माण करने के लिए बना हुआ है, गहराई से और गहराई से घुसना और यह पता लगाना है कि यह व्यक्ति क्या देखना चाहता है। ताकि हर दूसरा व्यक्ति खरीदे।

लियोनिद का मानना ​​है कि डेटा का भविष्य दो तरीकों से जा सकता है। या डेटा लोगों की संपत्ति बन जाएगा, और वे खुद के बारे में जानकारी बेचने में सक्षम होंगे, यह तय करेंगे कि कौन सी कंपनी और क्या खोलना है। या डेटा राज्यों की पूरी संपत्ति बन जाएगा।

यह हमारे बारे में पूरी तरह से पता चल जाएगा। लेकिन कम से कम जीवन सुरक्षित हो जाएगा।

हर कोई इस बात से सहमत है कि डेटा को एक या दूसरे तरीके से बहुत अधिक विनियमित किया जाएगा।
- हर कोई जो पिछले छह महीनों से जीडीपीआर का सामना कर रहा है, समझता है कि निजी डेटा तक पहुंच बहुत अधिक विनियमित होगी। दूसरी ओर, चीन है, जिसे देखते हुए आप समझते हैं कि यह नहीं है। रूस के चीनी संस्करण का पालन करने की संभावना है। किसी भी मामले में, विशाल कंपनियां जो इस डेटा को स्टोर करती हैं (लियोनिड पर लग रही हैं) उनके पास एक कठिन समय होगा।

उपन्यास का मानना ​​है कि चिंता अज्ञानता और गलतफहमी से पैदा हुई है:

- हम तकनीकी दहशत की स्थिति में हैं। हर कोई डरता है कि किसी को उनके बारे में कुछ पता चल जाएगा, और हर कोई इसे पसंद नहीं करता है। उदाहरण के लिए, ऐसे 15 तकनीकी और व्यावसायिक कारण हैं जिनकी वजह से फेसबुक लोगों पर एहसानमंद नहीं है। लेकिन लोग इस पर विश्वास करते थे, और अब सेवा को अलग तरह से समझते हैं।

डेटा संग्रह प्रक्रिया पारदर्शी होनी चाहिए ताकि लोग डरें नहीं।

जैसा कि सभी वैश्विक मुद्दों में, विरोधाभास छोटी चीजों में पैदा होते हैं। गोपनीयता और आराम के बीच की रेखा कहां खींचनी है, कहां और किन मामलों में व्यक्तिगत जानकारी को सार्वजनिक करना है।

जैसा कि यूजीन ने कहा था, "जब आपने कल रात क्या किया था" जैसी जानकारी का उपयोग आपके खिलाफ हंसने या यहां तक ​​कि आपको चोट पहुंचाने के लिए किया जाता है, तो निश्चित रूप से, आप इसे खोलना नहीं चाहते हैं। लेकिन अगर यह जानकारी, उदाहरण के लिए, स्वास्थ्य या नींद में सुधार कर सकती है, तो इसे दूर दिया जा सकता है।

रोमन का मानना ​​है कि यह छोटी कंपनियों से डरने के लायक है:

"बड़ी कंपनियां मेरे डेटा को बेचने की तुलना में अधिक महंगी लीक करेंगी।" वे छोटी कंपनियों को तनाव दे रहे हैं जो अपने सभी डेटा के साथ डेटा को मुद्रीकृत करने का प्रयास कर रहे हैं। हम 40 स्रोतों से डेटा खरीदते हैं, और कुछ कंपनियों ने हमें लोगों के बारे में कोई डेटा नहीं दिया है। जब आप कल बंद कर सकते हैं, तो आपके पास समाज और लोगों के लिए एक बड़ी जिम्मेदारी नहीं है।

इसके विपरीत, ऐलिस एक उज्ज्वल भविष्य में विश्वास करती है:

- मैं सिर्फ यह सोचना चाहती हूं कि आपके पास बैंक खाता नहीं है, उन्होंने आपको एक बार एक कार्ड भेजा। आज, हम जो कुछ भी करते हैं वह सार्वजनिक हो रहा है। लेकिन मैं चरम परिदृश्य में विश्वास नहीं करता, इसलिए मैं चाहता हूं कि एआई जल्द ही दिखाई दे जो हमें दिखाता है और हमें वह सब कुछ प्रदान करता है जो प्रासंगिक है।

और लियोनिद ने कहा:
- यदि आप बाहर जाना चाहते हैं, तो फोन बंद करना बेहतर है।

निष्कर्ष के बजाय

बिग ब्रदर के बारे में बात करते हुए, मुझे हमेशा एक कहानी याद है। जब ऑरवेल ने 1984 लिखा, तो उन्होंने अपने स्कूल के शिक्षक, एल्डस हक्सले को एक प्रति भेजी। उन्होंने एक पत्र में उत्तर दिया - उन्होंने पुस्तक की प्रशंसा की, लेकिन विचार से सहमत नहीं थे। उनका मानना ​​था कि "जेलों और बस्तियों की तुलना में सत्ता हासिल करने के लिए शिशुत्व और ड्रग सम्मोहन को बढ़ावा देना बेहतर है।"

बेशक, इस तथ्य से डरने के लिए कि "बिग ब्रदर आपको देख रहा है" बहुत अधिक शानदार है, और उससे डरना अधिक मजेदार है। लेकिन, प्रिय Sistema_VC, मुझे लगता है कि बिग डेटा, मीट ब्रेव न्यू वर्ल्ड नाम बेहतर होगा।