हेब्र, नमस्कार! यह दिलचस्प है कि कितने प्रोग्रामर और डेवलपर्स ने डेटा साइंस या डेटा इंजीनियरिंग की खोज की है, और बड़े डेटा में एक सफल कैरियर का निर्माण कर रहे हैं। इल्या मार्किन,
डायरेक्चुअल में सॉफ्टवेयर इंजीनियर, केवल उन डेवलपर्स में से एक है, जिन्होंने डेटा इंजीनियरिंग में स्विच किया है। हमने टीम लीड की भूमिका में अनुभव के बारे में बात की, डेटा इंजीनियरिंग में एक पसंदीदा उपकरण, इल्या ने सम्मेलनों और जावेदों के दिलचस्प प्रोफ़ाइल चैनलों के बारे में, उपयोगकर्ता पक्ष से तकनीकी और तकनीकी, कंप्यूटर गेम आदि के बारे में बात की।
- इल्या, मिलने का समय निकालने के लिए धन्यवाद। मैं आपको एक नई कंपनी में अपेक्षाकृत हाल ही में संक्रमण के लिए बधाई देता हूं, और एक बेटी के जन्म पर, आपके पास बहुत सारी चिंताएं और चिंताएं हैं। तुरंत पहला सवाल: क्या इतना दिलचस्प था कि आपको निर्देशन में काम करने की पेशकश की गई थी, कि आपने डीसीए छोड़ दिया?- शायद, पहले मुझे आपको यह बताने की ज़रूरत है कि मैंने डीसीए में क्या किया था।
बिग डेटा स्पेशलिस्ट प्रोग्राम पूरा करने के बाद मैं DCA (डेटा-सेंट्रिक एलायंस) में आ गया। उस समय, मुझे बड़े डेटा के विषय में सक्रिय रूप से दिलचस्पी थी और एहसास हुआ कि यह ठीक उसी क्षेत्र में है जिसमें मैं विकास करना चाहता हूं। आखिरकार, जहां बहुत अधिक डेटा है, वहां बहुत सारी दिलचस्प इंजीनियरिंग समस्याएं हैं जिन्हें हल करने की आवश्यकता है। कार्यक्रम ने मुझे जल्दी से बड़ी तारीख की दुनिया के पारिस्थितिकी तंत्र में उतरने में मदद की, जहां मुझे Hadoop, YARN, Map-Reduce paradigm, HBase, Spark, Flink, और बहुत कुछ के बारे में आवश्यक प्रारंभिक ज्ञान मिला, और यह उच्च भार के तहत कैसे काम करता है।
मुझे DCA के लोगों द्वारा साक्षात्कार के लिए आमंत्रित किया गया था। डीसीए आरटीबी बाजार में एक प्रमुख भागीदार है (
रियल टाइम बिडिंग एक विज्ञापन प्रौद्योगिकी है जो आपको वास्तविक समय के विज्ञापन के विक्रेताओं और खरीदारों के बीच एक नीलामी आयोजित करने की अनुमति देती है। ऑनलाइन नीलामी में बोली लगाने का उद्देश्य किसी विशिष्ट उपयोगकर्ता को विज्ञापन दिखाने का अधिकार है। आरटीबी एक लक्ष्य आगंतुक का चयन करने की अधिकतम सटीकता पर आधारित है - लगभग। )। डीसीए के पास रनेट उपयोगकर्ताओं का एक उच्च कवरेज था: लगभग 600 मिलियन कुकीज़, एक कुकी उपयोगकर्ता के बराबर नहीं है - एक उपयोगकर्ता के पास कई कुकीज़ हो सकती हैं: विभिन्न ब्राउज़र, विभिन्न डिवाइस। हमें प्रति दिन इंटरनेट पेजों पर दर्जनों टेराबाइट डेटा प्राप्त हुए। यह सब संसाधित किया गया था और कुकी को सेगमेंट के एक विशिष्ट सेट में चिह्नित किया गया था। इस प्रकार, हम पहचान सकते हैं, उदाहरण के लिए, मास्को में रहने वाले 20 से 25 साल के बिल्लियों के प्रेमी, घर के पास अपनी प्यारी बिल्ली के लिए भोजन खरीदने के लिए उन्हें और आमंत्रित करने के लिए। और ऐसे कई उदाहरण हैं, बहुत सरल हैं, जटिल हैं। हुड के तहत जावा, स्काला और सी ++ बहुत था। मैं एक डेवलपर के रूप में कंपनी में आया, और छह महीने बाद मैं टीम लीडर बन गया।
मैंने डीसीए को वसंत के अंत में छोड़ दिया, उस समय तक मैं प्रबंधकीय भार से थक गया था और तकनीकी पदों को देखना शुरू कर दिया था। यह पता चला कि मैं एक सप्ताह के लिए कोड नहीं लिख सकता था। हम टीम के साथ इकट्ठा हुए, दिलचस्प समाधानों पर चर्चा की, वास्तुकला के बारे में सोचा, चित्रित कार्य किए। जब मैंने अपने लिए सूची में से कुछ लिया, तो कभी-कभी मेरे पास काम पूरा करने का समय नहीं था, क्योंकि टीम लीड मामलों के बहुत सारे मामले थे। शायद समस्या मुझ में है, और मैं समय को सही ढंग से आवंटित नहीं कर सका।
और फिर भी, मुझे उपयोगी अनुभव प्राप्त हुआ है। सबसे पहले, एक टीम और व्यवसाय के साथ काम करना: विकास और व्यवसाय के जंक्शन पर होना दिलचस्प है, जब आपको किसी प्रकार की कार्यक्षमता को लागू करने का अनुरोध प्राप्त होता है, तो आप सोचते हैं, संभावनाओं का मूल्यांकन करें। अक्सर आपको एक निर्णय लेना होगा जो इस विशेष स्थिति में अधिक उपयोगी होगा: "घुटने पर" जल्दी से कुछ लिखें या 2 सप्ताह, या इससे भी अधिक खर्च करें, लेकिन एक स्थिर, सामान्य समाधान दें।
- और किन फैसलों को अक्सर चुना गया - "घुटने पर" या 2 सप्ताह में?- दिल में एक डेवलपर हमेशा एक पूर्णतावादी होता है, वह अंतहीन रूप से कुछ दिलचस्प काम में संलग्न हो सकता है, इसे रीमेक कर सकता है, इसे अनुकूलित कर सकता है। बेशक, आपको यह जानना होगा कि कब रोकना है। निर्णय ऐसे चुने गए जो बीच में कहीं थे।
दूसरे, मैं, आखिरकार, एक ऐसी स्थिति में था जहां आप निर्णय लेने में भाग ले सकते हैं, कंपनी में क्या हो रहा है, इसके बारे में जागरूक रहें। मुझे अपने बॉक्स में बस बैठना और कोडिंग करना पसंद नहीं है, मैं जानना चाहता हूं कि उत्पाद के साथ क्या हो रहा है, यह कैसे दिखाता है, उपयोगकर्ता कैसे प्रतिक्रिया देते हैं।
तीसरा, मैंने साक्षात्कार का संचालन करना शुरू किया, "बैरिकेड्स के दूसरी तरफ" का दौरा किया, इसलिए बोलने के लिए। पहला साक्षात्कार आयोजित करने के लिए बहुत रोमांचक था, मैंने फिर से शुरू किया और सोचा: "अरे, अब स्टार आएगा, और मैंने जो भी लिखा था उसका आधा भी नहीं जानता। मैं उसके बारे में क्या बात करने जा रहा हूं। और संचार की प्रक्रिया में, आप शांत हो जाते हैं और समझते हैं कि आईटी कार्मिक बाजार में मांग आपूर्ति से अधिक क्यों है। एक अच्छा विशेषज्ञ ढूंढना मुश्किल है, सबसे अधिक बार वह बैठता है जहां वह सब कुछ से खुश है। आपके विशिष्ट कार्यों और प्रौद्योगिकियों के लिए एक तैयार विशेषज्ञ, जिसे खोजने के लिए अप्रशिक्षित / पीछे हटने की आवश्यकता नहीं है, खोजने के लिए अवास्तविक है, कनेक्शन कनेक्ट करना है, दोस्तों, परिचितों, सहकर्मियों से पूछना है। यहां नेटवर्किंग बहुत जरूरी है। इसलिए, उदाहरण के लिए, मैं अपने दोस्त को कंपनी में लाया, जिसमें मुझे यकीन था और जिसके साथ मैंने पिछली जगह पर काम किया था। उन्होंने हाल ही में एक विश्वविद्यालय के स्नातक भी लिया, जिन्हें हमारे स्टैक के साथ काम करने का बहुत कम अनुभव था, लेकिन साक्षात्कार के दौरान मैंने महसूस किया कि वह बहुत ही होनहार लड़का था।
अक्सर लोग चौखटे के साथ काम करते हैं, और विशिष्ट उपकरणों के साथ नहीं, मुझे लगता है कि यह अभी एक समस्या है। एक उम्मीदवार दो साल के अनुभव के साथ एक Hadoop- बिग डेटा डेवलपर के रूप में आता है, आप पूछना शुरू करते हैं कि Hadoop कैसे काम करता है, इसमें कौन से हिस्से होते हैं और एक व्यक्ति को पता नहीं होता है। चूंकि Hadoop इसके साथ काम करने को आसान बनाने के लिए कुछ इंटरफेस प्रदान करता है, इसलिए यह कुछ निश्चित कार्यों के लिए पर्याप्त है। और अक्सर एक व्यक्ति इन इंटरफेस की सीमाओं से परे भी नहीं जाता है, अर्थात, कोड वह अभी भी इन से प्राप्त करता है। और पैक किए गए कोड का क्या होता है क्योंकि उसने इसे सिस्टम में भेजा था, व्यक्ति अब परवाह नहीं करता है। कई लोगों के लिए, यह पर्याप्त है, वे गहराई से समझना नहीं चाहते हैं। एक साक्षात्कार का आयोजन न केवल काम पर रखने में एक उत्कृष्ट अनुभव है, यह एक विशेषज्ञ के रूप में भी अपने आप में आत्मविश्वास देता है, जो बहुत उपयोगी है।
क्यों प्रत्यक्ष जब मैं
डेटा इंजीनियर कार्यक्रम के लिए समन्वयक था, तो डायरेक्ट से अर्योम मारिनोव और वासा सफ्रोनोव हमारे साथ बात करने आए थे। वैसे, एट्टीम ने एक बार डीसीए (फिर नेटवर्किंग के लाभों के बारे में) में मेरा साक्षात्कार लिया, और अब मुझे बात करने के लिए आमंत्रित किया। उन्हें एक रॉकमैन की जरूरत थी, लेकिन वे एक जेविस्टा पर विचार करने के लिए तैयार थे जो समझता है कि हूड के नीचे जेवीएम कैसे काम करता है। इसलिए मैं यहां समाप्त हो गया।
- क्या इतना दिलचस्प था कि आपको निर्देशन में करने की पेशकश की गई थी? आपको किस चीज ने आकर्षित किया?-
डायरेक्शनल एक महत्वाकांक्षी स्टार्ट-अप है जो सभी घोषित परियोजनाओं को लागू करता है, अर्थात यह वादे करता है। मुझे टीम का हिस्सा बनने और सभी कार्यान्वयनों में सक्रिय भाग लेने की कृपा थी। और मेरे लिए यह महत्वपूर्ण था कि कंपनी ग्राहकों के साथ काम करके खुद के लिए भुगतान करती है, और निवेशक पैसे पर नहीं रहती है।
मैं उपयोगकर्ता की ओर से और पीछे की ओर से परियोजना के बारे में थोड़ी बात करूँगा।
दिशात्मक का नारा है "लोगों को बनाने दो!"। यह वास्तव में मुख्य विचार है - किसी भी व्यक्ति को सक्षम करने के लिए जो हमारे दृश्य संपादक में प्रोग्राम करने के लिए कोड लिखने में ज्ञान और अनुभव नहीं है।
यह कैसे काम करता है: हमारे प्लेटफ़ॉर्म में एक ब्राउज़र के माध्यम से एक उपयोगकर्ता "क्यूब्स रोल" कर सकता है (पढ़ें - प्रक्रिया के कार्यात्मक नोड्स) - अर्थात, एक स्क्रिप्ट इकट्ठा करें जो आने वाले डेटा को संसाधित करेगा। डेटा बिल्कुल कोई भी हो सकता है। संसाधित आउटपुट डेटा का एक अलग विचार हो सकता है - पीडीएफ में एक रिपोर्ट से लेकर कई प्रशासकों को अधिसूचना भेजने तक। सीधे शब्दों में, किसी भी व्यावसायिक प्रक्रिया को कोड लिखने में सक्षम होने के बिना मिनटों में प्रोग्राम किया जा सकता है। कंपनी दो दिशाओं में काम करती है - कॉरपोरेट ग्राहकों के लिए बॉक्सिंग समाधान, साथ ही साथ उपयोगकर्ताओं की एक विस्तृत श्रृंखला के लिए क्लाउड विकल्प।
यह कैसे काम करता है यह स्पष्ट करने के लिए, मैं कुछ उदाहरण दूंगा।
किसी भी ऑनलाइन स्टोर में कई कार्यात्मक चरण ("क्यूब्स" हमारे मामले में) हैं - उत्पाद को ग्राहक से दिखाने के लिए इसे टोकरी में जोड़ने और अंतिम उपभोक्ता को डिलीवरी की व्यवस्था करने से। मंच का उपयोग करके, हम डेटा एकत्र कर सकते हैं और उनका विश्लेषण कर सकते हैं: खरीद की आवृत्ति, उनके पूरा होने का समय, उपयोगकर्ता पथ, आदि, जो हमें ग्राहकों के साथ अधिक निकटता से बातचीत करने की अनुमति देगा (उदाहरण के लिए, मौसमी ऑफ़र विकसित करने के लिए, व्यक्तिगत छूट)। हालांकि, इसका कोई मतलब नहीं है कि हमारा मंच ऑनलाइन स्टोर बनाने के लिए एक डिजाइनर है!
प्रचालन तंत्र प्रक्रियाओं के स्वचालन और बड़ी कंपनियों के वर्ष-दिशा के कार्य के साथ, और किसी भी अन्य तकनीकी समाधान के निर्माण के साथ - एक स्मार्ट घर में ग्रीनहाउस फ़ार्म से दोनों का सीधा-सीधा मुकाबला होता है। मंच पर, उदाहरण के लिए, आप कुछ ही क्लिक में एक टेलीग्राम बॉट बना सकते हैं - लगभग हर कर्मचारी जो सिस्टम के कोर को लिखता है उसके पास अपना बॉट होता है। किसी ने एक सहायक लाइब्रेरियन बनाया, किसी ने - एक बॉट जो अंग्रेजी शब्दों को सीखने में मदद करता है।
हम कुछ प्रोग्रामरों के काम को आंशिक रूप से "दूर" करते हैं, क्योंकि अब उन्हें मदद के लिए बारी करने, तकनीकी विनिर्देश तैयार करने या काम के निष्पादन की जांच करने की कोई आवश्यकता नहीं है। अब यह जानना पर्याप्त है कि आपका व्यवसाय कैसे काम करना चाहिए, आपको स्वयं प्रक्रियाओं को समझने की आवश्यकता है, और हम बाकी काम करते हैं।
- सुनो, लेकिन एक हरियाली खेत के लिए सॉफ्टवेयर है, उदाहरण के लिए, लंबे समय तक। आप कैसे अलग हैं?- हाँ, यह हरियाली खेतों के लिए सही, विशिष्ट समाधान मौजूद है। हालांकि, आप इस सॉफ़्टवेयर को स्वयं विकसित नहीं करते हैं, आप एक तैयार समाधान खरीदते हैं। हमारे प्लेटफ़ॉर्म का उपयोग करके, आप अपने व्यवसाय और अपने कार्यों के लिए सॉफ़्टवेयर को अनुकूलित कर सकते हैं, आपको डेवलपर्स को किराए पर लेने की आवश्यकता नहीं है।
- और वास्तव में आप क्या कर रहे हैं?- कंपनी को 2 भागों में विभाजित किया गया है: हमारे सिस्टम के कोर का विकास और परियोजना कार्यालय, जो वास्तव में, हमारा शून्य ग्राहक है, अगर मैं ऐसा कह सकता हूं। मैं सिस्टम कोर विकसित कर रहा हूं।
जैसा कि मैंने कहा, हम किसी को भी अपने मंच पर काम करने का अवसर देना चाहते हैं। इसके लिए हम अपने क्लाउड पर काम कर रहे हैं। और बहुत सारी समस्याएं हैं। कठिनाई क्या है: उदाहरण के लिए, 10 हजार उपयोगकर्ता हैं, उनके पास कई डेटा प्रवाह परिदृश्य हैं, और प्रत्येक प्रवाह में 10-20 शाखा क्यूब्स हैं। लोहे पर भार की कल्पना करो। और हमें सब कुछ स्पष्ट रूप से अलग करने में सक्षम होने की आवश्यकता है ताकि एक क्लाइंट की प्रक्रिया दूसरे की प्रक्रियाओं में हस्तक्षेप न करें, और काम धीमा न करें। यदि एक क्लाइंट को कोई समस्या है जिसे हमें हल करने की आवश्यकता है, तो हमें दूसरे क्लाइंट के काम को नुकसान नहीं पहुंचाना चाहिए।
चूंकि उपयोगकर्ता को यह सोचने की ज़रूरत नहीं है कि यह सब हुड के तहत कैसे काम करता है, वह भंडारण की पसंद से मुक्त है। हम विभिन्न डेटाबेस का समर्थन करते हैं - यह रिलेशनल डेटाबेस और नोस्कल दोनों हो सकते हैं। सामान्य तौर पर, सिस्टम उन पर समान व्यवहार करता है। लेकिन क्लाइंट को इसके बारे में सोचने की ज़रूरत नहीं है - कार्यों के आधार पर एक खाता बनाते समय, सिस्टम भंडारण के इष्टतम विकल्प बनाने में मदद करेगा।
हमारा प्लेटफ़ॉर्म अत्यधिक भरी हुई वितरित प्रणाली का एक अच्छा उदाहरण है, और मेरा कार्य अच्छा कोड लिखना है ताकि यह बिना असफल हुए काम करे। नतीजतन, यहां मुझे वह मिला जो मैं चाहता था: मैं उन उपकरणों के साथ काम करता हूं जो मेरी रुचि रखते हैं।
- और आप डेटा के साथ काम करने के क्षेत्र में कैसे आए?- अपने काम के पहले स्थान पर, मैं मुख्य रूप से एक ही प्रकार के कार्यों के बजाय एक संकीर्ण क्षेत्र (रीड - पार्सिल xml :)) से निपटता हूं, और यह जल्दी से मुझे ऊब गया है। मैंने पॉडकास्ट सुनना शुरू किया, मुझे महसूस हुआ कि दुनिया कितनी बड़ी है, इतनी सारी तकनीकें जो हर किसी के बारे में बात कर रही हैं - हैडोप, बिग डेटा, काफ्का। तब मुझे महसूस हुआ कि मुझे अध्ययन करना है, और कार्यक्रम "
बिग डेटा स्पेशलिस्ट " बहुत अवसर के साथ बदल गया। जैसा कि यह निकला, मैं असफल नहीं हुआ: पहला मॉड्यूल (प्रसंस्करण और वेब लॉग का विश्लेषण: MapReduce, Hadoop, मशीन लर्निंग, DMP सिस्टम - लेखक का नोट) मेरे लिए बहुत उपयोगी था, मैं सिर्फ यह सीखना चाहता था, लेकिन दूसरा मॉड्यूल सिफारिश प्रणालियों के बारे में है मुझे नहीं पता था कि कहां आवेदन करना है, मैंने इसे कभी नहीं छुआ। और फिर मैं डीसीए के पास काम करने के लिए गया, जो पहले से ही मेरे साथ है। वहां, एक सहकर्मी ने मुझे बताया कि डेटा वैज्ञानिक के अलावा, इस क्षेत्र में एक डेटा इंजीनियर भी है, उसने बताया कि वह कौन था और कंपनी कैसे उपयोगी हो सकती है।
उसके बाद, आपने अभी-अभी
डेटा इंजीनियर प्रोग्राम के पायलट लॉन्च की घोषणा की, निश्चित रूप से, मैंने जाने का फैसला किया। मैं पहले से ही कुछ उत्पादों को जानता था जो कार्यक्रम पर थे, लेकिन मेरे लिए यह टूल का एक अच्छा अवलोकन था, मेरे सिर में सब कुछ संरचित था, मैंने आखिरकार समझा कि एक डेटा इंजीनियर के साथ क्या काम करना चाहिए।
- लेकिन ज्यादातर कंपनियां इन दो पदों को साझा नहीं करती हैं, एक व्यक्ति के दो पेशेवर प्रोफाइल, वे सार्वभौमिक विशेषज्ञों की तलाश करने की कोशिश कर रहे हैं जो डेटा एकत्र करेंगे और उन्हें तैयार करेंगे, और वे मॉडल बनाएंगे, और उन्हें उत्पाद को हाईलोड के तहत लाया जाएगा। आप क्या सोचते हैं, यह किससे जुड़ा है, और यह कितना सही है?- मुझे वास्तव में बिग डेटा स्पेशलिस्ट कार्यक्रम पर पावेल क्लेमेनकोव का प्रदर्शन पसंद आया (उन्होंने रामब्लर एंड को बैक में काम किया), उन्होंने एमएल-पाइपलाइन के बारे में बात की और गणित प्रोग्रामर का उल्लेख किया। उन्होंने ऐसे सार्वभौमिक विशेषज्ञों के बारे में बात की कि वे हैं, उनमें से कुछ हैं, और वे बहुत महंगे हैं। इसलिए, मजबूत लोगों की तलाश के लिए, रेम्बलर एंड कंपनी उन्हें घर पर विकसित करने की कोशिश कर रही है। ऐसे विशेषज्ञों को खोजना वास्तव में कठिन है।
मेरा मानना है कि यदि आपके पास वास्तव में बहुत अधिक डेटा है और आपको उनके साथ पूरी तरह से काम करने की आवश्यकता है (और न केवल किसी व्यक्ति के लिंग और आयु की भविष्यवाणी करें या एक क्लिक की संभावना बढ़ाएं, उदाहरण के लिए), तो ये दो अलग-अलग लोग होने चाहिए। यहां 20/80 नियम लागू होता है: एक डेटा वैज्ञानिक 80% डेटा साइंस है, 20% - वह कुछ लिख सकता है और इसे उत्पाद में डाल सकता है, और एक डेटा इंजीनियर - 80% सॉफ्टवेयर इंजीनियर और 20% वह जानता है कि मॉडल क्या हैं, कैसे वे गणित में जाने के बिना आवेदन और कैसे गणना करें।
- डेटा साइंस \ डाटा इंजीनियरिंग में आपके लिए सबसे महत्वपूर्ण खोज के बारे में बताएं? शायद कुछ उपकरण / एल्गोरिथ्म के उपयोग ने समस्याओं को हल करने के लिए आपके दृष्टिकोण को मौलिक रूप से बदल दिया?- संभवतः तथ्य यह है कि, पर्याप्त डेटा होने पर, आप अपने भविष्य के कार्यों के लिए बहुत सारी उपयोगी जानकारी निकाल सकते हैं। यहां तक कि अगर कभी-कभी आपको पता नहीं होता है कि ये कच्चे अनाम डेटा क्या हैं, तो आप अभी भी उनके आधार पर कुछ कर सकते हैं: समूहों में विभाजित करें, कुछ सुविधाएँ खोजें, बस संख्याओं पर गणितीय विधियों का उपयोग करके कुछ नियमितताओं को प्राप्त करें। यह सच है, विश्लेषक पहले भी ऐसा कर सकते थे, लेकिन यह तथ्य कि अब यह अधिक सुलभ हो गया है, लोहे की शक्ति बढ़ गई है - यह अच्छा है! डेटा विज्ञान में प्रवेश करने की सीमा अब कम हो गई है, आपको इतना जानने की जरूरत नहीं है कि आप पहले से ही कुछ उपकरणों पर कुछ करने की कोशिश कर सकते हैं।
- सबसे बड़ी नौकरी की फाइल क्या थी? इससे आपने क्या सबक सीखा है?- शायद, मैं आपको परेशान करूंगा, मेरे पास इससे पहले नहीं था, शायद मेरे आगे। मैंने ईमानदारी से सोचा, याद किया, लेकिन ऐसा कुछ नहीं था, बहुत उबाऊ। यह व्यवस्थापकों की तरह है: यदि आपने "खाना नहीं गिराया", तो आपने "आधार को मिटा" नहीं दिया, आप एक वास्तविक प्रशासक नहीं हैं। ठीक है, मैं शायद वास्तविक डेवलपर नहीं हूं।
- क्या आप अक्सर और क्यों डेटा इंजीनियरिंग उपकरण का उपयोग करते हैं? आपका पसंदीदा उपकरण क्या है?- मुझे अपाचे काफ्का बहुत पसंद है। एक शांत उपकरण दोनों कार्यक्षमता के संदर्भ में जो इसे प्रदान करता है, और इंजीनियरिंग के साथ। काफ्का के काम की बारीकियां प्रोग्राम कोड और ऑपरेटिंग सिस्टम के बीच घनिष्ठ संबंध में हैं, जिस पर यह काम करता है - लिनक्स (पढ़ें - "यह जल्दी और अच्छी तरह से काम करता है")। यही है, विभिन्न देशी लिनक्स-एक फ़ंक्शन का उपयोग वहां किया जाता है, जो आपको कमजोर हार्डवेयर पर भी उत्कृष्ट प्रदर्शन प्राप्त करने की अनुमति देता है। मेरा मानना है कि हमारे क्षेत्र में ऐसा होना चाहिए - यह केवल प्रोग्रामिंग भाषा और इसके लिए कुछ ढांचे को जानने के लिए पर्याप्त नहीं है। यदि आप वास्तव में कुछ अच्छा बनाना चाहते हैं, जो न केवल आपके लिए, बल्कि दूसरों के लिए भी उपयोग करने के लिए सुखद होगा, तो आपको गहरी खुदाई करने और यह जानने की आवश्यकता है कि सिस्टम में आपका कोड हार्डवेयर पर कैसे काम करता है।
- आप किन सम्मेलनों में भाग लेते हैं? आप कौन से प्रोफ़ाइल कॉलम \ ब्लॉग \ tg चैनल पढ़ते हैं?- जैसा कि मैंने कहा, यह सब पॉडकास्ट के साथ शुरू हुआ, जिसका नाम
डेब्रीपिंग है - जावा दुनिया के लोगों से।
Https://radio-t.com भी है - उच्च रूसी और उच्च-प्रौद्योगिकी विषयों पर एक शांत रूसी भाषा का पॉडकास्ट, जो हमारी भाषा में सबसे लोकप्रिय (यदि मुझसे गलती नहीं है) में से एक है।
मैं
JUG.ru से समाचारों का पालन करता
हूं , लोग शांत कट्टर सम्मेलन करते हैं, बैठकों की व्यवस्था करते हैं। मैं मास्को में, सेंट पीटर्सबर्ग में भी उन लोगों के पास जाने की कोशिश करता हूं। शीर्ष जावा सम्मेलन मास्को में Jpoint (सेंट पीटर्सबर्ग में उर्फ जोकर) है, मैं हमेशा Jpoint में जाता हूं या ऑनलाइन देखता हूं।
मैं देखता हूं कि
कंफ्लुएंट क्या कर रहा है - वे लोग जो काफ्का के लिए कॉरपोरेट समर्थन अर्जित करते हैं और इसके लिए मुख्य योगदानकर्ता हैं। वे ओपनसोर्स में अपाचे काफ्का के आसपास भी उपयोगी उपकरण विकसित करते हैं। मैं उनके संस्करणों का उपयोग करने की कोशिश करता हूं।
मीडियम पर नेटफ्लिक्स टेक ब्लॉग एक उपयोगकर्ता के लिए वीडियो सामग्री वितरित करने के सबसे बड़े प्लेटफार्मों में से एक के समाधान के बारे में एक अच्छा संसाधन है। सबसे अधिक "मुझे नहीं चाहिए" द्वारा लोड और वितरित सिस्टम)
टेलीग्राम चैनल:
https://t.me/hadoopusers - एक ऐसी जगह जहां आप डेटा-इंजीनियरिंग विषयों पर हमारी भाषा में संवाद कर सकते हैं;
https://t.me/jvmchat - जावा दुनिया के लोग, इसकी समस्याओं, उनकी समस्याओं और अधिक पर चर्चा करते हैं।
"शायद आत्मा के लिए कुछ और?"- मैं कंप्यूटर गेम पर बड़ा हुआ हूं, मैं बहुत सक्रियता से खेलता था, अब मेरे पास इसके लिए ज्यादा समय नहीं है। और कुछ बिंदु पर मैंने सोचा: "जब से मैं गेम नहीं खेल पा रहा हूं, तो मुझे इस क्षेत्र का अध्ययन करने से क्या रोकता है?" और अगर आपको अचानक खाली समय मिलता है, तो मैं जावा, सी # या सी ++ में किसी तरह का ढांचा लेता हूं जो गेम लिख सकता है, और कुछ कर सकता है। यह सब शायद ही कभी अंतिम उत्पाद तक पहुंचता है, लेकिन मुझे खुशी मिलती है। इसलिए, मेरे पॉडकास्ट की सूची में एक ऐसा भी है जो गेम बनाने के बारे में बात करता है - "गेम
कैसे बनाएं " - एक अच्छा पेशेवर पॉडकास्ट इस बारे में नहीं है कि गेम के उत्पादन की प्रक्रिया के बारे में "अपने सुपर-मेगा गेम को कैसे एनकोड करें": कैसे साउंड इंजीनियर काम करता है, गेम डिजाइनर क्या करता है, 2 डी / 3 डी-कलाकारों के काम की विशेषताएं, उनकी प्रक्रियाओं, उपकरणों के बारे में, खेल को कैसे विकसित किया जाए, इसे कैसे बढ़ावा दिया जाए। , : , , , . , . .
-:
— Java Python?— Java, .
— Data Science Data Engineering?— Data Engineering
— ?— It depends, , , .
— ?— - , .
— ?— . , , . , , .