थोड़ा बैकस्टेज वीके

साइबेरियाई हाईलाड ++ की पूर्व संध्या पर , हमने अपने एक वक्ता यूरी नसेरेड्टिनोव से बात की, उनसे पूछा कि क्या उन्होंने VKontakte पर अच्छा काम किया है, जबकि एक ही समय में सोशल नेटवर्क की आंतरिक रसोई पर गोपनीयता का पर्दा खोल रहे हैं।



सम्मेलन के ढांचे के भीतर, यूरी इस बारे में बात करेगा कि कैसे एक सामाजिक नेटवर्क दसियों हज़ारों सर्वरों से क्लिकहाउस में डेटा सम्मिलित करता है, जिसे हमने वर्तमान बातचीत में अभी-अभी छुआ है।

- कृपया हमें अपने काम के बारे में बताएं।

वर्तमान में मैं वीके पर काम करता हूं। सच है, इतना लंबा नहीं - इस साल की शुरुआत से। मैं वीडियो इंफ्रास्ट्रक्चर और साइट इंफ्रास्ट्रक्चर में लगा हुआ हूं। साइट मुख्य रूप से PHP में लिखी गई है, और मैं PHP और गो में सेवाओं और उपयोगिताओं का विकास करता हूं।

- क्या आप वीके में काम करने के लिए जाने के लिए प्रेरित किया?

मुझे वीके में काम करने के लिए आमंत्रित किया गया था। और मैंने सोचा - क्यों नहीं? VKontakte रूस में सबसे अधिक भरी हुई साइट है और पूरे इंटरनेट पर सबसे बड़ी साइटों में से एक है। मुझे हमेशा इस तरह के एक बड़े प्रोजेक्ट पर काम करने में दिलचस्पी थी - साइट और मोबाइल एप्लिकेशन के विकास में भाग लेने के लिए। शायद उनके विकास को भी प्रभावित करें, किसी तरह सुधार करें। यह शायद सबसे प्रेरक कारक है - VKontakte हर कोई जानता है और उपयोग करता है। और इस तरह के उत्पाद पर काम करना बहुत अच्छा है, ताकि इसे बेहतर बनाने में मदद मिल सके।

- इससे पहले, क्या आपको पैमाने में कुछ इसी तरह से निपटना था?

हाँ, लगभग पाँच वर्षों तक मैंने इसी तरह की स्थिति में - बुनियादी ढाँचे के विकास में काम किया। लेकिन वीके में लोड अधिक से अधिक परिमाण का एक आदेश है।

- VK पर स्विच करने पर आपको कोई समस्या थी?

VKontakte कार्यालय सेंट पीटर्सबर्ग में स्थित है। और इससे पहले कि मैं उपनगरों में रहता था, इसलिए मुझे स्थानांतरित करना पड़ा। यह कदम अपने आप में काफी आसान था - कंपनी मदद करती है। लेकिन सेंट पीटर्सबर्ग में सर्दियों में बहुत ठंड होती है। यह शायद सबसे मुश्किल काम था।

- ऐसा कोई एहसास नहीं है कि मॉस्को रिंग रोड के अंदर कहीं जीवन बना हुआ है?

सबसे पहले, यह वास्तव में मुझे ऐसा लगता था, इस तथ्य के बावजूद कि मैं पहले मास्को के अलावा रूस के अन्य शहरों में गया था। लेकिन वास्तव में, मुझे सेंट पीटर्सबर्ग पसंद है, शायद मास्को से भी अधिक। वह शांत है - कम लोग, वे जल्दी में नहीं हैं, और यह अच्छा है।

- और काम में उपयोग की जाने वाली प्रौद्योगिकियों के दृष्टिकोण से - आपके लिए मौलिक रूप से नया क्या था?

VKontakte क्रमशः बहुत बड़ा है, यहाँ वास्तव में कुछ बारीकियाँ हैं जिनका मैंने पहले सामना नहीं किया है। उदाहरण के लिए, Badoo में व्यावहारिक रूप से बहुत लोकप्रिय प्रोफ़ाइल नहीं हैं जो लोगों के महत्वपूर्ण प्रतिशत का दौरा करते हैं। VKontakte में यह है, क्योंकि कई दिलचस्प उपकरण हैं जो आपको बहुत लोकप्रिय खातों को जल्दी से स्केल करने की अनुमति देते हैं।

इसके अलावा, VKontakte उस में अलग है, ऐतिहासिक कारणों से, लगभग सब कुछ यहां है। इसके विपरीत, उदाहरण के लिए, बेेट, जो मुख्य रूप से MySQL और Memcache (अपनी सेवाओं के साथ) का उपयोग करता है, VKontakte अपने स्वयं के डेटाबेस और यहां तक ​​कि Memcache के अपने स्वयं के संस्करण का उपयोग करता है। वीके डेवलपर्स अधिक उच्च कुशल सेवाएं (उसी MySQL की पृष्ठभूमि के खिलाफ) बनाने में सक्षम हो सकते हैं जो इतने बड़े पैमाने पर अच्छी तरह से काम करते हैं। फ़ाइल के बिना तैयार किए गए अधिकांश उपकरण एक बुनियादी ढांचे में उपयोग नहीं किए जा सकते हैं जिनमें वीके के जैसे हजारों सर्वर शामिल हैं, और यह महत्वपूर्ण कठिनाइयों का निर्माण करता है।

- क्या ऐसे "आंतरिक" टूल में जल्दी से घुसना मुश्किल था?

मैं बुनियादी ढांचा विभाग में काम करता हूं, और यहां कई गैर-मानक चीजें नहीं हैं। मूल रूप से यह एक और भी अधिक मानक स्टैक है जो मैंने पहले के साथ काम किया था। लेकिन अगर मैंने काम किया, उदाहरण के लिए, एक विभाग में जो बैक-एंड सुविधाओं से संबंधित है, तो, निश्चित रूप से, इस बात का उपयोगी ज्ञान होगा कि हाईलोड सिस्टम मूल रूप से कैसे बनाया गया है, लेकिन विशिष्ट विवरण नहीं। ऐसी स्थितियों में, नए कर्मचारियों के लिए पेज, आंतरिक तंत्र के विवरण मदद करते हैं।

सिद्धांत रूप में, वीके इंफ्रास्ट्रक्चर का एक ठोस हिस्सा पावेल डुरोव द्वारा प्रलेखन के साथ खुले स्रोत में पोस्ट किया गया था। कोई भी इसे पढ़ सकता है, पढ़ सकता है कि यह कैसे काम करता है। लेकिन, निश्चित रूप से, इसे आंतरिक रूप से कैसे उपयोग किया जाता है, इस संदर्भ में यह समझना बहुत आसान है। आप आते हैं और कार्य करना शुरू करते हैं, धीरे-धीरे अध्ययन करते हैं कि उन्हें हल करने के लिए क्या आवश्यक है। देखें कि यह पहले से ही कैसे किया गया है, और ऐसा ही करें। और वह काफी है। आखिरकार, भले ही आप वीके के बुनियादी ढांचे पर सभी दस्तावेजों को पढ़ने में महारत हासिल करते हैं, जब तक कि आप इसका उपयोग करना शुरू नहीं करते हैं, सबसे अधिक संभावना है कि आप यह नहीं समझ पाएंगे कि यह कैसे विस्तार से काम करता है।

मैं ध्यान देता हूं कि उपरोक्त सभी मेरे विभाग पर लागू होते हैं (दूसरों में यह भिन्न हो सकते हैं)।

- क्या आपके पास वीके के अंदर कोई विशेषज्ञता है? आपने किन कार्यों में भाग लिया?

जैसे कोई विशेषज्ञता नहीं है। मैं वही करता हूं जो वर्तमान में आवश्यक है।
मैं एक ऐसे विभाग में काम करता हूं, जिसकी गतिविधियाँ सोशल नेटवर्क इन्फ्रास्ट्रक्चर के विभिन्न हिस्सों को प्रभावित करती हैं, और यह एक बहुत बड़ी परियोजना है (पूरी तरह से समझ के साथ वीके डिवाइस को समझने में बहुत समय लगता है)।

उदाहरण के लिए, मैंने PHP7 में आंशिक अपग्रेड में भाग लिया। यह, सिद्धांत रूप में, पूरी साइट पर लागू होता है, लेकिन एक ही समय में किसी भी विशिष्ट विवरण पर लागू नहीं होता है।

एक और उदाहरण लॉग को इकट्ठा करने में समस्या है, जिसके समाधान के लिए हमने क्लिकहाउस का उपयोग किया। मैं इस बारे में HighLoad ++ में बात करूंगा।



- चलो एक छोटा स्पॉइलर देते हैं - इस समस्या की विशेषता क्या थी?

यह पकड़ दो कारकों का एक संयोजन थी: एक तरफ, हमारे पास बहुत सारे लॉग लिखे हुए हैं, और दूसरी तरफ, हमें जल्दी से उनके माध्यम से देखने की जरूरत है।

मौजूदा प्रणाली, वास्तव में, बड़ी मात्रा में डेटा को स्टोर नहीं कर सकती है, जल्दी से केवल नवीनतम जानकारी को दूर कर सकती है। कहानी प्राप्त करने के लिए, आपको बहुत भारी प्रश्नों को मैन्युअल रूप से करना होगा।

- पाठकों को इस बात में रुचि हो सकती है कि समाधान के लिए कॉलम ClickHouse का उपयोग क्यों किया गया?

स्तंभ - कार्य की बारीकियों के कारण। अक्सर लॉग में जानकारी खोजते समय, हमें सर्वर या उपयोगकर्ता द्वारा फ़िल्टर करने की आवश्यकता होती है। जब डिस्क से पढ़ने की बात आती है, तो एक कॉलम डेटाबेस आपको कई बार (लाइन की पृष्ठभूमि के खिलाफ) पढ़ने में तेजी लाने की अनुमति देता है, जो केवल आवश्यक कॉलम और अधिक कुशल बिट-वार संपीड़न पढ़कर हासिल किया जाता है। इसके अलावा, ClickHouse अच्छी तरह से गुठली भर में प्रश्नों को समानांतर करता है। यानी शास्त्रीय डेटाबेस के विपरीत, यह प्रोसेसर और डिस्क दोनों के लगभग सभी संसाधनों का उपयोग करके, पूरे क्लस्टर पर भी एक ही क्वेरी कर सकता है। इस तरह के डेटाबेस, विशेष रूप से मुफ्त वाले, बहुत सारे नहीं हैं, यदि कोई हो। लॉग्स स्टोर करने के कार्य के लिए ClickHouse बहुत अच्छी तरह से आया।

मैं यह भी नोट करता हूं कि मेरे आने से पहले, ClickHouse का उपयोग VK के द्वारा एक विशेष रूप से अत्यधिक विशिष्ट कार्य में किया गया था - ग्राफाना के लिए बैक-एंड टूल के रूप में। यह सर्वरों के लिए एक डेटा संग्रह और रेखांकन प्रणाली है। सच है, केवल ClickHouse के साथ कुछ सर्वरों को तैनात किया गया था, अर्थात्, यह प्रोग्रामर के लिए उपलब्ध नहीं था।

लॉग्स को स्टोर करने के लिए ClickHouse का उपयोग करने के निर्णय के बाद, मैंने उचित बुनियादी ढांचा बनाने में मदद की, ताकि यह सभी के लिए सुविधाजनक और समझ में आए।

- क्या VK थर्ड-पार्टी सॉल्यूशंस का उपयोग कुछ महत्वपूर्ण मात्रा में (ऊपर उल्लिखित लोगों के अलावा) करता है?

बेशक इस्तेमाल किया। उदाहरण के लिए, लिनक्स, जिस पर यह सब कताई है। उस कार्य के हिस्से को कम मत समझो जो ऑपरेटिंग सिस्टम हमारे लिए करता है।

विचित्र रूप से पर्याप्त, PHP का उपयोग किया जाता है। हमारे पास KittenPHP नामक एक मालिकाना इंजन है, जो PHP को C ++ में अनुवादित करता है, लेकिन उत्पादन, नियमित PHP सहित कई कार्यों के लिए भी उपयोग किया जाता है।

नगनेक्स द्वारा उपयोग किया जाता है। अब तक, MySQL कुछ स्थानों पर शामिल है, लेकिन धीरे-धीरे हम इसे मना कर देते हैं - हम स्व-लिखित डेटाबेस का उपयोग करते हैं।

- और विकास प्रक्रिया कैसे बनाई जाती है?

मुझे वीके में प्रक्रियाओं और उद्योग में क्या स्वीकार किया जाता है, के बीच बड़ा अंतर नहीं दिखता है। हमारे पास एक बग ट्रैकर है, जो विभाग विभिन्न कार्यक्षमता के साथ काम करते हैं, जो परियोजना के उनके हिस्से के लिए जिम्मेदार हैं; घटकों आदि के लिए जिम्मेदार स्प्रिंट हैं।

- परिणामों के बजाय, यह इंगित करना संभव है कि जिस विभाग में आप काम कर रहे हैं वह किस दिशा में विकसित हो रहा है?

जहाँ तक मुझे पता है, जिस विभाग में मैं अब काम करता हूं, उसमें 1-2 लोग शामिल हैं।
और हम उस रूप में बुनियादी ढांचे में संलग्न करना शुरू कर दिया, जिसमें यह अभी किया जा रहा है (शायद, यह देवो जैसा दिखता है) बहुत पहले नहीं। इसलिए, योजनाओं के बारे में बात करना बहुत जल्दी है - हम मौजूदा समस्याओं को हल कर रहे हैं, और अभी तक हमारे पास पर्याप्त काम है। और फिर हम देखेंगे।

---

यूरी आपको वीके इंटर्नल के बारे में और अधिक बताएंगे, 25-26 जून को साइबेरियन हाईलाड ++ में अपनी बात में क्लिकहाउस और अन्य विवरणों का उपयोग करते हुए। आप निश्चित रूप से इन रिपोर्टों में दिलचस्पी लेंगे:

• MySQL से ClickHouse (व्लादिस्लाव क्लिमेंको , वालेरी पानोव) के लिए एनालिटिक्स के सुगम प्रवास के लिए MySQL से ClickHouse के लिए वास्तविक समय डेटा प्रतिकृति
• थोड़ा रैंक करना सीखना (एंड्री अक्सेनोव)
• Badoo में उपकरण और सेवाओं का विकास: हमारे चयन मानदंड और इसके बारे में क्या आया (एंटोन ट्यूरेट्स्की)