यह ड्यूश बैंक टेक्नोलॉजी सेंटर से एंटन बटियाव के साथ एक साक्षात्कार है। हम इस बारे में बात करेंगे कि वित्तीय गणितज्ञ क्या करते हैं, जहां बैंकों से डेटा आता है, उन्हें कैसे संसाधित और अनुकूलित किया जाता है। वित्तीय क्षेत्र में आने की जटिलता पर, विनिमय पर व्यापार और बैंकों के लिए सामान्य आवश्यकता।

वे बैंक में क्या और कैसे गिनते हैं?

- अपना परिचय दें, कृपया: मुझे बताएं कि आप कौन हैं, आप क्या करते हैं।

मैं इस वर्ष की जनवरी की शुरुआत में ड्यूश बैंक टेककेंटर में गया और अब एक प्रोजेक्ट पर सर्वर साइड विकसित कर रहा हूं जो दुनिया भर के कई अलग-अलग व्यापारियों और इस डेटा की आवश्यकता वाली अन्य टीमों के लिए विभिन्न प्रकार के वित्तीय साधन जोखिमों पर विचार करता है।

परियोजना ने काफी व्यापक बुनियादी ढांचे का निर्माण किया है जो कई लोकप्रिय मानक ढांचे, गैर-संबंधपरक डेटाबेस का उपयोग करता है, काफ्का पर बड़े डेटा के साथ काम करता है। हम हजारों CPU के लिए एक ग्रिड के साथ भी काम करते हैं, विभिन्न कस्टम प्रोजेक्ट्स का उपयोग करते हैं, प्रोटोबॉफ के साथ काम का अनुकूलन करते हैं, वित्तीय स्थिति में गणनाओं को लागू करते हैं,

बुनियादी ढांचे के हिस्से के रूप में, कई अतिरिक्त अनुकूलन और चिप्स हैं। शायद यह स्पष्ट है, लेकिन लगातार और तार्किक रूप से यह बता पाना बेहद मुश्किल है कि बैंक में क्या हो रहा है। कुछ प्रतिशत ने वित्तीय संसाधनों को फेंक दिया है और प्राप्त किया है - यह जटिल गणित, एल्गोरिदम और बड़े बुनियादी ढाँचे, तकनीकी और अनुकूलन कार्य हैं।

- क्रम में आते हैं। आपने कहा कि TechCenter में आप वैश्विक बैंकिंग मंच के लिए गणना कर रहे हैं। और बैंक में क्या माना जा सकता है?

मेरे अनुभव के आधार पर, निवेश गतिविधियों के ढांचे में, दोनों मूल्य और विभिन्न उपकरणों के कई अन्य संकेतकों पर विचार किया जाता है। अगर हम शेयरों के बारे में बात करते हैं, तो सब कुछ स्पष्ट है: एक उद्धरण उनकी कीमत है। बांड के लिए, यह अंकित मूल्य का एक प्रतिशत होगा।

यदि हम डेरिवेटिव (व्युत्पन्न वित्तीय साधनों) के बारे में बात करते हैं, तो कीमत उस प्रीमियम का आकार है जिसे इस उपकरण के लिए भुगतान किया जाना चाहिए। इसकी गणना कई विभिन्न सूत्रों द्वारा की जाती है। एक ब्लैक-स्कोल्स सूत्र है जो विकल्पों के मूल्य का अनुमान लगाता है - यह एक ऐसा फ़ंक्शन है जो वर्तमान उद्धरण, अंतर्निहित परिसंपत्ति, अस्थिरता, समय समाप्ति और कई अन्य कारकों के कार्य पर निर्भर करता है।

ऐसे मॉडल हैं जो आपको व्यापारी के पोर्टफोलियो के मूल्य की गणना करने की अनुमति देते हैं। एक विभाग या कंपनी के पास एक पोर्टफोलियो में लेनदेन, व्युत्पन्न वित्तीय साधनों का एक सेट होता है, और आपको यह गणना करने की आवश्यकता होती है कि वर्तमान में उनकी लागत कितनी है। अलग-अलग, एक कीमत हो सकती है, लेकिन कुल मिलाकर - वे किसी भी तरह सहसंबंधित कर सकते हैं, छूट दे सकते हैं, और इसी तरह। उदाहरण के लिए, सिंथेटिक पोजिशन: विकल्पों में से वायदा के बराबर एक विकल्प का निर्माण कैसे करें। यह उपयुक्त है, उदाहरण के लिए, गैर-रैखिक संपत्ति जैसे कि विकल्प, लेकिन सभी प्रकार के डेरिवेटिव के लिए जरूरी सच नहीं है। मूल्यांकन अंतर्निहित परिसंपत्ति के उद्धरण पर आधारित है, जिस पर व्युत्पन्न बनाया गया है। उदाहरण के लिए, एक या एक से अधिक मुद्रा जोड़े का उद्धरण। विभिन्न अंतर्निहित परिसंपत्तियों पर डेरिवेटिव्स का निर्माण किया जा सकता है: मुद्रा के लिए, अंतर्निहित परिसंपत्तियां यूरो, डॉलर, और इसी तरह होंगी; कमोडिटी डेरिवेटिव्स के लिए - तेल, सोना, गेहूं; स्पॉट के लिए - विभिन्न स्टॉक और बॉन्ड।

डेरिवेटिव का आकलन करने के अलावा, जोखिमों पर भी विचार किया जाता है - अगर बाजार में कीमतों में और अधिक मजबूती (अस्थिरता परिवर्तन) होती है तो क्या होगा। या क्या होगा यदि डॉलर 60 के लायक नहीं है, लेकिन एक या अन्य सभी मुद्राओं के संबंध में 100 रूबल। एक विशिष्ट उपकरण, पोर्टफोलियो का क्या होगा।

आपको वास्तविक समय में इसकी गणना करने की आवश्यकता है, और बाजार की अस्थिरता में परिवर्तन, प्रत्येक मुद्राओं के लिए मूल्य आंदोलनों के विभिन्न प्रतिकूल परिणामों के लिए पोर्टफोलियो की वर्तमान स्थिति का भी अनुमान है। ऐसा करने के लिए, हम सभी संभावित परिवर्तनों के एक मैट्रिक्स का निर्माण कर रहे हैं, जो दिखाता है कि अब क्या है, कल क्या होगा और अगर बाजार में संकट होता है तो क्या होगा।

वर्तमान क्षण में क्या खरीदना और बेचना है और क्या जोखिम हैं, इसका आकलन करने के लिए यह आवश्यक है। और, भविष्य में क्या होगा, इसका मूल्यांकन करने के लिए, व्यापारिक रणनीतियों का मूल्यांकन करें और बाजार परिवर्तनों का अधिक सटीक उत्तर दें। उदाहरण के लिए, क्वांटा में से एक जोखिमों की गणना के लिए एक नए एल्गोरिदम के साथ आया था - आपको ऐतिहासिक डेटा पर ड्राइव करने की आवश्यकता है, उदाहरण के लिए, दशकों के लिए सभी विनिमय जानकारी के लिए और देखें कि क्या होता है।

इन जरूरतों के लिए, विभिन्न एक्सचेंज प्लेटफार्मों से जुड़ा हुआ बुनियादी ढांचा है जो हमारे लिए बाजार डेटा प्रसारित करता है। चूंकि हमारी कंपनी के पास दुनिया भर में बहुत अधिक डेटा है, इसलिए हमें इसे जल्दी से संसाधित करने के लिए किसी न किसी तरह से पूर्व-संग्रह करने और बनाने की आवश्यकता है।

- इससे पहले कि हम इंफ्रास्ट्रक्चर पार्ट पर आगे बढ़ें, मैं आपके बारे में पूछना चाहता हूं कि आपने पहले ही क्या कहा है। आपने सभी प्रकार के विश्लेषण एल्गोरिदम के एक समूह के बारे में बात की, ये एल्गोरिदम कहाँ से आते हैं? क्या यह किसी प्रकार का किताबी ज्ञान है या आपकी सर्वोत्तम प्रथाएँ?

कुछ बिंदु हैं। सबसे पहले, प्रसिद्ध सूत्र, गणितज्ञों द्वारा आविष्कार किए गए एल्गोरिदम को लिया जाता है। उदाहरण के लिए, आम तौर पर स्वीकृत विकल्प मूल्य निर्धारण मॉडल ब्लैक-स्कोल्स फॉर्मूला है। लेकिन, इसके अलावा, आंतरिक सुधार भी हैं: विशेष रूप से, हम मूल्य वितरण के अन्य कानूनों का उपयोग करते हैं, हम इन सूत्रों में गुणांक को मोड़ते हैं। कीमतों, सौदों और अन्य संकेतकों के लिए वितरण वक्र का सूत्र बहुत भिन्न हो सकता है।

यदि हम अनुकूलन के बारे में बात करते हैं, तो ये पहले से ही आंतरिक सुधार हैं। उदाहरण के लिए, प्रत्येक बिंदु पर संकेतकों की गणना करने के बजाय, डेवलपर्स प्रमुख मूल्यों की गणना कर सकते हैं और सन्निकटन कर सकते हैं, जिसमें कंप्यूटर का 20 गुना कम समय खर्च होगा, लेकिन एक ही समय में स्वीकार्य और पर्याप्त सटीकता दें।

सभी डेटा लगातार बदल रहे हैं, और यह हमारे लिए न केवल रिपोर्टिंग के लिए महत्वपूर्ण है, बल्कि व्यापारियों को बाजार की स्थिति की एक अद्यतित तस्वीर देने के लिए भी महत्वपूर्ण है।

- यह बल्कि जटिल जानकारी है, और यह एक व्यक्ति से दूसरे व्यक्ति में स्थानांतरित करना काफी मुश्किल है। आपकी टीम का आकार क्या है, और आप अपने बीच ज्ञान कैसे स्थानांतरित करते हैं?

मॉस्को में हमारी परियोजना में 35 लोग कार्यरत हैं। ये कई टीमें हैं जो कार्यक्षमता के कुछ टुकड़ों से निपटती हैं: यूआई, बैकएंड, इन्फ्रास्ट्रक्चर, वित्तीय गणित। ऐसी प्रत्येक टीम में किसी विशेष मॉड्यूल की कार्यक्षमता में गहरी विशेषज्ञता होती है। लेकिन इन लोगों के अलावा, ऐसे कई लोग हैं जो हमारी परियोजना से संबंधित प्रणालियों में शामिल हैं।

हमारे प्रोजेक्ट के बारे में सभी जानकारी विश्लेषकों द्वारा कॉन्फ्लुएंस में वर्णित है, और यह JIRA में कार्य विवरणों में भी निहित है, जहां मानक तंत्र और सार्वजनिक सूत्रों के लिंक हैं। कार्यक्षमता का उपयोग करने के उदाहरण परीक्षणों में पाए जा सकते हैं। खैर, मानव संचार को रद्द नहीं किया गया है।

- वित्तीय गणितज्ञ: कितने हैं और वे कौन हैं? कोई महत्वपूर्ण वैज्ञानिक?

हां, वे मुख्य रूप से विशेषज्ञ (क्वांटा) हैं जो लंदन में बैठते हैं और वित्तीय मॉडल बनाते हैं कि बाजार कैसे काम करता है। अक्सर वे वित्त या गणित में पीएचडी करते हैं। वे जानते हैं कि बाजार कैसे काम करता है, व्यापारियों को क्या चाहिए, और कुछ प्रकार के गणितीय मॉडल के साथ आ सकते हैं जो बाजार की स्थिति, जोखिम गणना एल्गोरिदम और डेरिवेटिव के सही मूल्यांकन का वर्णन करते हैं।

उदाहरण के लिए, मेरे सहयोगी अलेक्जेंडर ने हैबे पर एक लेख लिखा था , जहां उन्होंने क्वांटम के साथ अनुभव का उल्लेख किया था।

- क्या सामान्य डेवलपर्स उनके साथ संवाद कर सकते हैं? यह संचार कैसे हो रहा है? दरअसल, गणित और पारंपरिक विकास पूरी तरह से अलग दुनिया है।

वे संवाद और संवाद कर सकते हैं: यह स्पष्ट है कि कुछ शीर्ष-स्तरीय व्यावसायिक कार्यों और अवधारणाओं पर नेताओं के साथ चर्चा की जाती है, लेकिन विशिष्ट जोखिम गणना या अन्य संकेतकों के ढांचे में, डेवलपर सीधे व्यापारी या क्वांटम के साथ संवाद करता है जिन्होंने इस मॉडल का निर्माण किया था।

लेकिन वास्तव में, यह बातचीत की एक पारस्परिक प्रक्रिया है, क्योंकि सैद्धांतिक एल्गोरिथ्म हमेशा व्यवहार में लागू नहीं होता है। इसलिए, डेवलपर्स मॉडल में परिवर्तन का प्रस्ताव कर सकते हैं ताकि यह वर्तमान एप्लिकेशन आर्किटेक्चर पर टिकी हो।

बातचीत करने के कई तरीके हैं - एक ही स्काइप, फोन, सभी मानक संचार उपकरण।

- परिणामस्वरूप होने वाला सॉफ्टवेयर स्वचालित है? क्या ये रोबोट हैं या व्यापारियों के लिए कुछ ऐसा है जो तकनीकी विश्लेषण में लगे हैं - चार्ट या कुछ और?

सॉफ्टवेयर का उपयोग करने के लिए कई विकल्प हैं: पहला स्वचालित है, अर्थात। ट्रेडिंग रोबोट, दूसरा व्यापारी के लिए एक सहायक है, जो पोर्टफोलियो की वर्तमान स्थिति को दर्शाता है, विभिन्न संकेतकों पर जोखिमों का विवरण, व्यापार के लिए विकल्प जो वह अब कर सकता है, साथ ही साथ भविष्य के पोर्टफोलियो की स्थिति और इन कार्यों के परिणामों के आधार पर जोखिम भी। व्यापारियों के लिए संकेतक भी हैं, पोर्टफोलियो की स्थिति पर जोखिम गणना और डेटा।

- एक अन्य मीट्रिक डेटा विश्लेषण की आवृत्ति है, आप इसे कितनी बार करते हैं? स्पेक्ट्रम के एक तरफ, जैसा कि मैं इसे समझता हूं, कुछ माइक्रोसेकंड, और दूसरे पर, बड़े डेटा का विश्लेषण जिसे जाने में सप्ताह लग सकते हैं।

संकेतकों की जटिलता और महत्व के आधार पर, ये लाइव संकेतक हो सकते हैं, जो प्रत्येक टिक के लिए पुनर्गणित होते हैं, और फिर गणना मिलीसेकंड के लिए जाती है। और अगर हम पोर्टफोलियो की लागत की गणना करते हैं, तो अपडेट एक बार एक सेकंड में होता है, ताकि मानव आंख को इसे देखने का समय मिल सके।

यदि आप लंबी गणनाओं का वर्णन करते हैं (उदाहरण के लिए, कुछ जटिल जोखिम), जिस पर दिन के दौरान डेटा की आवश्यकता होती है, तो कार्यों को ग्रिड में भेजा जाता है, मुद्रा उद्धरण बदलने का परिदृश्य माना जाता है। सामान्य तंत्र इस प्रकार है: आप एक निश्चित चक्र के भीतर सभी नए लेनदेन पर विचार करते हैं, फिर आप बाजार की वर्तमान स्थिति में लेनदेन के पूरे सेट के लिए संकेतक पुनर्गणना करने के लिए ग्रिड पर एक मुश्किल काम करते हैं।

ऐसे कार्यों को प्रति घंटे एक बार अपडेट किया जा सकता है। यदि आपको ट्रेडिंग रणनीतियों को दूर करने की आवश्यकता है - यह एक लंबा काम है, तो उन्हें फेंक दिया जाता है, और कई घंटों के लिए इसे माना जाता है, जो डेटा की जटिलता और मात्रा पर निर्भर करता है। ग्रिड पर कार्य या तो बहुत छोटे हो सकते हैं, उदाहरण के लिए, एक सूत्र की गणना करें और एक परिणाम दें, या बड़े, उदाहरण के लिए, उन तालिकाओं के लिए जहां आपको सभी संभावित जोखिम परिदृश्यों के सहसंबंधों की गणना करने और संयुक्त परिणाम देने की आवश्यकता होती है।

यहां ग्रिड के लोड को अनुकूलित करने और उपकरण के प्रकार, डेटा की मात्रा और अन्य संकेतकों के आधार पर इसे अधिकतम करने के लिए गणना करने के समय की भविष्यवाणी करने का कार्य दिखाई देता है। क्योंकि, यदि आप एक बड़ा काम करते हैं, तो बाकी सभी लोग लाइन में इंतजार करेंगे, हालाँकि इस दौरान आप कुछ और गिन सकते हैं।

सामान्य तौर पर, एक बैकपैक और अन्य अनुकूलन का कार्य। जहां ग्रिड के लिए पिंग गणना समय से अधिक है, हम इसे बैकएंड पर करेंगे, जहां इस तरह के छोटे कार्यों के लिए पहले से ही एक मिनी-क्लस्टर तैनात किया गया है।

- क्या मैं किसी तरह इसे किसी तरह के ढांचे में डाल सकता हूं? जहां तक ​​मैं समझता हूं, कार्यों की मात्रा के आधार पर अलग-अलग अनुकूलन विधियां लागू की जाती हैं। छोटे कार्यों पर, यह जेआईटी संकलक को अनुकूलित करने के लिए समझ में आता है, और बड़े कार्यों पर, कुछ और। मुझे बताएं कि समस्या के क्षेत्र क्या हैं और तेजी लाने और अनुकूलन करने के लिए कौन से तरीके हैं।

एक बड़े कार्य का एक उदाहरण सभी वित्तीय साधनों और जोखिमों की गणना करना है जब प्रत्येक मुद्रा के उद्धरण 1-2-3-10% बदलते हैं। इस मामले में, अनुकूलन बंडलों में ग्रुपिंग सौदों में शामिल होगा ताकि एक बंडल के भीतर एक प्रकार के पोर्टफोलियो या एक मुद्रा के लिए सौदे हों।

ताकि प्रत्येक लेनदेन के लिए कई जोखिम गणना न हों, हम उन्हें बड़ी मात्रा में एक लेनदेन के रूप में प्रस्तुत करते हैं, और फिर आनुपातिक रूप से परिणामों को विभाजित करते हैं। इस प्रकार, हम आवश्यक गणनाओं की संख्या कम कर देते हैं।

एक और अनुकूलन उदाहरण इस बार मुद्रा जोड़े के साथ है। मान लें कि "रूबल-डॉलर" और "रूबल-यूरो" दो जोड़े हैं। पहली जोड़ी में, आप कल्पना कर सकते हैं कि रूबल गिर रहा है, लेकिन यह संभव है कि डॉलर बढ़ रहा है। वास्तव में, यह एक और एक ही है। वही रूबल-यूरो जोड़ी के लिए जाता है। तदनुसार, हम एक पैक में पहली नज़र में अलग-अलग जोड़े पर विचार कर सकते हैं, इस आधार पर कि दोनों मामलों में रूबल बदल जाता है।

गणना की संख्या कम हो जाती है और परिणाम त्वरित होता है। ऐसा लगता है कि एक मुद्रा (हमारे उदाहरण में, रूबल) बदल गई है, लेकिन वास्तव में, हमने विषम संपत्तियों के जोखिमों की गणना की है।

- और क्या आप समस्या को हल कर सकते हैं और इसे एक विशाल, विशाल क्लस्टर में रोल कर सकते हैं?

ऐसा एक क्लस्टर है, लेकिन यह पहले से ही कई गणनाओं के साथ भरा हुआ है। वर्तमान में वहां मौजूद हजारों सीपीयू के दसियों के बावजूद क्लस्टर रबर नहीं है।

- और सॉफ्टवेयर की दृष्टि से, इन-मेमोरी डेटाग्रिड या हडोप?

हां, यह सब संसाधित करने के लिए Hadoop और Kafka है, और बड़े डेटा के साथ काम का अनुकूलन करने के लिए ClickHouse डेटाबेस। डेटा स्टैकिंग के संदर्भ में, यह स्पष्ट है कि ड्राइविंग JSONs, इसे मामूली, अक्षम बनाने के लिए है। इस संबंध में, प्रोटोबॉफ़ के साथ अनुकूलन के क्षण हैं। हमारे लिए यह महत्वपूर्ण है कि हम केवल बाइनरी डेटा को न रखें, लेकिन शब्दकोशों का उपयोग करते हुए इसे जितना संभव हो उतना कसकर करें।

उनमें हम स्टोर करेंगे, उदाहरण के लिए, सभी लेनदेन के लिए एक ही प्रकार के अनुबंध विनिर्देश। शब्दकोशों के साथ इस अनुकूलन के कारण, एक सहयोगी ने कब्जे वाली स्मृति का 30% बचाया।

- क्या ये शब्द विशिष्ट नोड्स पर हैं और एक केंद्रीय आधार में डुप्लिकेट या स्थित हैं?

अलग-अलग तरीकों से। ज्यादातर एक केंद्रीय आधार में। और ऐसे शब्दकोश हैं जो आप गणना के एक गुच्छा के साथ ग्रिड में स्थानांतरित करते हैं। वह जितना संभव हो उतना कॉम्पैक्ट होना चाहती है ताकि बहुत सारे डेटा न खींचे, क्योंकि इंटरनेट चैनल रबर नहीं हैं।

यह कैसे काम करता है? आप इसके लिए सभी आवश्यक जानकारी के साथ गणना कार्य ग्रिड को भेजते हैं, जिसे आप डुप्लिकेट से बचने के लिए शब्दकोशों में पैक करते हैं। अंदर, पहले से ही सभी सामग्री होगी, और आपको अतिरिक्त रिपॉजिटरी में जाने की आवश्यकता नहीं है। यह नेटवर्क ट्रैफ़िक को बचाता है और गणना में विलंबता को कम करता है।

- जहां तक ​​मुझे पता है, बैंकों का ऐतिहासिक डेटा पर विश्लेषण है, जो प्रति गीगाबाइट-टेराबाइट्स डेटा का एक बड़ा पैक है। और एकल डेटाबेस के साथ दृष्टिकोण काम नहीं करता है? आप कुंजी पर 2 टीबी डाल सकते हैं, लेकिन यह अच्छा नहीं है।

हाँ, ऐसे क्षणों का निर्णय पार्टिंग द्वारा किया जाता है। आपके पास देश के स्थानीय कैश होंगे, जो सूचनाओं के आदान-प्रदान से फैलेंगे, क्योंकि न्यूयॉर्क से सिंगापुर के लिए सभी लेनदेन के बारे में जानकारी भेजना संसाधन-गहन है। यह स्पष्ट है कि यहां देश का विभाजन तर्कसंगत है: उदाहरण के लिए, संयुक्त राज्य अमेरिका में लेनदेन अमेरिकी डेटा केंद्रों में रखा जाएगा। उद्धरण के साथ एक समान स्थिति - आपको एक रूटिंग बनाने और यह निर्धारित करने की आवश्यकता है कि यह किस प्रकार का सौदा है, यह किस क्षेत्र से संबंधित है, यह समझने के लिए कि कैश कहाँ हैं, इसे आवश्यक स्टोरेज और डेटाबेस में भेजें और फिर से डेटा का पीछा न करें।

- और ऐसा होता है कि आपको विभिन्न क्षेत्रों के डेटा में शामिल होने की आवश्यकता है?

हाँ, यह करता है, और यह एक मुश्किल काम है। यह स्पष्ट है कि हम कुल परिणाम प्राप्त करने के लिए सभी क्षेत्रों से डेटा की टेराबाइट्स को पंप नहीं करेंगे। प्रत्येक क्षेत्र में सबसे अधिक संभावना है कि आप इस क्षेत्र के स्थानीय कुल की गणना करेंगे और फिर आप सारांश डेटा प्राप्त करने के लिए इन सभी परिणामों को एकत्र करेंगे।

- सबसे अधिक संभावना है, बाहरी डेटा है, उदाहरण के लिए, विनिमय इतिहास। और उन्हें कैसे संभालना है? क्या आप अपने आप को अंदर से दर्पण करते हैं, या उन्हें संसाधित करने के तरीके हैं?

मानक डेटा प्रदाताओं के प्रोटोकॉल और कनेक्शन हैं: रॉयटर्स, ब्लूमबर्ग, जो विनिमय जानकारी प्रदान करते हैं। हम आंतरिक भंडारण पर आवश्यक डेटा संग्रहीत करते हैं, लेकिन डेटा प्रदाता से कुछ चीजों को फिर से अनुरोध किया जा सकता है। फिर से, क्षेत्र के आधार पर, ताकि यातायात को चलाने के लिए नहीं।

यह स्पष्ट है कि उन्होंने गति और प्रदर्शन सुनिश्चित करने के लिए दुनिया भर में सर्वर भी तैनात किए हैं।

- और पढ़ने या पढ़ने / लिखने के लिए डेटा? यदि रिकॉर्ड ऐसे संस्करणों को रोल करने के लिए डरावना नहीं है?

मूल रूप से, पढ़ने के लिए, लेखन लेनदेन के बारे में जानकारी और नियामकों द्वारा आवश्यक अन्य जानकारी दर्ज करते समय जाता है। मूल रूप से, घरेलू जरूरतों के लिए गणना: जोखिम, पोर्टफोलियो का मूल्य, और इसी तरह। यह एक आंतरिक रसोई है, आप इसे बाहर भेजे बिना, कुछ क्षेत्र या डेटा केंद्र के डेटा को चालू करते हैं।

- यदि एक टुकड़ा चंद्रमा से टूट जाता है और एक डाटा सेंटर में उड़ जाता है, तो क्या होगा? क्या यह सब खत्म हो गया है?

डेटा केंद्रों में डेटा मिरर किया गया है। यह स्पष्ट है कि क्षेत्र के भीतर, डेटा एक डेटा सेंटर में एक हार्ड ड्राइव पर झूठ नहीं बोलता है। अन्यथा, उस बाइक की तरह, कोई भी सफाई महिला गलती से सर्वर को काट सकती है। सब कुछ ऑनलाइन कॉपी किया जाता है: दोनों दिशाओं में डेटा की एक धारा होती है, आप निकटतम दर्पण से पढ़ते हैं, और आप निरंतरता सुनिश्चित करने के लिए रिकॉर्डिंग को सिंक्रनाइज़ करते हैं।

लेकिन, एक नियम के रूप में, रिकॉर्डिंग के लिए बहुत कम जानकारी उपलब्ध है, क्योंकि इसे उपयोगकर्ता को प्रदर्शित करने की आवश्यकता है। यदि वह अभी नहीं, बल्कि 2 सेकंड बाद किसी अन्य स्रोत से देखता है, तो यह दुखद है, लेकिन आप रह सकते हैं। यह स्पष्ट है कि नियामकों, बाहरी विपणक और बाजार सहभागियों के लिए आवश्यक डेटा को कई स्रोतों में दोहराया और सिंक्रनाइज़ किया जाता है ताकि कुछ भी खो न जाए।

कैसे टेक सेंटर ड्यूश बैंक डेटा तैयार करता है और कचरा इकट्ठा करता है

- डेटा तैयारी के बारे में प्रश्न। जहां तक ​​मैं समझता हूं, प्रत्येक स्रोत का अपना प्रारूप है, और तुरंत उन्हें परिवर्तित करना एक अच्छा विचार नहीं है। क्या आप किसी तरह उन्हें गणना के लिए पूर्व तैयार करते हैं?

एक आंतरिक एकल प्रारूप है। यह स्पष्ट है कि एक ही डेटा के साथ काम करना अधिक सुविधाजनक है, लेकिन यह उन्हें परिवर्तित करने की आवश्यकता में अनुवाद करता है। डेटा स्ट्रीम और टीमें हैं जो आपूर्तिकर्ताओं से जुड़कर सूचनाओं के आदान-प्रदान के लिए जिम्मेदार हैं। वे हमारे एकल प्रारूप में डेटा बनाते और समृद्ध करते हैं। प्रदर्शन की समस्याओं को हल करने के लिए दो डेटा स्ट्रीम होंगे, उनमें से एक एक तेज़ चक्र है जो एक्सचेंज डेटा स्ट्रीम से आने वाली जानकारी देगा। इसके कारण, विभिन्न स्टोरेज पर जाने और एक मानक संरचना बनाने के लिए कम आवश्यक है। उस पर आप वास्तविक समय में आवश्यक संकेतकों की गणना कर सकते हैं।

और एक धीमा चक्र है जो एक ही धारा को संसाधित करता है, लेकिन हमारे प्रारूप में सभी आवश्यक क्षेत्रों के साथ। यह तेजी से धीमी गणना चलाता है, जिसके लिए अतिरिक्त जानकारी, फ़ील्ड और अन्य सभी चीजों का एक गुच्छा आवश्यक है।

- डेवलपर की दृष्टि से यह कैसा दिखता है? क्या आप हमेशा जानते हैं कि भारी गणना से डेटाबेस का कौन सा क्षेत्र प्रभावित होता है?

कुछ घटना आपके पास आती है, जिन क्षेत्रों को 100% और केवल आंशिक रूप से भरा जा सकता है। तेज घटनाओं पर, आप उन संकेतकों को गिनते हैं जो जल्दी से ऑनलाइन आ जाते हैं। डेटा के एक पूरे सेट के साथ एक लंबे और धीमे चक्र पर, आप उन कार्यों को याद करते हैं जिनमें सभी संकेतकों की आवश्यकता होती है। यह तब होता है जब आप गहराई में नहीं जाते हैं, क्योंकि यह सब कार्यों की बारीकियों पर निर्भर करता है।

- और डेटा किस पर संग्रहीत है? HDD, SSD, RAM, पूरी तरह से RAM में?

अधिकतर स्मृति में। हम बैकएंड पर बड़ी हेप्स के साथ काम करते हैं जो डेटा को जावा में या कुछ इन-मेमोरी डेटा ग्रिड में मानक संरचनाओं में उपभोग करते हैं और स्टोर करते हैं, यह इस बात पर निर्भर करता है कि आपको कितना तेज़ और कितना डेटा बंद करना है। यह स्पष्ट है कि पिछले दिनों के ऐतिहासिक डेटा को एसएसडी और डिस्क पर संग्रहीत किया जाएगा। लेकिन गणना के लिए जो आवश्यक है या हो सकता है, उसे मेमोरी में कैश में लोड किया जाएगा।

- क्या कैशिंग के बिना कुछ करना संभव है, लेकिन जानकारी की हानि के साथ, गलत गणना का उपयोग करना?

हां। मैंने थोड़ा उल्लेख किया है कि कभी-कभी आपको किसी परिसंपत्ति के परिवर्तन की श्रृंखला पर जोखिम की गणना 0 से 100% तक करने की आवश्यकता होती है, क्योंकि संकेतक बदल गए हैं। वितरण चार्ट एक सूत्र या रैखिक संबंध के अनुसार प्रतिशत के रूप में बनाया गया है। आप मुख्य बिंदुओं का निर्माण करते हैं और सन्निकटन करते हैं। अनुमानित परिणाम प्राप्त होते हैं, जो कि वास्तविक मूल्य के साथ 100% से मेल नहीं खाते हैं यदि हम ग्राफ में प्रत्येक विशिष्ट बिंदु पर गिने जाते हैं, लेकिन इन आंकड़ों के साथ काम करने के लिए पर्याप्त होगा।

इस दृष्टिकोण का अक्सर उपयोग किया जाता है क्योंकि यह अनुमति देता है, उदाहरण के लिए, एक पैसे की वृद्धि में, अन्य सभी मुद्राओं के संबंध में प्रत्येक मुद्रा के मूल्य को बदलते समय सभी गणना नहीं करना। आप या तो एक दुर्लभ कदम के साथ आगे बढ़ते हैं, या कुछ विशिष्ट बिंदुओं का चयन करते हैं, और बाकी को प्रक्षेपित करते हैं। सटीकता के लिए मूल्य पर्याप्त होंगे।

- क्या यह जावा में हमेशा बड़ा हीट है या सब कुछ ऑफ-हिप है?

ज्यादातर कूल्हे पर स्थित है।

- फिर आप कचरा संग्रहण से कैसे जूझते हैं?

, - huge pages, . , Shenandoah. full GC .

: flame graph, , , , .

— , flame graph?

, - Java-, , . ELK-, GC- , , . 150 — , . , 150 . , .

— Java GC ?

Java 8, 11- . . , , G1.

— ?

, . JVM.

— , , . - , ?

, . , . . ( UAT — user acceptance testing ) — , . , , . 2 , — 3 , , .

. , , , . , .

— , - , , ? ?

. : , GC, live set . - . — . , . , .

-, - . , . , JSON diff. JSON .

, . , , . .

— , , ?

, , . 100 «», . , . .

master, , , . , , , , . .

, , , , . , , . CI, .

— ?

. — , , . , , , , . - , .

— , .
— , , . , , , , - .

, - , — - , UI, . , , , , UI.

— ? «» Spring?

Spring, Java, MongoDB Protobuf, dependency injection. UI React, gRPC , .

— Mongo, Oracle. - ?

, , . . - , JDBC . - SpringData , JDBC. , , , .

— - CQRS?

, , .

— ? , …

.

— ? , .

, . , , ++ . GNU/Linux, Java. -, . , . , , , . .

, .

— ?

, «» . , , - , - . , , - «» . , , , , , .

— ?

-, , .
: , , . . , , , . , .

, 150 , . - . , .

, , , . , , , — . , , .

-

— - , , , ?

, — . , - , - . , . , 4, .

, - . — . , .

, , . , .

— - - , ?

« ». — , — , .

- - , , - . , , .

, . , , . — . - , . , -.

, , . , , - ( -, - ).

— ?

. , . , , .

— , , , - . , — , .

. , : , - , .

, , - , , . , , , , — . , , , .

( , )

— , ? ?

, , Java. dependency injection, , , — , . , . . : , - .

मल्टीथ्रेडिंग का ध्यान रखना बहुत महत्वपूर्ण है, क्योंकि आप प्रदर्शन समस्याओं में भाग लेंगे। यदि आप गणनाओं को समानांतर करना शुरू करते हैं, तो यह समझना महत्वपूर्ण है कि बाधाओं की स्थापना का कारण क्या होगा, सिंक्रनाइज़ेशन को सही तरीके से कैसे किया जाए, जहां-पहले होता है। यह तय करना आवश्यक है कि गणना किस क्रम में शुरू की जाएगी, बड़े और सघन स्टाइल के लिए गैर-मानक चीजों का उपयोग कैसे करें।

जैसा कि आप जानते हैं, IntStream#distinct जैसी चीजों में जावा प्रकारों में रैपिंग प्रिमिटिव शामिल हैं और बाद में रिवर्स ऑपरेशन। यह बहुत डरावना नहीं लगता है, लेकिन बड़ी मात्रा में डेटा पर, बड़े पैमाने पर मुक्केबाजी और एबॉक्सिंग ध्यान देने योग्य होंगे, स्मृति को व्यर्थ में इस्तेमाल किया जाएगा। आपको स्वयं जावा के हिम्मत को समझने की आवश्यकता है, क्योंकि मुक्केबाजी जैसे ट्रिफ़ल्स पर, आप अतिरिक्त आवंटन का एक गुच्छा उत्पन्न कर सकते हैं जिनकी आपको आवश्यकता नहीं है। और समय में इसे नोटिस करने के लिए, आपको प्रदर्शन का मूल्यांकन करने, मैट्रिक्स इकट्ठा करने और अन्य मानक चीजों को समझने के लिए उपकरणों का उपयोग करने में सक्षम होने की आवश्यकता है।

- क्या आपको बैंक की बारीकियों को जानना चाहिए?

नहीं, मूल रूप से। हम सभी समझते हैं कि जो लोग बैंक की बारीकियों को जानते हैं, वे पहले से ही बैंकों में काम कर रहे हैं। जब आप किसी अन्य क्षेत्र से आते हैं, तो आप सबसे अधिक संभावना उसे नहीं जानते हैं। बहुत शुरुआत में, आप सामान्य बिंदुओं पर दस्तावेजों का अध्ययन कर सकते हैं: वायदा क्या है, एक विकल्प क्या है, वे कैसे भिन्न होते हैं, जोखिम क्या हैं। और आप बस डुबकी लगाते हैं और व्यापार की बारीकियों को समझने लगते हैं।

लेकिन फिर भी, यह महत्वपूर्ण है। सबसे पहले, आप बस कार्यक्षमता को लागू कर सकते हैं जो एक विशिष्ट व्यावसायिक विशिष्टता से बंधा नहीं है, लेकिन धीरे-धीरे अधिक जटिल और विषय-विशिष्ट चीजें सीखते हैं। यहां क्या है, काम के अंतिम स्थान पर क्या था (जब मैं, विभाग के प्रमुख के रूप में, कर्मचारियों को काम पर रखा था) - आप नोटिस करते हैं कि अगर दस में से कम से कम एक व्यक्ति समझता है कि वायदा क्या है, तो यह पहले से ही अच्छा है।

यदि आपके पास सामान्य रूप से एल्गोरिदम, मल्टीथ्रेडिंग और जावा का ज्ञान है, तो व्यावसायिक बारीकियों का अध्ययन करना मुश्किल नहीं होगा। यह अपने आप निकलता है जब आप इस माहौल में उतरते हैं, दस्तावेजों को पढ़ते हैं और समझते हैं।

- आप साक्षात्कार में जावा के इतने गहरे ज्ञान का परीक्षण कैसे कर रहे हैं? क्या यह असली है?

यह स्पष्ट है कि आप सबसे अधिक संभावना है कि उनकी जांच नहीं करेंगे। लेकिन तर्क, एल्गोरिदम, आंतरिक संरचनाओं की समझ पर मानक कार्य हैं। यह एक परीक्षण कार्य है, और व्हाइटबोर्ड कोडिंग है। उदाहरण के लिए, एक कतार में एक कैश को लागू करने के लिए एक कार्य जो इस बात की समझ देगा कि क्या कोई उम्मीदवार मल्टीथ्रेडिंग को समझता है - दौड़, गतिरोध और बाकी सब। साथ ही, आप यह सवाल पूछ सकते हैं कि यह मेमोरी कितनी खपत करता है, क्यों ट्री मैप, हाशप नहीं। इस प्रकार, एक सामान्य समस्या को हल करते हुए, आप विभिन्न बारीकियों से क्षणों पर जा सकते हैं। यहाँ, बल्कि, अभ्यास जिसके द्वारा कुछ बारीकियों की गणना की जाती है।

- क्या आपको लगता है कि एक प्रोग्रामर के रूप में बेहतर बनने के लिए क्या करना चाहिए?

Evolve! कोडिंग और देखना कि कौन सी प्रौद्योगिकियां और एल्गोरिदम हैं, कौन सी नई भाषाएं हैं, एल्गोरिदम की समस्याओं को हल करना। वास्तव में, बहुत कुछ अनुभव पर निर्भर करता है। यदि आपने एल्गोरिदम पर बहुत सारी समस्याओं का समाधान किया है, तो आप एक नए अपरिचित में पिछले कार्यों से कुछ समान पा सकते हैं। यह सोच विकसित करने के लिए आवश्यक है, जल्दी से जवाब खोजने की क्षमता। StackOverflow पर google और समाधान खोजने की क्षमता बहुत उपयोगी है। यदि आप कुछ नहीं जानते हैं, लेकिन आप जानते हैं कि इसे कहां खोजना है, तो यह सफलता का मार्ग है।

भाषाएँ बदल रही हैं, प्रौद्योगिकियाँ और रूपरेखाएँ परिवर्तित हो रही हैं। नए पैटर्न आते हैं, लेकिन कुछ पैटर्न ऐसे रहते हैं जिनका उपयोग हर कोई करता है। जावा प्रतिक्रियात्मक धाराओं के बारे में रिपोर्ट के बिना और कोटलिन के बारे में बात नहीं करता है। एक कोकून में बैठे और समझ में नहीं आता है कि अब इवेंट सोर्सिंग, एक अर्थ में, धीरे-धीरे दुनिया भर में ले रही है अजीब है।

पृष्ठभूमि विकसित करना आवश्यक है। उदाहरण के लिए, नॉट की किताबें अभी भी प्रासंगिक हैं। आधार प्लस नई तकनीकें। और आपको यह जानना होगा कि Google कहां और क्या है।

- वह आखिर कौन सी बात समझ रहा था?

कोटलिन कोरआउट्स में। कूल, मुझे यह पसंद है। वाक्यविन्यास और तर्कशास्त्र दोनों में। मैं इसे मल्टीथ्रेडिंग और अतुल्यकालिकता के साथ काम करने का तरीका देखता हूं। पहले, मुझे कोटलिन का बहुत कम उपयोग करना था। अब मैं सक्रिय रूप से इसका अध्ययन कर रहा हूं, कुछ परियोजनाएं पहले से ही इसका फायदा उठा रही हैं। यह भी उत्पादों पर कुछ छोटे मॉड्यूल में मौजूद है।