क्रिप्टोक्यूरेंसी एक्सचेंजों के लिए बाजार डेटा के साथ काम का सख्त अनुकूलन

हमारे क्रिप्टो-एक्सचेंज को फिर से शुरू करने के दौरान, बाजार की तारीख के साथ काम करने की अवधारणा को संशोधित करने का निर्णय लिया गया था। क्लासिक मामले में, बाजार की तारीख दो तरीकों से वितरित की जाती है:

1. बाकी इंटरफ़ेस;
2. WEBSocket प्रसारण सदस्यता।

REST पद्धति का उपयोग अक्सर ऐतिहासिक डेटा प्राप्त करने के लिए किया जाता है, जबकि WEBSocket लाइव जानकारी ऑनलाइन भेजता है। कुछ मामलों में, WEBSocket का उपयोग बिल्कुल नहीं किया जाता है, और REST के माध्यम से नियमित अनुरोध द्वारा अपडेट किए जाते हैं।

और ऐसा लगता है कि हर कोई खुश है। लेकिन, करीब से निरीक्षण करने पर, इस तरह की अवधारणा का बहुत बड़ा हिस्सा स्पष्ट हो जाता है। उनका बल्ला REST पर टिका हुआ है। REST इंटरफ़ेस के कामकाज को सुनिश्चित करने के लिए, हमें एक बैकएंड बनाना होगा जो अत्यधिक लोड सिस्टम की आवश्यकताओं को पूरा करता है। स्वाभाविक रूप से, यहां आप पीएचपी से लेकर अब फैशनेबल गोलंग तक विभिन्न समाधान विकल्प चुन सकते हैं।

अत्यधिक सुलभ बुनियादी ढाँचा तैयार करना, सेवाओं के लिए CI / CD जैसे ट्रिफ़ल्स को लागू करना, विकास, रखरखाव, इत्यादि के लिए आवश्यक विशेषज्ञों के साथ यह सब प्रदान करना भी आवश्यक है।

उसी समय, यह ऐतिहासिक बाजार की तारीख है जो डिस्क स्थान के थोक पर कब्जा कर लेता है। यह आमतौर पर डेटाबेस में संग्रहीत होता है। एक ओर, यह हमें क्लस्टरिंग की समस्या को हल करने की अनुमति देता है, लेकिन महत्वपूर्ण आकारों में, यह एक असहनीय बोझ बन जाता है और देवओप्स टीम और डेवलपर्स के लिए गैर-तुच्छ कार्य करता है।

सामान्य तौर पर ... इस अवधारणा की स्पष्ट सादगी और संगति कठोर जीवन में बिखर जाती है।

अलग-अलग, आपको बाजार की तारीख की ख़ासियत पर ध्यान देने की आवश्यकता है। यह हमेशा जमता (बढ़ता) है। यानी डेटाबेस प्रोग्रामर की भाषा में, हम हमेशा सम्मिलित करते हैं और फिर चयन करते हैं। लेकिन विभाज्य नहीं। यानी प्रणालीकरण, अनुकूलन आदि के लिए अद्भुत डेटाबेस कार्यक्षमता संग्रहीत डेटा लावारिस हो जाता है।

बाजार की तारीख की एक और महत्वपूर्ण संपत्ति इसकी स्पष्ट रूप से परिभाषित संरचना है। उदाहरण के लिए, एक चार्ट में एक मोमबत्ती में केवल आठ पैरामीटर होते हैं:

1. समय का क्षण;
2. व्यय;
3. अधिकतम कीमत;
4. न्यूनतम मूल्य;
5. उद्घाटन मूल्य;
6. बंद कीमत;
7. मात्रा;
8. औसत कीमत।

सौदों के बारे में भी यही कहा जा सकता है।

इन पूर्वापेक्षाओं के आधार पर, और अनुभव से लैस भी, मैं जल्दी से इस निष्कर्ष पर पहुंचा कि बाजार की तारीख को एक संरचित धारा के रूप में मानना ​​अधिक सही है।

उदाहरण के लिए, मोमबत्तियों के साथ एक धारा को द्विआधारी संरचनाओं की एक सरणी के रूप में माना जा सकता है:

moment: int32
exposition: int32
min: float64
max: float64
open: float64
close: float64
volume: float64
average: float64

कुल: 56 बाइट्स।

उदाहरण के लिए, JSON में इस तरह की मोमबत्ती को निम्नानुसार वर्णित किया जाएगा:

 { "date":1501004700, "high":0.08053391, "low":0.08020004, "open":0.08030001, "close":0.0803542, "volume":48.62169347, "weightedAverage":0.08038445 } 

कुल: 167 बाइट्स।

आकार में लाभ स्पष्ट है। और यह कम ट्रैफ़िक, क्लाइंट को उच्च वितरण गति है।

और यहाँ, निश्चित रूप से, बीएसओएन के मन में आता है। लेकिन यह बैकएंड की आवश्यकता की समस्या को हल नहीं करता है, और सामान्य रूप से समस्या को मौलिक रूप से हल नहीं करता है। इसके अलावा, यह ब्राउज़रों द्वारा मूल रूप से समर्थित नहीं है।

मैंने दूसरा रास्ता देखा। नेटवर्क में थ्रेड्स के साथ काम करने वाले बहुत सारे संसाधन हैं। ये ऑडियो और वीडियो संसाधन हैं। वे उन सभी संकेतों को प्रदर्शित करते हैं जो आवश्यक हैं:

1. बड़ी मात्रा में डेटा के साथ काम करना;
2. पूरी तरह से उच्च भार के साथ सामना;
3. वे ऑनलाइन सामग्री वितरित करने में सक्षम हैं, लेकिन साथ ही वे ऐतिहासिक डेटा तक पहुंचना संभव बनाते हैं।

मैं स्ट्रीमिंग वीडियो में थोड़ा गहरा गया, जिसने मुझे बाजार की तारीख से सभी उपरोक्त समस्याओं को मौलिक रूप से हल करने की अनुमति दी। सभी जादू, जैसा कि यह निकला, सामग्री-रेंज तकनीक में छिपा हुआ है जो बॉक्स से बाहर समर्थित है, उदाहरण के लिए, नेग्नेक्स। यह आपको बैकएंड का उपयोग किए बिना किसी स्थिर संसाधन (सर्वर पर फ़ाइल) के किसी भी क्षेत्र तक पहुंचने की अनुमति देता है। सामान्य तौर पर, यह निम्नानुसार होता है: आप उस URL का संदर्भ देते हैं जो उस हेडर में आप वापस लौटना चाहते हैं। उदाहरण के लिए: रेंज: 100-200। मैं पेचीदगियों पर ध्यान नहीं दूँगा, आप विशेष लेखों में प्रौद्योगिकी की सभी बारीकियों को पा सकते हैं। मुझे लगता है कि सार स्पष्ट है।

वास्तव में, अब, सामने की तरफ, आप फ़ाइल के आवश्यक भाग के लिए एक अपील का आयोजन कर सकते हैं, उदाहरण के लिए, जिसमें मोमबत्तियाँ हैं। और चूँकि यह पता है कि एक मोमबत्ती (56 बाइट्स) कितनी बाइट लेती है, हम आसानी से अपनी जरूरत के हिसाब से निर्धारित कर सकते हैं। सच है, हमें अभी भी उस बिंदु को जानने की जरूरत है, जहां से अनुसूची शुरू होती है। और यह बहुत आसानी से फ़ाइल में हेडर जोड़कर हल किया जाता है, जिसका आकार भी एक स्थिर है।

यानी सबसे पहले, फ्रंट शून्य स्थिति से फ़ाइल तक पहुंचता है, और प्राप्त करता है
हैडर। उसी समय, nginx फ़ाइल आकार वापस कर देगा। यह फ़ाइल में मोमबत्तियों की कुल संख्या और शुरुआत का समय निर्धारित करेगा।

अब, समय के शुरुआती बिंदु को जानते हुए, मोमबत्तियों की संख्या का स्पष्ट विचार होने पर, हम बैकएंड का उपयोग किए बिना, सामने से किसी भी समय के लिए उनमें से किसी को भी प्राप्त कर सकते हैं।

आह, हाँ ... एक और क्षण ... हमारे पास मोमबत्ती के संपर्क के रूप में ऐसा पैरामीटर है। यहां समाधान भी सरल है - हम विभिन्न एक्सपोज़र के लिए एक साथ कई फाइलें पकड़ते हैं। अतिरिक्त छोटे बोनस के रूप में, मोमबत्ती संरचना का आकार एक और 4 बाइट्स से कम हो जाता है।

सामान्य तौर पर, समाधान कार्यान्वयन के लिए पहले से ही काफी दिलचस्प था, लेकिन यह अभी तक निकला, मुझे यह कहने में शर्म नहीं है - बहुत अच्छा मुनाफा। तथ्य यह है कि ब्राउज़र रेंज विधि द्वारा प्राप्त डेटा को कैश कर सकते हैं। यानी सर्वर के सामने अगले अनुरोध पर, यदि फ़ाइल का यह भाग पहले ब्राउज़र द्वारा प्राप्त किया गया था, तो यह आपके सर्वर को नहीं मिलेगा, लेकिन इसे कैश से ले जाएगा।

लेकिन यह सब भी नहीं है। सीडीएन का उपयोग करके, कैशिंग को इसके साधनों द्वारा भी कॉन्फ़िगर किया जा सकता है। यानी सारांश में, आप एक प्रणाली प्राप्त कर सकते हैं जो बुनियादी ढांचे और सर्वर पर लोड को कम करते हुए बाजार की तारीख के बड़े संस्करणों को देने में सक्षम है।

यह कहने की जरूरत नहीं है कि विचार की निष्ठा पर कोई संदेह नहीं था? अब वास्तविक छोटी चीजें हैं ... आपको इन फ़ाइलों की पीढ़ी को करने की आवश्यकता है।

जैसा कि ऊपर बताया गया है, आमतौर पर, एक्सचेंज बाजार की तारीख के वितरण के दो साधन संचालित करता है: REST और WEBSocket। उत्तरार्द्ध वर्तमान बाजार की तारीख को ऑनलाइन प्रसारित करता है। यह आमतौर पर एक अलग सेवा है। जैसा कि अभ्यास ने दिखाया है, इस सेवा को अंतिम रूप देना ताकि यह आवश्यक फाइलों के लिए डेटा को जोड़ दे मुश्किल नहीं है और वस्तुतः डेवलपर के काम के कुछ घंटों के साथ इसे हल किया जाता है। हम कह सकते हैं कि वह समाचार पत्र में उसी समय लॉग करता है।

नोड्स में फ़ाइलों को वितरित करने का मुद्दा एक क्लासिक फ़ाइल सिस्टम सिंक्रनाइज़ेशन समस्या है। DevOps टीम इसे आसानी से और स्वाभाविक रूप से हल करती है। उदाहरण के लिए rsync का उपयोग करना।

अब, हम सुरक्षित रूप से कह सकते हैं - बिंगो!

शायद सवाल उठेगा - सभी क्रिप्टो एक्सचेंज अलग-अलग क्यों करते हैं? मेरे पास इस सवाल का कोई विश्वसनीय जवाब नहीं है। लेकिन विचार हैं:

1. एक्सचेंज सहानुभूति क्रिप्टो डेवलपर्स द्वारा बनाए गए थे। शायद उन्हें क्लासिक एक्सचेंजों के काम के बारे में कोई पता नहीं था, अपने अनुभव को ध्यान में नहीं रखा और त्वरित परिणाम प्राप्त करने के लिए आसानी से उपलब्ध समाधानों का उपयोग किया। और ये टेम्पलेट समाधान हैं: वही REST और साथ JSON;
2. जैसा कि वे लोगों में कहते हैं - क्या यह काम करता है? छूना मत। - क्योंकि तकनीकी रुझान पहले से ही प्रमुख एक्सचेंजों द्वारा बनाए गए हैं, और नए उभरते एक्सचेंजों ने उन्हें उधार लिया है।

यदि विषय समुदाय के लिए दिलचस्प है, तो मैं हमारी परियोजना पर लागू किए गए अन्य गैर-मानक समाधानों पर लेख जारी रखूंगा। यह व्यवहार में कैसे काम करता है, आप एक्सचेंज वेबसाइट (मेरी प्रोफ़ाइल देखें) पर देख सकते हैं। मैं विशेष रूप से चार्ट के काम पर ध्यान देने का प्रस्ताव करता हूं, जो इस प्रौद्योगिकी के सभी मुनाफे को स्पष्ट रूप से प्रदर्शित करता है।