VonmoTrade प्रयोग। भाग 3: वारंट की पुस्तक। व्यापार सूचना का प्रसंस्करण और भंडारण

चक्र के अंतिम लेख में , हम एक्सचेंज ऑर्डर के प्रकारों से परिचित हुए। आज हम व्यापार जानकारी के भंडारण के संगठन से संबंधित आदेशों, अनुप्रयोगों के प्रसंस्करण और मुद्दों की पुस्तक का विश्लेषण करेंगे।

आपूर्ति और मांग

निश्चित रूप से आप अर्थव्यवस्था के पाठ्यक्रम से आपूर्ति और मांग के कानून को याद करते हैं, जो मूल्य गठन के लिए बाजार के यांत्रिकी को दर्शाता है:

एक्सचेंजों पर समान मैकेनिक काम करते हैं।

ऑर्डर बुक एक सूची है जिसमें विक्रेताओं और खरीदारों के आदेशों को सीमित किया जाता है, इस प्रकार एक विशेष वित्तीय साधन में वर्तमान रुचि दिखाई जाती है।

यदि आप ऑर्डर बुक के संबंध में पिछले चार्ट को परिवर्तित करते हैं, तो आपको कुछ इस तरह मिलेगा:

यहां हम देखते हैं कि अधिकतम मांग मूल्य और न्यूनतम पेशकश मूल्य समान होने पर बाजार मूल्य प्राप्त होता है। स्प्रेड इन कीमतों में अंतर है। यह एक महत्वपूर्ण संकेतक है, क्योंकि यह साधन की तरलता के साथ जुड़ा हुआ है। जितना छोटा प्रसार, उतना ही अधिक तरल साधन। विनिमय व्यापार के ढांचे में तरलता सुनिश्चित करने के लिए, वे अक्सर अधिकतम प्रसार पर एक सीमा लगाते हैं, जिसके ऊपर व्यापार को रोका जा सकता है।

अनुप्रयोगों का निर्माण

प्रवेश से लेकर पूर्ति या निरस्तीकरण तक के आवेदन के जीवन काल पर विचार करें। सादगी के लिए, हम विदेशी मुद्रा बाजार के मामले पर विचार करेंगे। प्रसंस्करण आदेशों के तर्क के लिए एक विशेष प्रक्रिया जिम्मेदार है, चलो इसे बाजार नियंत्रक कहते हैं।

तो, प्रतिभागी एक आवेदन बनाता है, इसे एक्सचेंज को देता है। नियंत्रक को यह सुनिश्चित करना चाहिए कि प्रतिभागी के पास अनुरोधित प्रकार के आदेश बनाने के लिए पर्याप्त तरलता है। सूचना का स्रोत आंतरिक लेखा सेवा, या कोई बाहरी एपीआई हो सकता है।

इस एप्लिकेशन के तत्काल निष्पादन के लिए, एक काउंटर-तथाकथित युग्मित एप्लिकेशन बाजार में मौजूद होना चाहिए।

यदि एक काउंटर ऑर्डर है, तो जोड़ी का पाया जाता है, छोटे ऑर्डर को पूर्ण रूप से निष्पादित किया जाता है, और भाग में बड़ा। बेशक, यदि आवेदन के व्यापारिक निर्देशों द्वारा आंशिक निष्पादन की अनुमति है। एक काउंटर ऑर्डर की अनुपस्थिति में, एक नया ऑर्डर ऑर्डर बुक में आता है और अपने प्रकार के आदेशों की सूची में अपना स्थान लेता है।

चूंकि केवल लंबित ऑर्डर ऑर्डर बुक में आते हैं, अन्य प्रकार के आदेशों के लिए आपको अपनी सूचियों का चयन करना होगा।

सभी ऑर्डर सूचियों में, क्रय पक्ष को अवरोही क्रम में सॉर्ट किया जाना चाहिए, और विक्रय पक्ष को आरोही क्रम में क्रमबद्ध किया जाना चाहिए। प्रत्येक पक्ष के लिए सीमा आदेशों की सूची का पहला तत्व क्रमशः आपूर्ति और मांग का सर्वोत्तम मूल्य बनाता है।

एक अन्य महत्वपूर्ण बिंदु निष्पादन का आदेश है। नियंत्रक को FIFO को लागू करना चाहिए। इसलिए, यदि दो बोलियों की कीमतें मेल खाती हैं, तो पहले बनाई गई कीमत अधिक होनी चाहिए।

उपयोगकर्ता इंटरफ़ेस में, पुस्तक एक तालिका की तरह दिखती है जिसमें मूल्य स्तरों का एक सेट होता है, जो खरीद और बिक्री दोनों के लिए सीमा आदेश प्रस्तुत करता है।

अतिरिक्त दृश्य भेद के लिए, बिक्री और खरीद के लिए अनुप्रयोगों के अलग-अलग रंग हैं।

स्तर एकत्रीकरण

बुक डेप्थ - मूल्य स्तरों की संख्या। बड़ी संख्या में लंबित आदेशों के साथ सक्रिय बाजारों के लिए, न्यूनतम दूरी से अलग, व्यापारी के टर्मिनल में प्रदर्शन के लिए गहराई बहुत बड़ी हो सकती है। संपूर्ण पुस्तक का मूल्यांकन करने के लिए, आपको एक स्तरीय समूह उपकरण की आवश्यकता है।

एक दशमलव स्थान काटकर और स्तरों को समूहीकृत करके, हम प्रत्येक चरण के साथ उनकी संख्या कम कर सकते हैं।

निष्पादन और आवेदनों को रद्द करना

पुस्तक में आदेश को निष्पादित या रद्द कर दिए जाने के बाद, नियंत्रक को इस आदेश को हटाकर और पुस्तक के परिवर्तनों में रुचि रखने वाले सभी को सूचित करके पुस्तक को अपडेट करना होगा।

हैंडलर आर्किटेक्चर और स्केलिंग

आवश्यक प्रदर्शन और विश्वसनीयता को देखते हुए, स्केलिंग एप्लिकेशन और स्टोरेज सिस्टम के लिए दृष्टिकोण निर्धारित करना आवश्यक है।

आमतौर पर, एक्सचेंज ऊर्ध्वाधर स्केलिंग का उपयोग करते हैं। प्रसंस्करण अनुप्रयोगों और उपयोगकर्ता खातों के लिए कोड एक एकल मोनोलिथ के भीतर एक मशीन पर निष्पादित किया जाता है। ऐसा दृष्टिकोण अच्छा प्रदर्शन दिखाता है, लेकिन इसकी एक महत्वपूर्ण सीमा है - किसी भी मामले में, ऊर्ध्वाधर स्केलिंग की एक सीमा होती है, दोनों प्रोसेसर शक्ति और भंडारण क्षमता के मामले में।

प्रयोग के भाग के रूप में, मैंने निर्णय लिया कि बाजार प्रसंस्करण क्षैतिज रूप से होना चाहिए। प्रत्येक व्यक्तिगत उपकरण को अपनी प्रक्रिया द्वारा संसाधित किया जाता है। स्वचालित रूप से क्लस्टर नोड्स के बीच प्रक्रियाएं वितरित की जाती हैं। विफलता के मामले में, स्थिति की हानि के बिना बाजार को दूसरे नोड में स्थानांतरित किया जाता है।

प्रणाली का सूत्र अत्यंत सरल है: M हैंडलर क्लस्टर के K नोड्स पर वितरित किए जाते हैं और L डेटा स्टोरेज का उपयोग करते हैं।
एक समान योजना आपको सिस्टम को लगभग 150 नोड्स में स्केल करने की अनुमति देती है। और प्रत्येक बाजार नियंत्रक लगभग 30k आरपीएस को संभाल सकता है।

चूंकि सभी बाजारों में अनुप्रयोगों का प्रवाह अलग है और उपयोगकर्ता की गतिविधि पर निर्भर करता है, इसलिए बाजारों को कई समूहों में विभाजित किया जा सकता है: छोटे, मध्यम और बड़े। प्रत्येक नोड में ऐसी सेटिंग्स होती हैं जो आपको उन बाजारों की संख्या को सीमित करने की अनुमति देती हैं जो इसे संसाधित कर सकते हैं। विज़ार्ड स्वचालित रूप से और समान रूप से क्लस्टर नोड्स के बीच एक ही प्रकार के बाजार वितरित करता है। क्लस्टर संरचना में बदलाव की स्थिति में, बाजारों को पुनर्वितरित किया जाता है। इस प्रकार, सिस्टम पर लोड का अधिक या कम समान वितरण प्राप्त किया जाता है।

विनिमय प्रबंधन इंटरफ़ेस में नोड्स का एक उदाहरण दृश्य:

डेटा भंडारण

ऑर्डर बुक लगातार बदल रही है और इसे स्मृति में रखा जाना चाहिए। एमवीपी के लिए, मैंने इन-मेमोरी स्टोरेज के रूप में वाल के साथ टारनटूल को चुना। सभी ऐतिहासिक डेटा PostgreSQL में दर्ज किए जाएंगे।

वर्तमान और ऐतिहासिक डेटा संग्रहीत करने के लिए योजना संचालकों के कोड को स्केल करने के लिए चयनित योजना के अनुरूप होनी चाहिए। प्रत्येक बाजार अपने स्वयं के पोस्टग्रेट्स और टारेंटूल का उपयोग कर सकता है। ऐसा करने के लिए, पोस्टग्रेजल और टारेंटूल की जोड़ी को एक एकल इकाई - एक बाजार डेटा वेयरहाउस में मिलाएं।

बाजार स्थापित करते समय, व्यवस्थापक के पास रिपॉजिटरी का प्रबंधन करने की क्षमता होती है। लचीलेपन को बनाए रखने के लिए, विशिष्ट पोस्टग्रैस्कल और टारेंटूल उदाहरणों के लिए एक्सेस विवरण के बजाय, हम कनेक्शन पूल के लिए एक विशिष्ट पहचानकर्ता निर्दिष्ट करेंगे। इन पूलों का इंटरफ़ेस प्लेटफ़ॉर्म द्वारा समर्थित है। इस प्रकार, व्यवस्थापक इंटरफ़ेस का भंडार इस तरह दिखता है:

बाजार स्थापित करते समय, प्रशासक को प्रत्येक बाजार के लिए कम से कम एक स्टोर निर्दिष्ट करना चाहिए। यदि आप कुछ निर्दिष्ट करते हैं, तो आपको तार्किक डेटा प्रतिकृति के साथ एक बाजार मिलता है। यह सुविधा आपको संग्रहण योजना की विश्वसनीयता और प्रदर्शन को कॉन्फ़िगर करने की अनुमति देती है।

ऑर्डर बुक डेटा

टारनटूल संग्रहीत डेटा को व्यवस्थित करने के लिए स्थान का उपयोग करता है। ऑर्डर बुक के लिए आवश्यक रिक्त स्थान की घोषणा निम्नानुसार है:

book = { state = { name = 'book_state', id = 1, }, orders = { limit = { buy_orders = { name = 'limit_buy_orders', id = 10, }, sell_orders = { name = 'limit_sell_orders', id = 20, }, }, market = { buy_orders = { name = 'market_buy_orders', id = 30, }, sell_orders = { name = 'market_sell_orders', id = 40, }, }, ... }, orders_mapping = { name = 'orders_mapping', id = 50, }, } 

चूँकि कई बाज़ार अपने डेटा को एक टैरंटूल उदाहरण पर संग्रहीत कर सकते हैं, हम सभी संस्थाओं में एक बाज़ार पहचानकर्ता जोड़ देंगे। पुस्तक का वर्तमान कार्यान्वयन एक बार गिनती, कई बार देने के सिद्धांत पर बनाया गया है। पुस्तक अद्यतन संचालन के दौरान, समूहीकरण स्वचालित रूप से पुन: जुड़ जाते हैं। उदाहरण के लिए, हम बाजार में एक ऑर्डर जोड़ते हैं, कीमतों की सटीकता 6 है, 6 संभावित मूल्य समूह हैं + मूल ऑर्डर डेटा के साथ एक स्लाइस है जिसे अपडेट करने की आवश्यकता है।

सक्रिय क्लाइंट आदेशों की सूची जारी करने के लिए बहुत सारे order_mapping आदेश हैं।

टारेंटूल डेटा मॉडल के लिए धन्यवाद, सूचकांकों और विभिन्न नमूना पुनरावृत्तियों के संयोजन का उपयोग करते हुए, ऑर्डर बुक के भंडारण को लागू करने वाला लुआ कोड केवल 600 लाइनों (आरंभ के साथ) लेता है।

ऐतिहासिक डेटा

बाजार डेटा प्रत्येक बाजार के लिए अलग-अलग तालिकाओं में संग्रहीत किया जाता है। बेस टेबल का एक सेट पर विचार करें।

पूरा किए गए आवेदनों का इतिहास

प्रसंस्करण अनुप्रयोगों के परिणामों को बचाने के लिए, इतिहास तालिका का उपयोग करें। इसमें पूरी तरह से पूर्ण किए गए आवेदन शामिल हैं, साथ ही रद्द भी किया गया है, लेकिन आंशिक रूप से पूरा हो गया है।

 CREATE TABLE public.history ( id uuid NOT NULL, ts timestamp without time zone NOT NULL DEFAULT now(), owner character varying(75) COLLATE pg_catalog."default" NOT NULL, order_type integer NOT NULL, order_side integer NOT NULL, price numeric(64,32) NOT NULL, qty numeric(64,32) NOT NULL, commission numeric(64,32) NOT NULL, opts jsonb NOT NULL, CONSTRAINT history_pkey PRIMARY KEY (id, ts) ) 

इसके आधार पर, अंतिम उपयोगकर्ताओं के लिए जारी करना उनके निविदाओं के इतिहास पर आधारित है।

ऐतिहासिक डेटा फ़ीड

विश्लेषण के प्रयोजनों के लिए, साथ ही एक ऐतिहासिक डेटा फीड के गठन के लिए, प्रत्येक लेनदेन के बाद, बाजार नियंत्रक को इस घटना के बारे में जानकारी बचानी होगी। बाज़ार परिवर्तन की घटनाओं को ठीक करने के लिए, टिक टेबल का उपयोग करें:

 CREATE TABLE public.ticks ( ts timestamp without time zone NOT NULL, bid numeric(64,32) NOT NULL, ask numeric(64,32) NOT NULL, last numeric(64,32) NOT NULL, bid_vol numeric(64,32), ask_vol numeric(64,32), last_vol numeric(64,32), opts jsonb DEFAULT '{}'::jsonb, CONSTRAINT ticks_pk PRIMARY KEY (ts) ) 

यह लेनदेन के बाद कीमतों और बाजार संस्करणों को संग्रहीत करता है, और ऑप्स क्षेत्र में सेवा की जानकारी होती है, जैसे कि लेनदेन में शामिल आदेशों का विवरण।

चार्ट डेटा फीड

ट्रेडिंग चार्ट बनाने के लिए, टिक टेबल पर्याप्त है। इसमें तथाकथित कच्ची धारा शामिल है, लेकिन postgresql में शक्तिशाली विश्लेषणात्मक कार्य हैं और आपको मांग पर डेटा एकत्र करने की अनुमति देता है।

समस्याएं तब शुरू होती हैं जब बहुत अधिक डेटा होता है और पहले से ही पर्याप्त शक्ति नहीं होती है। हल करने के लिए, पूर्व-परिकलित डेटा के साथ एक तालिका बनाएं:

 CREATE TABLE public.df ( t timestamp without time zone NOT NULL, r df_resolution NOT NULL DEFAULT '1m'::df_resolution, o numeric(64,32), h numeric(64,32), l numeric(64,32), c numeric(64,32), v numeric(64,32), CONSTRAINT df_pk PRIMARY KEY (t, r) ) 

हम पोस्टग्रैस्कल में समय श्रृंखला के साथ काम करने के बारे में बात करेंगे, डीएफ तालिका के लिए डेटा तैयार करेंगे और अगले लेख में ग्राफ़ कैसे बनाएंगे।

परिणाम

हमने ऑर्डर की किताब और प्रसंस्करण के आदेश के लिए तंत्र के आयोजन के मुख्य बिंदुओं का पता लगाया, साथ ही साथ बाजार डेटा के साथ काम करने के अभ्यास में थोड़ा डूबे।

चयनित भंडारण योजना आपको सभी बाजारों के लिए एक स्टोर से शुरू करने की अनुमति देती है और, जैसे ही परियोजना बढ़ती है, बाजार को विभिन्न स्टोरों में वितरित करते हैं, उन्हें बाजार के प्रोसेसर के पास जितना संभव हो सके।