कैसे अजगर में PostgreSQL और ClickHouse से, बहुत जल्दी और तुरंत खस्ता में

पायथन में बड़ी संख्या में परिसंपत्तियों के लिए लंबी कीमत के इतिहास को जल्दी से प्राप्त करने के लिए एक समाधान की तलाश में बहुत सारे मंडलियों को तोड़ दिया। मेरी यह इच्छा भी थी कि मैं खस्ताहाल सरणियों में कीमतों के साथ काम करना चाहता हूं, लेकिन पांडाओं में तुरंत बेहतर है।

माथे के लिए मानक दृष्टिकोण ने निराशाजनक रूप से काम किया, जिससे डेटाबेस को क्वेरी को 30 सेकंड या उससे अधिक के लिए निष्पादित किया गया। नहीं डालना चाहते, मुझे कई समाधान मिले जिन्होंने मुझे पूरी तरह से संतुष्ट किया।

पैर पायथन की वस्तु प्रकृति से बाहर निकलते हैं। आखिरकार, पूर्णांक संख्याएं भी वस्तुएं हैं, जो काम की गति को बेहद नकारात्मक रूप से प्रभावित करती हैं। मैं स्पष्ट रूप से भाषा को बदलना नहीं चाहता था।

पहला समाधान PostgreSQL द्वारा मूल्य इतिहास का एक समूहन था, जिसके कारण डेटाबेस की ओर से प्रदर्शन में नगण्य गिरावट आई, लेकिन इसने कार्य को लगभग ~ 3 गुना तेज कर दिया। विधि एक और लेख में अधिक विस्तार से वर्णित है।

इसका परिणाम यह समझ में आया कि पायथन में आपको किसी भी तरह कम से कम एक स्ट्रिंग में पूरा डेटा सेट करने की आवश्यकता है। और सुन्न-सरणियों से या तुरंत पंडों द्वारा पार्स करें।

अंतिम परिणाम:

PostgreSQL के लिए माथे समाधान

हम एक sql क्वेरी में डेटा ग्रुपिंग करते हैं। एक उदाहरण:

SELECT string_agg(symbol::text, ',') AS symbol_list , string_agg(dt::text, ',') AS dt_list , string_agg(open::text, ',') AS open_list , string_agg(high::text, ',') AS high_list , string_agg(low::text, ',') AS low_list , string_agg("close"::text, ',') AS close_list , string_agg(volume::text, ',') AS volume_list , string_agg(adj::text, ',') AS adj_list FROM v_prices_fast WHERE symbol IN ('{symbols}') 

डेटा पार्स करना आसान है:

 { 'symbol': np.array(r[0].split(',')), # str 'dt': np.array(r[1].split(','), dtype='datetime64'), # str w/type 'open': np.fromstring(r[2], sep=','), # numbers # ... } 

~ 1.7 मिलियन लाइनों पर उत्पादकता:

 %timeit get_prices_fast(is_adj=False) # 11.9s 

तैयार पायथन पैकेज

अजगर अपने समुदाय के लिए अच्छा है, जो समान मुद्दों का सामना करता है। निम्नलिखित हमारे उद्देश्य के लिए उपयुक्त हैं:

• ओडो - डेटा ट्रांसफर की गति को एक स्रोत से दूसरे में बदलने के लिए बनाया गया है। पूरी तरह से पायथन में। यह SQLAlchemy के माध्यम से PostgreSQL के साथ इंटरैक्ट करता है।
• warp_prism - PostgreSQL के डेटा को पुनः प्राप्त करने के लिए क्वांटोपियन परियोजना द्वारा उपयोग किया जाने वाला C एक्सटेंशन। आधार ओडो की कार्यक्षमता है।

दोनों पैकेज CSV को डेटा कॉपी करने की PostgreSQL की क्षमता का उपयोग करते हैं:

 COPY {query} TO :path WITH ( FORMAT CSV, HEADER :header, DELIMITER :delimiter, QUOTE :quotechar, NULL :na_value, ESCAPE :escapechar, ENCODING :encoding ) 

आउटपुट को पंडों में रखा गया है। DataFrame () या numpy.ndarray ()।

चूँकि warp_prism C में लिखा गया है, इसलिए डेटा पार्स करने के मामले में इसका एक महत्वपूर्ण लाभ है। लेकिन एक ही समय में इसका एक महत्वपूर्ण दोष है - डेटा प्रकारों के लिए सीमित समर्थन। यही है, यह int, float, date, और str को पार करता है, लेकिन संख्यात्मक नहीं। ओडो के पास इस तरह का कोई प्रतिबंध नहीं है।

उपयोग के लिए, sqlalchemy पैकेज का उपयोग करके तालिका संरचना और क्वेरी का वर्णन करना आवश्यक है:

 tbl_prices = sa.Table( 'prices', metadata, sa.Column('symbol', sa.String(16)), sa.Column('dt', sa.Date), sa.Column('open', sa.FLOAT), sa.Column('high', sa.FLOAT), sa.Column('low', sa.FLOAT), sa.Column('close', sa.FLOAT), sa.Column('volume', sa.BIGINT), sa.Column('adj', sa.FLOAT), ) query = sa.select(tbl_prices.c).where( tbl_prices.c.symbol.in_(SYMBOLS) ).order_by('symbol', 'dt') 

गति परीक्षण:

 %timeit odo(query, pd.DataFrame, bind=engine) # 13.8s %timeit warp_prism.to_dataframe(query, bind=engine) # 8.4s %timeit warp_prism.to_arrays(query, bind=engine) # 8.0s 

warp_prism.to_arrays () - संख्यात्मक सरणियों के साथ एक अजगर शब्दकोश तैयार करना।

ClickHouse के साथ क्या किया जा सकता है?

PostgreSQL भंडारण आकार के लिए भूख को छोड़कर और बड़ी तालिकाओं के लिए कॉन्फ़िगर करने की आवश्यकता को छोड़कर सभी के लिए अच्छा है। ClickHouse खुद को शार्प करता है, सब कुछ कॉम्पैक्ट रूप से स्टोर करता है, और बिजली की गति के साथ काम करता है। उदाहरण के लिए, ClickHouse में ~ 5Gb के आकार के साथ एक PostgreSQL तालिका ~ 1Gb में फिट होती है। कीमतों को संग्रहीत करने के लिए ClickHouse का उपयोग एक अन्य लेख में वर्णित है।

मेरे चगरिन को, ओडो ने मदद नहीं की, हालांकि sqlalchemy के लिए एक क्लिकहाउस एक्सटेंशन है। कंसोल में क्लिकहाउस की गति की स्मृति ने मुझे एक अलग प्रक्रिया के निर्माण के माध्यम से डेटाबेस तक पहुंचने के विचार के लिए प्रेरित किया। मुझे पता है कि यह लंबी और संसाधन खपत है, लेकिन परिणाम प्रशंसा से परे थे।

 sql = 'SELECT days.symbol, days.date, days.open/10000, days.high/10000, days.low/10000, days.close/10000, days.volume FROM days ' \ 'WHERE days.symbol IN (\'{0}\') ORDER BY days.symbol, days.date;'.format("','".join(SYMBOLS)) cmd = 'clickhouse-client --query="{0}"'.format(sql) def ch_pandas(cmd): p = subprocess.Popen([cmd], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True) return pd.io.parsers.read_csv(p.stdout, sep="\t", names=['symbol', 'date', 'open', 'high', 'low', 'close', 'volume']) 

परिणाम:

 %timeit ch_pandas(cmd) # 1.6s 

क्लिकहाउस HTTP पोर्ट अनुरोध

जब डेटाबेस प्रतिक्रिया करता है, तो 8123 को पोर्ट करने के लिए सीधे एक्सेस करने पर परिणाम थोड़ा बिगड़ गया:

 import urllib %timeit pd.io.parsers.read_csv('http://localhost:8123/?{0}'.format(urllib.parse.urlencode({'query': sql})), sep="\t", names=['symbol', 'date', 'open', 'high', 'low', 'close', 'volume']) # 1.9s 

लेकिन मरहम में एक मक्खी के बिना नहीं।

ClickHouse के साथ मरहम में उड़ना

डेटाबेस बड़े नमूनों पर प्रभावशाली था, लेकिन छोटे परिणामों पर यह निराशाजनक था। ~ ओडो से 20 गुना बदतर। लेकिन यह एक अतिरिक्त किट की लागत है जो एचटीटीपी के माध्यम से प्रक्रिया या एक्सेस के लॉन्च के साथ है।

परिणाम:

निष्कर्ष

इस लेख के साथ, पायथन और डेटाबेस के बीच बातचीत को तेज करने का पीछा खत्म हो गया है। मानक क्षेत्रों के साथ PostgreSQL और कीमतों के लिए सार्वभौमिक पहुंच की आवश्यकता के लिए, क्वांटोपियन से warp_prism पैकेज का उपयोग करने का सबसे अच्छा तरीका है। यदि आपको बड़ी मात्रा में इतिहास और बड़ी संख्या में लाइनों के लिए अनुरोधों की एक उच्च आवृत्ति संग्रहीत करने की आवश्यकता है, तो क्लिकहाउस आदर्श है।