🐄 👩🏽‍🔬 🖐🏻 अमेज़ॅन क्लाउड सर्विसेज और निवेश पोर्टफोलियो विश्लेषण 🧝🏽 🤚🏼 📵

हाल ही में, शेयर बाजारों में उच्च अस्थिरता देखी गई है, जब, उदाहरण के लिए, एक प्रसिद्ध कंपनी का एक स्थिर पेपर एक बार में अपने प्रबंधन के खिलाफ प्रतिबंधों की खबर पर कई प्रतिशत खो सकता है या इसके विपरीत सकारात्मक रिपोर्ट पर आसमान में चढ़ जाता है और अतिरिक्त-लाभ लाभांश के बारे में निवेशकों की उम्मीदें।

यह कैसे निर्धारित किया जाए कि दी गई सुरक्षा के स्वामित्व से आय हुई है या केवल नुकसान और निराशा हुई है?

(स्रोत)

इस लेख में मैं आपको बताऊंगा कि प्रतिभूतियों के लिए समायोजित वित्तीय परिणाम की पहचान और कल्पना कैसे करें।

क्लाइंट रिपोर्टिंग ओपनिंग ब्रोकर के उदाहरण का उपयोग करते हुए, हम एडब्ल्यूएस क्विकसाइट में बाद के सरल और सुविधाजनक विश्लेषण के साथ क्लाउड रिपोर्टिंग सिस्टम की वास्तुकला का निर्माण करते हुए, स्टॉक मार्केट के लिए ब्रोकरेज रिपोर्टों के पार्सिंग और समेकन पर विचार करेंगे।

कार्य विवरण

कई प्रशिक्षण और शैक्षिक पाठ हमें एक व्यापारी की पत्रिका की आवश्यकता के बारे में बताते हैं, जहां सभी लेनदेन मापदंडों को आगे के विश्लेषण के लिए दर्ज किया जाता है और ट्रेडिंग रणनीति को संक्षेप में प्रस्तुत किया जाता है। मैं मानता हूं कि एक्सचेंज में काम करने का यह तरीका आपको एक व्यापारी को अनुशासित करने, उसकी चेतना को बढ़ाने की अनुमति देता है, लेकिन यह आपको एक थकाऊ प्रक्रिया से भी निकाल सकता है।

मैं स्वीकार करता हूं कि पहली बार मैंने जर्नलिंग की सलाह का पालन करने की सावधानी से कोशिश की, सावधानीपूर्वक प्रत्येक लेनदेन को एक्सेल टेबल में अपने मापदंडों के साथ लिखा, कुछ रिपोर्ट, सारांश चार्ट, भविष्य के लेनदेन की योजना बनाई, लेकिन ... मैं जल्दी से यह सब थक गया था।

किसी व्यापारी की पत्रिका को मैन्युअल रूप से रखना क्यों असुविधाजनक है?

जर्नल की मैनुअल फिलिंग (यहां तक कि आंशिक स्वचालन का उपयोग करके, ट्रेडिंग टर्मिनल से दैनिक लेनदेन को उतारने के रूप में) जल्दी से टायर;
मैन्युअल प्रविष्टि के साथ त्रुटि या टाइपो का एक उच्च जोखिम है;
ऐसा हो सकता है कि एक सक्रिय व्यापारी एक निष्क्रिय निवेशक बन जाता है और वह कम से कम इस पत्रिका में वापस आता है, और फिर इसे (मेरा मामला) पूरी तरह से भूल जाता है; अच्छी तरह से और अंत में
हम कार्यक्रम कर सकते हैं, क्यों नहीं इसका लाभ उठाएं और पूरी प्रक्रिया को स्वचालित करें? तो, चलो चलते हैं!

अक्सर, ब्रोकरेज कंपनियां उच्च तकनीक वाले संगठन होते हैं जो अपने ग्राहकों को ब्याज के लगभग सभी मुद्दों पर काफी उच्च गुणवत्ता वाले विश्लेषिकी प्रदान करते हैं। यह कहना उचित है कि यह रिपोर्टिंग प्रत्येक अपडेट के साथ बेहतर और बेहतर हो रही है, लेकिन उनमें से सबसे उन्नत में भी अनुकूलन और समेकन नहीं हो सकता है जो मांग और जिज्ञासु ग्राहक देखना चाहते हैं।

उदाहरण के लिए, ओपनिंग ब्रोकर आपको अपने व्यक्तिगत खाते में एक्सएमएल प्रारूप में ब्रोकरेज रिपोर्ट प्राप्त करने की अनुमति देता है, लेकिन अगर आपके पास मॉस्को स्टॉक एक्सचेंज (एमओईएक्स) पर एक आईआईए और एक नियमित ब्रोकरेज खाता है, तो ये दो अलग-अलग रिपोर्ट होंगे, और यदि आप सेंट पर एक और खाता हैं पीटर्सबर्ग स्टॉक एक्सचेंज (एसपीबी), फिर पहले दो एक और जोड़ देंगे।

कुल मिलाकर, निवेशक की एक समेकित पत्रिका प्राप्त करने के लिए, XML प्रारूप में तीन फ़ाइलों को संसाधित करना आवश्यक होगा।

एमओईएक्स और एसपीबी पर उपर्युक्त रिपोर्ट उनके स्वरूपों में थोड़ा भिन्न होती है, जिसे डेटा मैपिंग को लागू करने की प्रक्रिया में ध्यान में रखना होगा।

विकास के तहत प्रणाली का आर्किटेक्चर

नीचे दिया गया चित्र विकास के तहत प्रणाली के वास्तुकला मॉडल को दर्शाता है:

पार्सर कार्यान्वयन

हम अधिकतम संभव अवधि के लिए व्यक्तिगत खाते में सभी तीन खातों पर रिपोर्ट प्राप्त करेंगे (प्रत्येक वर्ष के लिए कई रिपोर्टों में विभाजित किया जा सकता है), उन्हें XML प्रारूप में सहेजें और उन्हें एक फ़ोल्डर में डालें। अध्ययन के लिए डेटा के परीक्षण के रूप में, हम एक काल्पनिक ग्राहक पोर्टफोलियो का उपयोग करेंगे, लेकिन बाजार की वास्तविकताओं के जितना संभव हो उतना मापदंडों के साथ।

मान लें कि निवेशक श्री एक्स विचाराधीन पांच प्रतिभूतियों का एक छोटा पोर्टफोलियो है:

SPB एक्सचेंज की रिपोर्ट में दो पेपर होंगे: Apple और Microsoft;
एमओएक्स एक्सचेंज (ब्रोकरेज) की रिपोर्ट में एक पेपर शामिल है: एफजीसी यूईएस;
MOEX एक्सचेंज (IIS) की रिपोर्ट में दो प्रतिभूतियां शामिल हैं: MMK और OFZ 24019;

हमारी पांच प्रतिभूतियों के अनुसार, खरीद / बिक्री, लाभांश का भुगतान और कूपन पर लेनदेन हो सकता है, कीमत बदल सकती है, आदि। हम वर्तमान समय में स्थिति को देखना चाहते हैं, अर्थात्: वित्तीय परिणाम, सभी भुगतानों, लेनदेन और वर्तमान बाजार मूल्य को ध्यान में रखते हुए।

और यहाँ पायथन खेल में आता है, हम सभी रिपोर्टों की जानकारी एक सरणी में पढ़ते हैं:

my_files_list = [join('Data/', f) for f in listdir('Data/') if isfile(join('Data/', f))] my_xml_data = [] #     for f in my_files_list: tree = ET.parse(f) root = tree.getroot() my_xml_data.append(root)

विश्लेषिकी के लिए, रिपोर्ट से हमें कई संस्थाओं की आवश्यकता है, अर्थात्:

एक पोर्टफोलियो में प्रतिभूतियों की स्थिति;
संबंधित सौदे;
गैर-व्यापारिक संचालन और अन्य खाता आंदोलनों;
खुले पदों की औसत कीमतें

नमूना तैयार करने के लिए, हम उपरोक्त सेट का वर्णन करने के लिए चार शब्दकोशों का उपयोग करेंगे।

 dict_stocks = {'stock_name': [], 'account': [], 'currency': [], 'current_cost': [], 'current_cost_rub': [], 'saldo' : []} dict_deals = {'stock_name': [], 'account': [], 'date_oper': [], 'type_oper': [], 'quantity': [], 'price': [], 'currency': [], 'brokerage': [], 'result': []} dict_flows = {'stock_name': [], 'account': [], 'date_oper': [], 'type_oper': [], 'result': [], 'currency': []} dict_avg_price = {'stock_name': [], 'account': [], 'avg_open_price' : []}

इन शब्दकोशों के बारे में कुछ शब्द सभी के बारे में हैं।

डिक्ट_स्टॉक्स शब्दकोश

पोर्टफोलियो पर सामान्य जानकारी को संग्रहीत करने के लिए डिक्टैंट_स्टॉक्स शब्दकोश की आवश्यकता है:

कागज का नाम (stock_name);
खाते का नाम (SPB, MOEX BROK, MOEX IIS) (खाता);
इस कागज (मुद्रा) पर बस्तियों के लिए इस्तेमाल की जाने वाली मुद्रा;
वर्तमान मान (व्यक्तिगत खाता खोलने वाले ब्रोकर में रिपोर्ट जनरेट करने के समय) (current_cost)। यहां मैं ध्यान देना चाहता हूं कि ग्राहकों की अधिक मांग के लिए, भविष्य में अतिरिक्त सुधार करना संभव है और ट्रेडिंग टर्मिनल से या संबंधित एक्सचेंज की वेबसाइट से सुरक्षा उद्धरण की गतिशील रसीद का उपयोग करें;
रिपोर्ट उत्पन्न होने के समय सुरक्षा स्थिति का वर्तमान मूल्य (current_cost_rub)
उपरोक्त वस्तु के समान, यहां भी आप वर्तमान समय में सेंट्रल बैंक की दर या विनिमय दर प्राप्त कर सकते हैं, जैसा कि आप चाहते हैं।
प्रतिभूतियों का वर्तमान संतुलन (सैल्डो)

शब्दकोश तानाशाही

तानाशाही डिक्शनरी शब्दकोश को पूर्ण लेनदेन पर निम्नलिखित जानकारी को संग्रहीत करने के लिए आवश्यक है:

कागज का नाम (stock_name);
खाते का नाम (SPB, MOEX BROK, MOEX IIS) (खाता);
लेन-देन की तारीख, अर्थात् टी 0 (तारीख_पर);
ऑपरेशन का प्रकार (type_oper);
लेनदेन में भाग लेने वाले प्रतिभूतियों की मात्रा (मात्रा);
जिस मूल्य पर लेनदेन निष्पादित किया गया था (मूल्य);
वह मुद्रा जिसमें लेनदेन किया गया था (मुद्रा);
लेनदेन (ब्रोकरेज) के लिए ब्रोकरेज कमीशन;
लेन-देन का वित्तीय परिणाम (परिणाम)

Dict_flows शब्दकोश

Dict_flows शब्दकोश क्लाइंट खाते पर धन की आवाजाही को दर्शाता है और इसका उपयोग निम्नलिखित जानकारी को संग्रहीत करने के लिए किया जाता है:

कागज का नाम (stock_name);
खाते का नाम (SPB, MOEX BROK, MOEX IIS) (खाता);
लेन-देन की तारीख, अर्थात् टी 0 (तारीख_पर);
ऑपरेशन का प्रकार (type_oper)। यह कई मूल्य ले सकता है: div, NKD, कर;
वह मुद्रा जिसमें लेनदेन किया गया था (मुद्रा);
ऑपरेशन का वित्तीय परिणाम (परिणाम)

डिक्शनरी__ग__प्राइस

प्रत्येक पेपर के लिए औसत खरीद मूल्य पर लेखा जानकारी के लिए डिक्टैंट_वग_प्राइस शब्दकोश आवश्यक है:

कागज का नाम (stock_name);
खाते का नाम (SPB, MOEX BROK, MOEX IIS) (खाता);
एक खुली स्थिति का औसत मूल्य (avg_open_price)

हम एक्सएमएल दस्तावेजों की एक सरणी की प्रक्रिया करते हैं और इन शब्दकोशों को उचित डेटा के साथ भरते हैं:

 #       for XMLdata in my_xml_data: #      exchange_name = 'SPB' if XMLdata.get('board_list') == ' ' else 'MOEX' client_code = XMLdata.get('client_code') account_name = get_account_name(exchange_name, client_code) #   current_position, deals, flows, stock_name, \ saldo, ticketdate, price, brokerage, \ operationdate, currency, \ current_cost, current_cost_rub, \ stock_name_deal, payment_currency, currency_flows = get_allias(exchange_name) #      get_briefcase(XMLdata) df_stocks = pd.DataFrame(dict_stocks) df_stocks.set_index("stock_name", drop = False, inplace = True) #    get_deals(XMLdata) df_deals = pd.DataFrame(dict_deals) df_avg = pd.DataFrame(dict_avg_price) #       get_nontrade_operation(XMLdata) df_flows = pd.DataFrame(dict_flows)

सभी प्रोसेसिंग रिपोर्ट से सभी XML डेटा पर लूप से गुजरती है। ट्रेडिंग प्लेटफॉर्म के बारे में जानकारी, क्लाइंट कोड सभी रिपोर्टों में समान है, इसलिए आप मैपिंग का उपयोग किए बिना इसे एक ही टैग से सुरक्षित रूप से निकाल सकते हैं।

लेकिन फिर हमें एक विशेष डिज़ाइन का उपयोग करना होगा जो रिपोर्ट (SPB या MOEX) के आधार पर टैग के लिए आवश्यक उपनाम प्रदान करेगा, क्योंकि इन रिपोर्टों में प्रकृति डेटा में समान रूप से अलग-अलग कहा जाता है।

टैग विसंगतियां

SBP रिपोर्ट में लेनदेन ब्रोकर कमीशन ब्रोकरेज टैग में निहित है, और MOEX रिपोर्ट में - ब्रोकर_कमिशन ;
एसपीबी रिपोर्ट में गैर-ट्रेडिंग खाते की लेन-देन की तारीख ऑपरेशनडेट है, और एमओईएक्स में, यह ऑपरेशन_डेट है, आदि।

टैग मानचित्रण उदाहरण

 tags_mapping = { 'SPB': { 'current_position': 'briefcase_position', 'deals': 'closed_deal', 'flows': 'nontrade_money_operation', ... 'stock_name_deal': 'issuername', 'paymentcurrency': 'paymentcurrency', 'currency_flows': 'currencycode' }, 'MOEX': { 'current_position': 'spot_assets', 'deals': 'spot_main_deals_conclusion', 'flows': 'spot_non_trade_money_operations', ... 'stock_name_deal': 'security_name', 'paymentcurrency': 'price_currency_code', 'currency_flows': 'currency_code' } }

Get_allias फ़ंक्शन प्रोसेसिंग के लिए आवश्यक टैग का नाम देता है, इनपुट के रूप में ट्रेडिंग प्लेटफॉर्म का नाम लेता है:

Get_allias फ़ंक्शन

 def get_allias(exchange_name): return( tags_mapping[exchange_name]['current_position'], tags_mapping[exchange_name]['deals'], tags_mapping[exchange_name]['flows'], ... tags_mapping[exchange_name]['stock_name_deal'], tags_mapping[exchange_name]['paymentcurrency'], tags_mapping[exchange_name]['currency_flows'] )

फ़ंक्शन get_briefcase क्लाइंट पोर्टफोलियो की स्थिति के बारे में जानकारी संसाधित करने के लिए ज़िम्मेदार है:

Get_briefcase फ़ंक्शन

 def get_briefcase(XMLdata): #         briefcase_position briefcase_position = XMLdata.find(current_position) if not briefcase_position: return try: for child in briefcase_position: stock_name_reduce = child.get(stock_name).upper() stock_name_reduce = re.sub('[,\.]|(\s?INC)|(\s+$)|([-\s]?)', '', stock_name_reduce) dict_stocks['stock_name'].append(stock_name_reduce) dict_stocks['account'].append(account_name) dict_stocks['currency'].append(child.get(currency)) dict_stocks['current_cost'].append(float(child.get(current_cost))) dict_stocks['current_cost_rub'].append(float(child.get(current_cost_rub))) dict_stocks['saldo'].append(float(child.get(saldo))) except Exception as e: print('get_briefcase --> Oops! It seems we have a BUG!', e)

अगला, get_deals फ़ंक्शन लेनदेन के बारे में जानकारी प्राप्त करता है:

Get_deals फ़ंक्शन

 def get_deals(XMLdata): stock_name_proc = '' closed_deal = XMLdata.find(deals) if not closed_deal: return #   SPB    -    , #    MOEX:  ,      #    : if exchange_name == 'SPB': sortchildrenby(closed_deal, stock_name_deal) for child in closed_deal: sortchildrenby(child, stock_name_deal) try: for child in closed_deal: stock_name_reduce = child.get(stock_name_deal).upper() stock_name_reduce = re.sub('[,\.]|(\s?INC)|(\s+$)|([-\s]?)', '', stock_name_reduce) dict_deals['stock_name'].append(stock_name_reduce) dict_deals['account'].append(account_name) dict_deals['date_oper'].append(to_dt(child.get(ticketdate)).strftime('%Y-%m-%d')) current_cost = get_current_cost(stock_name_reduce) #    SPB     - quantity, #   MOEX  : buy_qnty  sell_qnty if exchange_name == 'MOEX': if child.get('buy_qnty'): quantity = float(child.get('buy_qnty')) else: quantity = - float(child.get('sell_qnty')) else: quantity = float(child.get('quantity')) dict_deals['quantity'].append(quantity) dict_deals['price'].append(float(child.get('price'))) dict_deals['type_oper'].append('deal') dict_deals['currency'].append(child.get(payment_currency)) brok_comm = child.get(brokerage) if brok_comm is None: brok_comm = 0 else: brok_comm = float(brok_comm) dict_deals['brokerage'].append(float(brok_comm)) #         if stock_name_proc != stock_name_reduce: if stock_name_proc != '': put_avr_price_in_df(account_name, stock_name_proc, \ pnl.m_net_position, pnl.m_avg_open_price) current_cost = get_current_cost(stock_name_proc) pnl.update_by_marketdata(current_cost) if len(dict_deals['result']) > 0: if exchange_name != 'SPB': dict_deals['result'][-1] = pnl.m_unrealized_pnl * 0.87 -dict_deals['brokerage'][-2] else: dict_deals['result'][-1] = pnl.m_unrealized_pnl - dict_deals['brokerage'][-2] stock_name_proc = stock_name_reduce pnl = PnlSnapshot(stock_name_proc, float(child.get('price')), quantity) dict_deals['result'].append(-1 * brok_comm) else: pnl.update_by_tradefeed(float(child.get('price')), quantity) #  ,   if quantity < 0: if pnl.m_realized_pnl > 0 and exchange_name != 'SPB': pnl_sum = pnl.m_realized_pnl * 0.87 - brok_comm else: pnl_sum = pnl.m_realized_pnl - brok_comm dict_deals['result'].append(float(pnl_sum)) else: pnl.update_by_marketdata(current_cost) dict_deals['result'].append(-1 * brok_comm) put_avr_price_in_df(account_name, stock_name_proc, \ pnl.m_net_position, pnl.m_avg_open_price) current_cost = get_current_cost(stock_name_proc) pnl.update_by_marketdata(current_cost) if len(dict_deals['result']) > 0: if exchange_name != 'SPB': dict_deals['result'][-1] = pnl.m_unrealized_pnl * 0.87 -dict_deals['brokerage'][-2] else: dict_deals['result'][-1] = pnl.m_unrealized_pnl - dict_deals['brokerage'][-2] except Exception as e: print('get_deals --> Oops! It seems we have a BUG!', e)

लेनदेन के मापदंडों के बारे में जानकारी के साथ एक सरणी को संसाधित करने के अलावा, एक खुली स्थिति की औसत कीमत और एफआईएफओ पद्धति का उपयोग करके पीएनएल द्वारा महसूस किया जाता है। PnlSnapshot वर्ग इस गणना के लिए जिम्मेदार है, जिसके निर्माण के लिए छोटे संशोधनों के साथ यहां प्रस्तुत कोड को आधार के रूप में लिया गया था: P & L गणना

और अंत में, लागू करने के लिए सबसे मुश्किल गैर-व्यापारिक संचालन के बारे में जानकारी प्राप्त करने का कार्य है - get_nontrade_operation । इसकी जटिलता इस तथ्य में निहित है कि गैर-व्यापारिक संचालन के लिए उपयोग किए जाने वाले रिपोर्ट ब्लॉक में लेनदेन के प्रकार और इस ऑपरेशन को किस सुरक्षा से बंधा है, इसके बारे में कोई स्पष्ट जानकारी नहीं है।

गैर-व्यापारिक संचालन के लिए भुगतान स्थलों का उदाहरण

लाभांश या संचित कूपन आय का भुगतान निम्नानुसार किया जा सकता है:

आय ग्राहक का भुगतान <777777> लाभांश < APPLE INC-ao> -> SPB रिपोर्ट से लाभांश का भुगतान;
आय ग्राहक का भुगतान <777777> लाभांश < MICROSOFT COM->
ग्राहक की आय का भुगतान 777777i (NKD 2 OFZ 24019 ) कर 0.00 रूबल की रोक -> MOEX रिपोर्ट से कूपन भुगतान;
ग्राहक के लिए आय का भुगतान 777777 एफजीसी यूईएस -एओ के लाभांश को कर XX.XX रूबल -> एमओईएक्स रिपोर्ट से लाभांश का भुगतान। आदि

तदनुसार, नियमित अभिव्यक्तियों के बिना करना मुश्किल होगा, इसलिए हम उन्हें पूरी तरह से उपयोग करेंगे। मुद्दे का दूसरा पक्ष यह है कि कंपनी का नाम हमेशा पोर्टफोलियो में नाम के साथ या भुगतान के उद्देश्य से लेनदेन में मेल नहीं खाता है। इसलिए, भुगतान के उद्देश्य से जारीकर्ता का प्राप्त नाम अतिरिक्त रूप से शब्दकोश के साथ सहसंबद्ध होना चाहिए। एक शब्दकोश के रूप में हम सौदों की एक सरणी का उपयोग करेंगे, क्योंकि कंपनियों की सबसे पूर्ण सूची है।

Get_company_from_str फ़ंक्शन टिप्पणी से जारीकर्ता का नाम पुनर्प्राप्त करता है:

Get_company_from_str फ़ंक्शन

 def get_company_from_str(comment): company_name = '' #    / flows_pattern = [ '^.+\s<(\w+)?.+->$', '^.+\s(.+)-.+$', '^.+\(\s\d?\s(.+)\).+$', '^.+\s(.+)-.+$' ] for pattern in flows_pattern: match = re.search(pattern, comment) if match: return match.group(1).upper() return company_name

यदि यह लेनदेन में भाग लेने वाली कंपनियों के बीच मेल खाता है, तो get_company_from_borrowcase फ़ंक्शन कंपनी का नाम शब्दकोश में ले जाता है:

Get_company_from_briefcase फ़ंक्शन

 def get_company_from_briefcase(company_name): company_name_full = None value_from_dic = df_deals[df_deals['stock_name'].str.contains(company_name)] company_arr = value_from_dic['stock_name'].unique() if len(company_arr) == 1: company_name_full = company_arr[0] return company_name_full

और अंत में, गैर-व्यापार संचालन पर डेटा एकत्र करने का अंतिम कार्य get_nontrade_operation है :

Get_nontrade_operation फ़ंक्शन

 def get_nontrade_operation(XMLdata): nontrade_money_operation = XMLdata.find(flows) if not nontrade_money_operation: return try: for child in nontrade_money_operation: comment = child.get('comment') type_oper_match = re.search('||^.+.+.+$', comment) if type_oper_match: company_name = get_company_from_str(comment) type_oper = get_type_oper(comment) dict_flows['stock_name'].append(company_name) dict_flows['account'].append(account_name) dict_flows['date_oper'].append(to_dt(child.get(operationdate)).strftime('%Y-%m-%d')) dict_flows['type_oper'].append(type_oper) dict_flows['result'].append(float(child.get('amount'))) dict_flows['currency'].append(child.get(currency_flows)) except Exception as e: print('get_nontrade_operation --> Oops! It seems we have a BUG!', e)

रिपोर्ट से डेटा एकत्र करने का परिणाम तीन डेटाफ्रेम होंगे, जो लगभग निम्नलिखित हैं:

खुले पदों की औसत कीमतों के बारे में जानकारी के साथ डेटा नाम:
डीलफ़्रेम:
गैर-व्यापारिक संचालन के बारे में जानकारी के साथ डेटाफ़्रेम:

इसलिए, हमारे लिए यह सब करने के लिए पोर्टफोलियो सूचना तालिका के साथ लेनदेन तालिका का एक बाहरी संघ प्रदर्शन करना है:

 df_result = pd.merge(df_deals, df_stocks_avg, how='outer', on=['stock_name', 'account', 'currency']).fillna(0) df_result.sample(10)

और अंत में, डेटा सरणी को संसाधित करने का अंतिम भाग गैर-व्यापारिक लेनदेन के लिए डेटाफ़्रेम के साथ पिछले चरण में प्राप्त डेटा सरणी का विलय है।
किए गए कार्य का परिणाम विश्लेषण के लिए सभी आवश्यक जानकारी के साथ एक बड़ी सपाट तालिका है:

 df_result_full = df_result.append(df_flows, ignore_index=True).fillna(0) df_result_full.sample(10).head()

DataFrame से परिणामी डेटा सेट (फाइनल रिपोर्ट) को आसानी से CSV पर अपलोड किया जाता है और फिर इसका उपयोग किसी भी BI सिस्टम में विस्तृत विश्लेषण के लिए किया जा सकता है।

 if not exists('OUTPUT'): makedirs('OUTPUT') report_name = 'OUTPUT\my_trader_diary.csv' df_result_full.to_csv(report_name, index = False, encoding='utf-8-sig')

AWS में डेटा अपलोड और प्रोसेस करें

प्रगति अभी भी स्थिर नहीं है और अब क्लाउड सेवाएं और सर्वर रहित कंप्यूटिंग मॉडल डेटा प्रसंस्करण और भंडारण में बहुत लोकप्रियता प्राप्त कर रहे हैं। यह काफी हद तक इस दृष्टिकोण की सादगी और सस्तेपन के कारण है, जब आपको जटिल कंप्यूटिंग या बड़े डेटा को संसाधित करने के लिए एक सिस्टम आर्किटेक्चर बनाने के लिए महंगे उपकरण खरीदने की आवश्यकता नहीं होती है, लेकिन आप केवल जरूरत के समय क्लाउड में बिजली किराए पर लेते हैं और अपेक्षाकृत छोटे शुल्क के लिए आवश्यक संसाधनों को पर्याप्त रूप से तैनात करते हैं। ।

बाजार में सबसे बड़े और सबसे प्रसिद्ध क्लाउड प्रदाताओं में से एक अमेज़न है। आइए हमारे निवेश पोर्टफोलियो पर डेटा के प्रसंस्करण के लिए एक विश्लेषणात्मक प्रणाली बनाने के लिए अमेज़न वेब सर्विसेज (AWS) पर्यावरण के उदाहरण को देखें।

AWS के पास उपकरणों का व्यापक चयन है, लेकिन हम निम्नलिखित का उपयोग करेंगे:

अमेज़ॅन एस 3 - ऑब्जेक्ट स्टोरेज, जो आपको लगभग असीमित मात्रा में जानकारी संग्रहीत करने की अनुमति देता है;
एडब्ल्यूएस गोंद - सबसे शक्तिशाली क्लाउड ईटीएल सेवा जो स्वयं संरचना निर्धारित कर सकती है और दिए गए स्रोत डेटा से ईटीएल कोड उत्पन्न कर सकती है;
अमेज़ॅन एथेना , एक सर्वर रहित ऑनलाइन एसक्यूएल क्वेरी सेवा है, जो आपको बहुत तैयारी के बिना एस 3 से डेटा का विश्लेषण करने की अनुमति देता है। उनके पास मेटाडेटा तक पहुंच भी है जो एडब्ल्यूएस गोंद तैयार करता है, जो आपको ईटीएल पास करने के तुरंत बाद डेटा तक पहुंचने की अनुमति देता है;
अमेज़ॅन क्विकसाइट - सर्वरलेस बीआई-सेवा, आप किसी भी विज़ुअलाइज़ेशन, विश्लेषणात्मक रिपोर्ट "फ्लाई पर" का निर्माण कर सकते हैं, आदि।

अमेज़ॅन का दस्तावेज़ीकरण सब ठीक है, विशेष रूप से, एक अच्छा लेख है बेस्ट प्रैक्टिस व्हेन यूज़िंग एथेना विथ एडब्ल्यूएस ग्लू , जिसमें बताया गया है कि एडब्ल्यूएस ग्लू का उपयोग करके टेबल और डेटा कैसे बनाएं और उपयोग करें। आइए हम इस लेख के मुख्य विचारों का लाभ उठाएं और उन्हें एक विश्लेषणात्मक रिपोर्टिंग प्रणाली की अपनी वास्तुकला बनाने के लिए लागू करें।

हमारी रिपोर्ट पार्सर द्वारा तैयार की गई CSV फाइलें S3 बाल्टी में जोड़ी जाएंगी। यह योजना बनाई गई है कि एस 3 पर संबंधित फ़ोल्डर को प्रत्येक शनिवार को ट्रेडिंग सप्ताह के अंत में फिर से भरना होगा, इसलिए आप रिपोर्ट को उत्पन्न और संसाधित किए जाने की तारीख को डेटा को विभाजित किए बिना नहीं कर सकते।
इस तरह के डेटा के लिए एसक्यूएल प्रश्नों के संचालन को अनुकूलित करने के अलावा, यह दृष्टिकोण हमें अतिरिक्त विश्लेषण करने की अनुमति देगा, उदाहरण के लिए, प्रत्येक पेपर के लिए वित्तीय परिणाम में परिवर्तन की गतिशीलता प्राप्त करने के लिए।

Amazon S3 के साथ काम करें

S3 पर एक बकेट बनाएं, इसे "रिपोर्ट-पार्सर" कहें;
इस बकेट में "रिपोर्ट-पार्सर" "my_trader_diary" नामक एक फ़ोल्डर बनाते हैं;
निर्देशिका में "my_trader_diary" वर्तमान रिपोर्ट की तारीख के साथ एक निर्देशिका बनाते हैं, उदाहरण के लिए, "date_report = 2018-10-01" और इसमें CSV फ़ाइल रखें;
केवल प्रयोग और विभाजन की बेहतर समझ के लिए, हम दो और निर्देशिकाएँ बनाएंगे: "date_report = 2018-09-27" और "date_report = 2018-10-08"। हमने उनमें वही CSV फ़ाइल डाली;
अंतिम S3 बाल्टी "रिपोर्ट-पार्सर" नीचे दी गई तस्वीरों में दिखाए गए व्यक्ति की तरह दिखना चाहिए:

AWS गोंद के साथ काम करें

द्वारा और बड़े, आप S3 पर पड़े डेटा से बाहरी तालिका बनाने के लिए केवल Amazon Athena कर सकते हैं, लेकिन AWS Glue इसके लिए अधिक लचीला और सुविधाजनक उपकरण है।

हम AWS Glue में जाते हैं और एक नया क्रॉलर बनाते हैं, जो तारीखों की रिपोर्ट करके अलग-अलग CSV फ़ाइलों में से एक टेबल एकत्र करेगा:
- नए क्रॉलर का नाम सेट करें;
- हम उस रिपॉजिटरी को इंगित करते हैं जहाँ से डेटा प्राप्त करना है (s3: // report-parser / my_trader_diary /)
- हम एक नई IAM भूमिका का चयन करते हैं या बनाते हैं जिसमें क्रॉलर को लॉन्च करने और S3 पर निर्दिष्ट संसाधन तक पहुंच होगी;
- अगला, आपको प्रारंभ आवृत्ति सेट करने की आवश्यकता है। हम इसे अभी के लिए मांग पर सेट करते हैं, लेकिन भविष्य में, मुझे लगता है कि यह बदल जाएगा और लॉन्च साप्ताहिक हो जाएगा;
- सहेजें और क्रॉलर बनने के लिए प्रतीक्षा करें।
जब क्रॉलर तैयार राज्य में प्रवेश करता है, तो इसे शुरू करें!
एक बार जब यह काम करता है, तो AWS Glue में एक नया my_trader_diary टेबल दिखाई देगा: डेटाबेस -> टेबल्स टैब:

अधिक विस्तार से उत्पन्न तालिका पर विचार करें।
यदि आप बनाई गई तालिका के नाम पर क्लिक करते हैं, तो हम मेटाडेटा के विवरण के साथ पृष्ठ पर जाएंगे। नीचे एक टेबल लेआउट है और सबसे हाल ही में एक स्तंभ है जो स्रोत CSV फ़ाइल में नहीं था - date_report। यह कॉलम AWS Glue स्वचालित रूप से स्रोत डेटा के वर्गों की परिभाषा के आधार पर स्वचालित रूप से बनाता है (बाल्टी S3 में, हमने विशेष रूप से फ़ोल्डर्स का नाम date_report = YYYY-MM-DD है, जो हमें उन्हें तारीखों से अलग किए गए अनुभागों के रूप में उपयोग करने की अनुमति देता है)।

तालिका विभाजन

ऊपरी दाएं कोने में एक ही पृष्ठ पर एक व्यू पार्टीशन बटन है, जिस पर क्लिक करके हम देख सकते हैं कि हमारे जेनरेट किए गए टेबल में कौन से सेक्शन हैं:

डेटा विश्लेषण

हमारे निपटान में अपलोड किए गए संसाधित डेटा होने के बाद, हम आसानी से उनका विश्लेषण शुरू कर सकते हैं। आरंभ करने के लिए, अमेज़ॅन एथेना की क्षमताओं को विश्लेषणात्मक प्रश्नों को करने का सबसे आसान और तेज़ तरीका समझें। ऐसा करने के लिए, अमेज़ॅन एथेना सेवा पर जाएं, हमें उस डेटाबेस का चयन करें जिसकी हमें ज़रूरत है (वित्तीय) और निम्न एसक्यूएल कोड लिखें:

 select d.date_report, d.account, d.stock_name, d.currency, sum(d.quantity) as quantity, round(sum(d.result), 2) as result from my_trader_diary d group by d.date_report, d.account, d.stock_name, d.currency order by d.account, d.stock_name, d.date_report;

यह अनुरोध हमें सभी रिपोर्टिंग तिथियों के लिए प्रत्येक सुरक्षा के लिए शुद्ध वित्तीय परिणाम प्रदर्शित करेगा। क्योंकि हमने अलग-अलग तारीखों के लिए एक ही रिपोर्ट को तीन बार डाउनलोड किया, परिणाम नहीं बदलेगा, जो निश्चित रूप से, एक वास्तविक बाजार में अलग होगा:

लेकिन क्या होगा यदि हम लचीले टेबल या आरेख के रूप में प्राप्त डेटा की कल्पना करना चाहते हैं? यहां अमेज़ॅन क्विकसिट बचाव में आता है, जिसकी मदद से आप SQL क्वेरी लिखते समय लचीले एनालिटिक्स को लगभग जल्दी से कॉन्फ़िगर कर सकते हैं। हम Amazon QuickSight सेवा पर जाएंगे (यदि आपने वहां पंजीकरण नहीं कराया है, तो पंजीकरण आवश्यक है)।

बटन पर क्लिक करें नया विश्लेषण -> नया डेटासेट और विंडो में जो डेटासेट के लिए चुनिंदा स्रोत दिखाई देता है, एथेना पर क्लिक करें:

हम अपने डेटा स्रोत के लिए एक नाम के साथ आएंगे, उदाहरण के लिए, "PNL_analysis" और "डेटा स्रोत बनाएं" बटन पर क्लिक करें।

इसके बाद, अपनी तालिका विंडो चुनें, जहां आपको डेटाबेस और डेटा स्रोत तालिका का चयन करने की आवश्यकता है। हम डेटाबेस का चयन करते हैं - वित्तीय, और इसमें तालिका: my_traider_diary। डिफ़ॉल्ट रूप से, संपूर्ण तालिका का उपयोग किया जाता है, लेकिन यदि आप "कस्टम SQL का उपयोग करें" का चयन करते हैं, तो आप आवश्यक डेटा नमूने को अनुकूलित और ठीक कर सकते हैं। उदाहरण के लिए, हम पूरी तालिका का उपयोग करते हैं और संपादन / पूर्वावलोकन डेटा बटन पर क्लिक करते हैं।

एक नया पेज खुलेगा जहाँ आप अतिरिक्त सेटिंग्स कर सकते हैं और मौजूदा डेटा को प्रोसेस कर सकते हैं।

अब हमें अपने डेटासेट में अतिरिक्त गणना वाले क्षेत्रों को जोड़ने की आवश्यकता है: तिमाही और संचालन का वर्ष। एक चौकस पाठक यह देख सकता है कि CSV को अंतिम रिपोर्ट सहेजने से पहले इस तरह के जोड़तोड़ पार्सर की तरफ करना आसान था। निस्संदेह, मेरा लक्ष्य अब मक्खी पर बीआई-सिस्टम सेटिंग्स की क्षमताओं और लचीलेपन को प्रदर्शित करना है। हम "नई फ़ील्ड" बटन पर क्लिक करके परिकलित फ़ील्ड बनाना जारी रखते हैं।

एक नया क्षेत्र बनाएँ

ऑपरेशन के वर्ष और तिमाही पर प्रकाश डालने के लिए, सरल सूत्रों का उपयोग किया जाता है:

एक नए क्षेत्र के लिए सूत्रों में भरना

जब गणना किए गए फ़ील्ड सफलतापूर्वक बनाए गए हैं और चयन में जोड़े गए हैं, तो हमारे डेटासेट को एक नाम दें, उदाहरण के लिए, "my_pnl_analyze" और "सहेजें और कल्पना करें" बटन पर क्लिक करें।

उसके बाद, हम अमेज़ॅन क्विकसाइट मुख्य बोर्ड में स्थानांतरित होते हैं और पहली चीज़ जो हमें करने की ज़रूरत है वह रिपोर्ट तिथि के लिए एक फ़िल्टर सेट करना है (इस तथ्य को ध्यान में रखते हुए कि एक ही डेटा तीन वर्गों से एकत्र किया गया था)। रिपोर्टिंग दिनांक 2018-10-01 का चयन करें और अप्लाई बटन पर क्लिक करें और विज़ुअलाइज़ टैब पर जाएँ।

फ़िल्टर सेटिंग

अब हम किसी भी विमान में पोर्टफोलियो के परिणाम की कल्पना कर सकते हैं, उदाहरण के लिए, ट्रेडिंग खाते के अंदर प्रत्येक सुरक्षा के लिए, और मुद्रा द्वारा बदले में विभाजित किया जाता है (क्योंकि परिणाम विभिन्न मुद्राओं में तुलनीय नहीं है) और संचालन के प्रकार। चलो किसी भी बीआई - पिवट टेबल के सबसे शक्तिशाली उपकरण के साथ शुरू करते हैं। अंतरिक्ष को बचाने और लचीलेपन को प्रदर्शित करने के लिए, मैंने मुद्रा को एक अलग नियंत्रण में रखा (एमएस एक्सेल में स्लाइस का एनालॉग)

ऊपर दी गई तालिका से पता चलता है कि यदि कोई निवेशक अब एफजीसी यूईएस के सभी शेयरों को बेचने का फैसला करता है, तो वह इस तरह से नुकसान दर्ज करेगा 1,509.91 पी की राशि में भुगतान किया गया लाभांश। वे इसकी लागत (1,763.36 रूबल - एक नकारात्मक विनिमय दर अंतर और 174 रूबल - लाभांश पर व्यक्तिगत आयकर) को कवर नहीं करते हैं। एक्सचेंज पर बेहतर समय के लिए इंतजार करना और इंतजार करना समझ में आता है।

निम्नलिखित ग्राफ एक बार चार्ट है:

और अब हम एक तालिका बनाएंगे जो हमें दिखाएगी कि हमने प्रत्येक पेपर में कितना निवेश किया है, यह हमारे पोर्टफोलियो में कितने दिनों का है और स्वामित्व की पूरी अवधि के लिए लाभप्रदता क्या है। ऐसा करने के लिए, दो नए परिकलित फ़ील्ड जोड़ें: sum_investment और count_days।

फ़ील्ड sum_investment

sum_investment ( ) :

ifelse({stock_name} = ' 24019',{avg_open_price} * quantity * 10,{avg_open_price} * quantity)

, – ( – 1000).

फ़ील्ड count_days

count_day ( ) :

dateDiff(parseDate({date_oper}),parseDate({date_report}))

अंतिम तालिका नीचे स्क्रीनशॉट में प्रस्तुत की गई है:

निष्कर्ष और सारांश

हमने आपके साथ रिपोर्ट पार्सर के कार्यान्वयन और इसके द्वारा तैयार किए गए डेटा का विश्लेषण करने के लिए "मक्खी पर" अमेज़ॅन सेवाओं का उपयोग करके जांच की है। हमने निवेश पोर्टफोलियो विश्लेषण के कुछ व्यावसायिक और बुनियादी पहलुओं पर भी बात की है यह विषय लगभग विशाल है और इसे एक लेख में फिट करना मुश्किल है, मुझे लगता है कि इसे अलग प्रकाशन या प्रकाशनों की एक श्रृंखला में रखने के लिए समझ में आता है।

ब्रोकर रिपोर्टिंग प्रोसेसिंग टूल और इसमें शामिल दृष्टिकोण और एल्गोरिदम के उपयोग के लिए, उनका उपयोग अन्य ब्रोकरों की रिपोर्टिंग को संसाधित करने के लिए (उपयुक्त संशोधन के साथ) किया जा सकता है। किसी भी मामले में, यदि आप अपनी आवश्यकताओं के लिए कोड को अनुकूलित करने की योजना बना रहे हैं, तो मैं कुछ सुझाव देने के लिए तैयार हूं, इसलिए प्रश्न पूछने में संकोच न करें - मैं निश्चित रूप से उन्हें जवाब देने की कोशिश करूंगा।

मुझे यकीन है कि यह प्रणाली अपने आवेदन को पा लेगी और आगे का विकास होगा। उदाहरण के लिए, पोर्टफोलियो के लिए डिपॉजिटरी और अन्य शुल्क (उदाहरण के लिए, धन निकालने के लिए), साथ ही बांड का भुगतान, आदि के लिए पूर्ण पीएनएल की गणना में जोड़ने की योजना है ... Quicksight के परिकलित फ़ील्ड प्रदर्शन प्रयोजनों के लिए, पार्सर के अगले संस्करण में उपयोग किए गए थे। इन सभी अतिरिक्त स्तंभों को पायथन में पोर्ट किया जाएगा और पार्सर की ओर से गणना की जाएगी।

एक वास्तुकार और इस समाधान के मुख्य व्यवसाय ग्राहक के रूप में, मुझे निम्न के रूप में एक और उन्नयन दिखाई देता है: ठीक है, मैं हर बार इन XML रिपोर्टों का मैन्युअल रूप से अनुरोध नहीं करना चाहता! बेशक, अब तक कोई अन्य संभावना नहीं है, लेकिन टोकन के हस्तांतरण के साथ ब्रोकर एपीआई और साप्ताहिक कच्ची रिपोर्टिंग प्राप्त करने के लिए नमूना रेंज आदर्श होगा। अमेज़न पर बाद में पूर्ण स्वचालित प्रसंस्करण: एडब्ल्यूएस गोंद पर ईटीएल-नौकरी को ट्रिगर करने से लेकर अमेज़ॅन क्विकसाइट में ग्राफ़ और तालिकाओं के रूप में तैयार किए गए परिणाम प्राप्त करने की अनुमति देगा जो आपको पूरी तरह से प्रक्रिया को स्वचालित करने की अनुमति देगा।

पूर्ण स्रोत कोड मेरे GitHub रिपॉजिटरी में पाया जा सकता है