Amazon Cloud Services et analyse de portefeuille d'investissement

Récemment, il y a eu une forte volatilité sur les marchés boursiers lorsque, par exemple, un papier stable d'une société bien connue peut perdre plusieurs pour cent à la fois en raison de sanctions contre sa direction ou vice versa s'envoler dans le ciel sur un rapport positif et les attentes des investisseurs concernant les dividendes extra-profit.

Comment déterminer si la propriété d'un titre donné a généré des revenus ou seulement des pertes et des déceptions?

(Source)

Dans cet article, je vais vous expliquer comment identifier et visualiser le résultat financier ajusté des titres.

En utilisant l'exemple du reporting client Opening Broker, nous considérerons l'analyse et la consolidation des rapports de courtage pour le marché boursier, en construisant l'architecture d'un système de reporting cloud avec une analyse simple et pratique ultérieure dans AWS Quicksight.

Description de la tâche

De nombreuses formations et leçons de formation nous parlent de la nécessité d'un journal du commerçant, où tous les paramètres de transaction sont enregistrés pour une analyse plus approfondie et résumer les résultats de la stratégie de trading. Je suis d'accord que cette approche du travail sur la Bourse vous permet de discipliner un commerçant, d'augmenter sa conscience, mais cela peut aussi vous fatiguer d'un processus fastidieux.

J'avoue qu'au début, j'ai essayé soigneusement de suivre les conseils de la journalisation, écrit méticuleusement chaque transaction avec ses paramètres dans un tableau Excel, construit des rapports, des graphiques récapitulatifs, planifié les transactions futures, mais ... J'en ai vite été fatigué.


Souvent, les sociétés de courtage sont des organisations de haute technologie qui fournissent à leurs clients des analyses d'assez bonne qualité sur presque toutes les questions d'intérêt. Il est juste de dire que ces rapports s'améliorent de plus en plus avec chaque mise à jour, mais même les plus avancés d'entre eux peuvent ne pas avoir la personnalisation et la consolidation que les clients exigeants et curieux veulent voir.

Par exemple, Opening Broker vous permet de recevoir des rapports de courtage au format XML dans votre compte personnel, mais si vous avez un IIA et un compte de courtage régulier à la Bourse de Moscou (MOEX), ce seront deux rapports différents, et si vous avez un autre compte sur St. Petersburg Stock Exchange (SPB), puis les deux premiers en ajouteront un de plus.

Au total, pour obtenir un journal consolidé de l'investisseur, il faudra traiter trois fichiers au format XML.

Les rapports susmentionnés sur le MOEX et le SPB diffèrent légèrement dans leurs formats, qui devront être pris en compte dans le processus de mise en œuvre de la cartographie des données.

Architecture du système en cours de développement

Le schéma ci-dessous montre le modèle d'architecture du système en cours de développement:

Implémentation de l'analyseur

Nous recevrons des rapports sur les trois comptes dans le compte personnel pour la période maximale possible (peut être divisé en plusieurs rapports pour chaque année), les enregistrer au format XML et les mettre dans un dossier. Comme données de test pour l'étude, nous utiliserons un portefeuille de clients fictifs, mais avec des paramètres aussi proches que possible des réalités du marché.


Supposons que l'investisseur M. X considéré ait un petit portefeuille de cinq titres:

1. Le rapport sur l'échange SPB comprendra deux articles: Apple et Microsoft;
2. Le rapport sur la bourse MOEX (courtage) contient un document: FGC UES;
3. Le rapport sur le MOEX Exchange (IIS) contient deux titres: MMK et OFZ 24019;

Selon nos cinq titres, il peut y avoir des transactions sur l'achat / la vente, le paiement de dividendes et d'un coupon, le prix peut changer, etc. Nous voulons voir la situation actuelle, à savoir: le résultat financier, en tenant compte de tous les paiements, transactions et valeur marchande actuelle.

Et ici Python entre en jeu, nous lisons les informations de tous les rapports dans un tableau:

my_files_list = [join('Data/', f) for f in listdir('Data/') if isfile(join('Data/', f))] my_xml_data = [] #     for f in my_files_list: tree = ET.parse(f) root = tree.getroot() my_xml_data.append(root) 

Pour l'analyse, les rapports nécessitent plusieurs entités, à savoir:

• Positions de titres dans un portefeuille;
• Accords conclus;
• Opérations non commerciales et autres mouvements de compte;
• Prix ​​moyens des positions ouvertes

Afin de préparer l'échantillon, nous utiliserons quatre dictionnaires pour décrire les ensembles ci-dessus.

 dict_stocks = {'stock_name': [], 'account': [], 'currency': [], 'current_cost': [], 'current_cost_rub': [], 'saldo' : []} dict_deals = {'stock_name': [], 'account': [], 'date_oper': [], 'type_oper': [], 'quantity': [], 'price': [], 'currency': [], 'brokerage': [], 'result': []} dict_flows = {'stock_name': [], 'account': [], 'date_oper': [], 'type_oper': [], 'result': [], 'currency': []} dict_avg_price = {'stock_name': [], 'account': [], 'avg_open_price' : []} 

Quelques mots sur la signification de ces dictionnaires.





Nous traitons un tableau de documents XML et remplissons ces dictionnaires avec les données appropriées:

 #       for XMLdata in my_xml_data: #      exchange_name = 'SPB' if XMLdata.get('board_list') == ' ' else 'MOEX' client_code = XMLdata.get('client_code') account_name = get_account_name(exchange_name, client_code) #   current_position, deals, flows, stock_name, \ saldo, ticketdate, price, brokerage, \ operationdate, currency, \ current_cost, current_cost_rub, \ stock_name_deal, payment_currency, currency_flows = get_allias(exchange_name) #      get_briefcase(XMLdata) df_stocks = pd.DataFrame(dict_stocks) df_stocks.set_index("stock_name", drop = False, inplace = True) #    get_deals(XMLdata) df_deals = pd.DataFrame(dict_deals) df_avg = pd.DataFrame(dict_avg_price) #       get_nontrade_operation(XMLdata) df_flows = pd.DataFrame(dict_flows) 

Tout le traitement passe par la boucle sur toutes les données XML des rapports. Les informations sur la plateforme de trading, le code client sont les mêmes dans tous les rapports, vous pouvez donc les extraire en toute sécurité des mêmes balises sans utiliser de mappage.

Mais nous devons ensuite utiliser une conception spéciale qui fournira l'alias nécessaire pour la balise basée sur le rapport (SPB ou MOEX), car les données de nature identique dans ces rapports sont appelées différemment.



La fonction get_allias renvoie le nom de la balise nécessaire pour le traitement, en prenant le nom de la plateforme de trading en entrée:


La fonction get_briefcase est responsable du traitement des informations sur l'état du portefeuille client:


Ensuite, la fonction get_deals récupère des informations sur les transactions:


En plus de traiter un tableau avec des informations sur les paramètres de la transaction, le prix moyen d'une position ouverte et réalisé par PNL en utilisant la méthode FIFO est également calculé ici. La classe PnlSnapshot est responsable de ce calcul, dont la création avec les petites modifications le code présenté ici a été prise comme base: calcul P&L

Et enfin, le plus difficile à mettre en œuvre est la fonction d'obtention d'informations sur les opérations non commerciales - get_nontrade_operation . Sa complexité réside dans le fait que dans le bloc de rapport utilisé pour les opérations non commerciales, il n'y a pas d'informations claires sur le type de transaction et la sécurité à laquelle cette opération est liée.


En conséquence, il sera difficile de se passer d'expressions régulières, nous les utiliserons donc au maximum. L'autre côté du problème est que le nom de l'entreprise ne coïncide pas toujours avec le nom dans le portefeuille ou dans les transactions aux fins du paiement. Par conséquent, le nom reçu de l'émetteur du but du paiement doit être corrélé en plus avec le dictionnaire. En tant que dictionnaire, nous utiliserons un éventail d'offres, car il y a la liste la plus complète des entreprises.

La fonction get_company_from_str récupère le nom de l'émetteur dans le commentaire:


La fonction get_company_from_briefcase mène le nom de la société au dictionnaire si elle trouve une correspondance parmi les sociétés qui ont participé aux transactions:


Et enfin, la fonction finale de la collecte de données sur les opérations non commerciales est get_nontrade_operation :


Le résultat de la collecte de données à partir des rapports sera trois DataFrames, qui sont approximativement les suivants:

1. DataFrame avec des informations sur les prix moyens des positions ouvertes:
   
   
2. Deal DataFrame:
   
   
3. DataFrame avec des informations sur les opérations non commerciales:
   
   
   
   

Il ne nous reste donc plus qu'à effectuer une union externe de la table des transactions avec la table d'informations du portefeuille:

 df_result = pd.merge(df_deals, df_stocks_avg, how='outer', on=['stock_name', 'account', 'currency']).fillna(0) df_result.sample(10) 

Enfin, la dernière étape du traitement du tableau de données est la fusion du tableau de données obtenu à l'étape précédente avec le DataFrame pour les transactions non commerciales.
Le résultat du travail effectué est une grande table plate avec toutes les informations nécessaires à l'analyse:

 df_result_full = df_result.append(df_flows, ignore_index=True).fillna(0) df_result_full.sample(10).head() 

L'ensemble de données résultant (rapport final) du DataFrame est facilement téléchargé sur le CSV et peut ensuite être utilisé pour une analyse détaillée dans n'importe quel système de BI.

 if not exists('OUTPUT'): makedirs('OUTPUT') report_name = 'OUTPUT\my_trader_diary.csv' df_result_full.to_csv(report_name, index = False, encoding='utf-8-sig') 

Charger et traiter des données dans AWS

Les progrès ne sont pas en reste et les services cloud et les modèles informatiques sans serveur gagnent désormais en popularité dans le traitement et le stockage des données. Cela est en grande partie dû à la simplicité et au coût peu élevé de cette approche, lorsque vous n'avez pas besoin d'acheter un équipement coûteux pour construire une architecture système pour le calcul complexe ou le traitement de données volumineuses, mais que vous louez simplement l'énergie dans le cloud pour le temps dont vous avez besoin et déployez les ressources nécessaires assez rapidement pour un coût relativement faible. .

Amazon est l'un des fournisseurs de cloud les plus importants et les plus connus du marché. Regardons l'exemple de l'environnement Amazon Web Services (AWS) pour construire un système analytique de traitement des données sur notre portefeuille d'investissement.

AWS dispose d'une vaste sélection d'outils, mais nous utiliserons les éléments suivants:

• Amazon S3 - stockage d'objets, qui vous permet de stocker des quantités presque illimitées d'informations;
• AWS Glue - le service ETL cloud le plus puissant qui peut lui-même déterminer la structure et générer le code ETL à partir des données source données;
• Amazon Athena , un service de requête SQL en ligne sans serveur, vous permet d'analyser rapidement les données de S3 sans trop de préparation. Il a également accès aux métadonnées qu'AWS Glue prépare, ce qui vous permet d'accéder aux données immédiatement après avoir passé l'ETL;
• Amazon QuickSight - BI-service sans serveur, vous pouvez créer n'importe quelle visualisation, des rapports analytiques "à la volée", etc.

La documentation d'Amazon est correcte, en particulier, il existe un bon article Meilleures pratiques lors de l'utilisation d'Athena avec AWS Glue , qui décrit comment créer et utiliser des tables et des données à l'aide d'AWS Glue. Profitons des idées principales de cet article et appliquons-les pour créer notre propre architecture d'un système de rapports analytiques.

Les fichiers CSV préparés par notre analyseur de rapports seront ajoutés au compartiment S3. Il est prévu que le dossier correspondant sur S3 soit réapprovisionné tous les samedis - à la fin de la semaine de négociation, de sorte que vous ne pouvez pas vous passer du partitionnement des données à la date de formation et de traitement du rapport.
En plus d'optimiser le fonctionnement des requêtes SQL sur de telles données, cette approche nous permettra de mener des analyses complémentaires, par exemple, pour obtenir la dynamique des changements dans le résultat financier de chaque article, etc.



Considérez le tableau généré plus en détail.
Si vous cliquez sur le nom de la table créée, nous irons à la page avec la description des métadonnées. En bas, il y a une disposition de table et la plus récente est une colonne qui n'était pas dans le fichier CSV source - date_report. Cette colonne qu'AWS Glue crée automatiquement en fonction de la définition des sections des données source (dans Bucket S3, nous avons spécialement nommé les dossiers date_report = YYYY-MM-DD, ce qui nous a permis de les utiliser comme sections séparées par date).

Analyse des données

Ayant à notre disposition des données traitées téléchargées, nous pouvons facilement commencer à les analyser. Pour commencer, considérez les capacités d'Amazon Athena comme le moyen le plus simple et le plus rapide d'effectuer des requêtes analytiques. Pour ce faire, accédez au service Amazon Athena, sélectionnez la base de données dont nous avons besoin (financière) et écrivez le code SQL suivant:

 select d.date_report, d.account, d.stock_name, d.currency, sum(d.quantity) as quantity, round(sum(d.result), 2) as result from my_trader_diary d group by d.date_report, d.account, d.stock_name, d.currency order by d.account, d.stock_name, d.date_report; 

Cette demande nous affichera un résultat financier net pour chaque titre pour toutes les dates de déclaration. Parce que nous avons téléchargé le même rapport trois fois pour des dates différentes, le résultat ne changera pas, ce qui, bien sûr, sur un marché réel sera différent:


Mais que se passe-t-il si nous voulons visualiser les données reçues sous forme de tableaux ou de diagrammes flexibles? Ici, Amazon QuickSight vient à la rescousse, avec l'aide de laquelle vous pouvez configurer des analyses flexibles presque aussi rapidement que l'écriture d'une requête SQL. Nous allons accéder au service Amazon QuickSight (si vous n'y êtes pas encore inscrit, l'inscription est obligatoire).

Cliquez sur le bouton Nouvelles analyses -> Nouvel ensemble de données et dans la fenêtre qui apparaît sélectionnez les sources pour l'ensemble de données, cliquez sur Athéna:



Nous allons trouver un nom pour notre source de données, par exemple, "PNL_analysis" et cliquer sur le bouton "Créer une source de données".

Ensuite, la fenêtre Choisissez votre table s'ouvre, où vous devez sélectionner la base de données et la table de source de données. Nous sélectionnons la base de données - financière, et la table qu'elle contient: my_traider_diary. Par défaut, la table entière est utilisée, mais si vous sélectionnez «Utiliser SQL personnalisé», vous pouvez personnaliser et affiner l'échantillon de données dont vous avez besoin. Par exemple, nous utilisons l'ensemble du tableau et cliquez sur le bouton Modifier / Aperçu des données.

Une nouvelle page s'ouvrira où vous pourrez effectuer des réglages supplémentaires et traiter les données existantes.

Nous devons maintenant ajouter des champs calculés supplémentaires à notre jeu de données: trimestre et année de fonctionnement. Un lecteur attentif peut remarquer que de telles manipulations étaient plus faciles à faire du côté de l'analyseur avant d'enregistrer le rapport final au format CSV. Sans aucun doute, mon objectif est maintenant de démontrer les capacités et la flexibilité des paramètres du système BI à la volée. Nous continuons à créer des champs calculés en cliquant sur le bouton «Nouveau champ».


Pour mettre en évidence l'année de l'opération et le trimestre, des formules simples sont utilisées:



Lorsque les champs calculés ont été créés avec succès et ajoutés à la sélection, donnez un nom à notre jeu de données, par exemple, "my_pnl_analyze" et cliquez sur le bouton "Enregistrer et visualiser".

Après cela, nous transférons vers la carte principale d'Amazon QuickSight et la première chose que nous devons faire est de configurer un filtre pour la date du rapport (en tenant compte du fait que les mêmes données ont été collectées dans trois sections). Sélectionnez la date du rapport 2018-10-01 et cliquez sur le bouton Appliquer et accédez à l'onglet Visualiser.


, , , (.. ) . BI – . , ( MS Excel)

, , , .. 1 509.91 . (1 763.36 . – 174 . – ). .

– :


, , , . : sum_investment count_days.



:

« » Amazon. , .. , , , .

, ( ) . , , , – .

, . , PNL (, ), .… Quicksight , , Python .

- , : XML-! , , API . Amazon: ETL-job AWS Glue Amazon QuickSight .

GitHub