Analisando Ethereum, Bitcoin e mais de 1200 outras criptomoedas usando o PostgreSQL

As criptomoedas são a força motriz por trás da nova corrida do ouro. O autor sugere o uso de análise de dados para entender melhor esse mercado emergente.

Recentemente, há uma sensação de que o dinheiro está crescendo nas árvores.



Os volumes do comércio de câmbio atingem milhões de dólares e a capitalização de mercado - bilhões . É justo falar sobre a corrida do ouro, alimentada pelo advento de um número crescente de novas criptomoedas.

Vivemos em uma era de moedas digitais. Tendo aparecido há menos de 10 anos, o conceito de criptomoeda já se espalhou hoje. Apesar de tão pouco tempo, já existem mais de mil criptomoedas diferentes no mercado, e as ICOs ocorrem quase todos os dias .

À medida que nos acostumamos com o novo mercado em rápido crescimento, é importante tentar entender o que está acontecendo com ele. Existem muitos riscos, tanto no nível micro (por exemplo, investimento pessoal) quanto no nível macro (por exemplo, a prevenção de colapso do mercado ou grandes perdas de capital). É aqui que entramos no jogo.

Lidamos com dados, ou melhor, eu represento a equipe de desenvolvimento do TimescaleDB , um novo banco de dados PostgreSQL de código aberto para trabalhar com séries temporais. Achamos que seria útil e interessante analisar o mercado de criptomoedas usando o PostgreSQL e o TimescaleDB (e R para visualizar os dados recebidos).

No decorrer de nosso trabalho, analisamos os dados históricos nas cartas de OHLC para mais de 1200 criptomoedas, gentilmente fornecidas pela CryptoCompare (a última data de amostragem é 26 de junho deste ano). A etapa deste conjunto de dados específico é de 24 horas; no entanto, observe que o TimescaleDB é facilmente escalável para trabalhar com períodos de tempo muito mais curtos. Nosso produto, em particular, combina perfeitamente com o papel de uma ferramenta básica para trabalhar com o crescente fluxo de dados sobre novas moedas e trocas.

Aqui está o que você pode tirar desta publicação:

• Algumas conclusões gerais valiosas sobre a situação no mercado de criptomoedas.
• Uma melhor compreensão de como o TimescaleDB + PostgreSQL pode simplificar a análise de dados de séries temporais.
• Obtenha instruções para baixar esse conjunto de dados, descubra novas tendências (e talvez até as use para criar sua própria estratégia para entrar no mercado!).

Isenção de responsabilidade: a análise acima não deve ser considerada uma recomendação para a realização de certas transações financeiras. Se você deseja conduzir sua própria análise, preste atenção às instruções que descrevem como instalar o TimescaleDB e faça o download dos dados do CryptoCompare .

Então, se você investisse US $ 100 no Bitcoin há 7 anos, agora isso custaria ...

Vamos começar com a boa e velha síndrome do lucro perdido . Se você está um pouco familiarizado com criptomoedas, provavelmente já ouviu falar do Bitcoin, o "bisavô" de todas as criptomoedas. Acontece que se em julho de 2010 você investisse US $ 100, hoje esse valor teria aumentado para US $ 5 milhões.

Durante esse período, o Bitcoin mostrou uma dinâmica bastante agradável (mesmo levando em conta o colapso relativamente pequeno que ocorreu relativamente recentemente):

-- BTC USD prices by two week intervals SELECT time_bucket('14 days', time) as period, last(closing_price, time) AS last_closing_price FROM btc_prices WHERE currency_code = 'USD' GROUP BY currency_code, period ORDER BY period; 

BTC em dólares americanos no fechamento da bolsa nos últimos 7 anos

Usando o PostgreSQL, solicitamos leituras de preços do BTC em intervalos de duas semanas, analisando a taxa de câmbio em relação ao dólar americano nas trocas. Nota: time_bucket e last nesta consulta são as funções nativas do TimescaleDB (ausentes no PostgreSQL) usadas para análise de séries temporais.

Esperamos que você não tenha comprado bitcoins em fevereiro de 2014 ...

Não se pode dizer, no entanto, que tudo sempre foi tranquilo com o BTC. Vamos dar uma olhada na volatilidade diária do curso e realizar cálculos usando as poderosas funções da janela do PostgreSQL :

 -- Daily BTC returns by day SELECT time, closing_price / lead(closing_price) over prices AS daily_factor FROM ( SELECT time, closing_price FROM btc_prices WHERE currency_code = 'USD' GROUP BY 1,2 ) sub window prices AS (ORDER BY time DESC); 

A proporção de dividir a taxa BTC / USD do dia atual pela taxa do anterior (período de 7 anos)

Devido à relativa imaturidade do mercado, a taxa de câmbio do Bitcoin está sujeita a alterações significativas. Um aumento estável no valor geralmente indica o sucesso da criptomoeda, mas há um período de forte crescimento que está claramente fora de cena em sua história, o que foi observado no início de 2014. Depois de examinar esse período com mais detalhes, notamos grandes saltos entre fevereiro e março de 2014. Os investidores que investiram no BTC no pico do mercado tiveram que esperar bastante, pois a taxa logo se estabilizou e logo alcançou indicadores em que as vendas de bitcoins comprados na época se tornaram um negócio lucrativo.



O coeficiente de dividir a taxa BTC / USD do dia atual pela taxa anterior (2014)

Adeus China, Olá Japão

O mercado de criptomoedas é um fenômeno internacional. Estudando os volumes de negociação em termos de moedas, notamos algo interessante:

 -- BTC trading volumes by currency SELECT time_bucket('14 days', time) as period, currency_code, sum(volume_btc) FROM btc_prices GROUP BY currency_code, period ORDER BY period; 

Volumes de negociação de BTC em várias moedas fiduciárias nos últimos 7 anos (intervalos de duas semanas, barras compostas)

Em 2014, houve um pequeno salto no valor do Bitcoin na China, causado pela suposta desvalorização do yuan e o enfraquecimento do mercado doméstico de ações do país. Isso foi seguido por um boom em 2016 e no início de 2017: a moeda chinesa dominou o comércio de bitcoin.



Participação de RMB na negociação de bitcoin no último ano (intervalos de duas semanas)

Ao longo de apenas alguns meses, esse número caiu acentuadamente.

Qual o motivo? Chegou a hora de ir além da análise de dados numéricos e fazer a boa e velha pesquisa. Nossas conclusões ilustram bem o fato de que é impossível confiar apenas em dados quantitativos para pesquisas de mercado.

No início de 2017, o Banco Popular da China promulgou regulamentos que restringem as atividades de trocas de criptomoedas. Em fevereiro, as duas maiores bolsas do país (OKCoin e Huobi.com) suspenderam a retirada de criptomoeda em troca de moeda estrangeira e, em meados deste ano, o fluxo de transações chinesas havia diminuído. Ao mesmo tempo, o Japão se tornou o líder em termos de volume de operações com bitcoins. Chegou ao ponto de o Bitcoin ser reconhecido como moeda legal em abril de 2017.



O volume de BTC em várias moedas após uma forte queda na participação das transações de BTC / CNY em 2017. BTC / JPY - o novo líder em termos de volume (intervalos de duas semanas)

E agora vamos pensar no que aconteceria se você investisse US $ 100 na ETH em janeiro de 2017 ...

Apesar do fato de o "trem de bitcoin ter saído" em 2010, não há motivo para preocupação. Muitos observadores concordam que, mesmo em meio a sua grande volatilidade, as oscilações de preços do Ethereum parecem ainda mais impressionantes (e a recente “correção” é apenas mais uma confirmação). Vejamos os preços do Ethereum em bitcoin equivalente (como é habitual citar):

 -- ETH prices in BTC by two week intervals SELECT time_bucket('14 days', c.time) as period, last(c.closing_price, c.time) AS last_closing_price_in_btc FROM crypto_prices c WHERE c.currency_code = 'ETH' GROUP BY period ORDER BY period; 

Taxa de ETH para BTC no final do pregão nos últimos 3 anos

No entanto, como sabemos, o próprio Bitcoin não difere da estabilidade perceptível, o que reduz a utilidade do gráfico acima. Vejamos os preços ETH em moedas fiduciárias usando as cotações diárias do BTC para moedas fiduciárias. (Para isso, usaremos as propriedades úteis dos JOINs do Postgres e vários filtros sofisticados):

 -- ETH prices in BTC, USD, EUR, and CNY by two week intervals SELECT time_bucket('14 days', c.time) as period, last(c.closing_price, c.time) AS last_closing_price_in_btc, last(c.closing_price, c.time) * last(b.closing_price, c.time) filter (WHERE b.currency_code = 'USD') AS last_closing_price_in_usd, last(c.closing_price, c.time) * last(b.closing_price, c.time) filter (WHERE b.currency_code = 'EUR') AS last_closing_price_in_eur, last(c.closing_price, c.time) * last(b.closing_price, c.time) filter (WHERE b.currency_code = 'CNY') AS last_closing_price_in_cny FROM crypto_prices c JOIN btc_prices b ON time_bucket('1 day', c.time) = time_bucket('1 day', b.time) WHERE c.currency_code = 'ETH' GROUP BY period ORDER BY period; 

ETH para três moedas fiduciárias no final do pregão nos últimos 3 anos

No primeiro ano de sua existência, a ETH excedeu qualquer um dos indicadores de crescimento anual do BTC na história deste último. Um aumento impressionante de 530% no preço médio de fechamento em relação ao ano anterior é um bom começo. Em geral, até 2017, a taxa de crescimento agregada para todos esses anos caiu em 2017 em comparação com 2016 para 200%. No entanto, mesmo esse resultado ainda parece impressionante para qualquer outro ativo. Nos últimos seis meses, agora os preços da ETH subiram 3000%. Portanto, se você investisse US $ 100 na ETH em janeiro deste ano (quase 7 meses atrás), hoje o valor seria de US $ 3 mil.

Expressando o valor de ETH em moedas estáveis ​​(USD, EUR, CNY), vemos que todos os três gráficos têm a mesma forma. Nos últimos seis meses, um rápido crescimento foi claramente observado em todos os equivalentes de moeda, exceto no BTC. O gráfico de taxas ETH / BTC, sendo semelhante aos gráficos de moeda fiduciária, é muito mais propenso a flutuações no valor do BTC. Como resultado, tentativas de expressar o preço do ETH no BTC criam uma impressão implausível da instabilidade do primeiro. Obviamente, o BTC ainda é uma moeda muito jovem para considerá-la base.

E as outras 1200 criptomoedas?

Esperamos que esta breve visão geral das tendências de BTC e ETH permita que você entenda melhor o mundo caótico das criptomoedas. Então, o que faremos com as outras 1200 criptomoedas?

Bem, primeiro, vamos usar nosso conjunto de dados para rastrear sua origem:

Nota importante: Nosso conjunto de dados contém informações no momento de sua coleta, que poderiam ter ocorrido após a OIC.

 -- Currencies sorted by first time we have data for them SELECT ci.currency_code, min(c.time) FROM currency_info ci JOIN crypto_prices c ON ci.currency_code = c.currency_code AND c.closing_price > 0 GROUP BY ci.currency_code ORDER BY min(c.time) DESC; 

  currency_code | min ---------------+------------------------ CIR | 2017-06-26 20:00:00+00 MDC | 2017-06-26 20:00:00+00 WBTC | 2017-06-26 20:00:00+00 NET | 2017-06-26 20:00:00+00 NAS2 | 2017-06-26 20:00:00+00 TPAY | 2017-06-26 20:00:00+00 MRSA | 2017-06-26 20:00:00+00 XCI | 2017-06-26 20:00:00+00 PAY | 2017-06-19 20:00:00+00 SNM | 2017-06-18 20:00:00+00 LGD | 2017-06-17 20:00:00+00 SNT | 2017-06-16 20:00:00+00 IOT | 2017-06-12 20:00:00+00 QRL | 2017-06-09 20:00:00+00 MGO | 2017-06-09 20:00:00+00 CFI | 2017-06-08 20:00:00+00 VERI | 2017-06-07 20:00:00+00 EQT | 2017-06-07 20:00:00+00 ZEN | 2017-06-05 20:00:00+00 BAT | 2017-05-31 20:00:00+00 

Registro de data e hora do primeiro registro para cada criptomoeda (descendente)

O mercado está em constante evolução e, além disso, a julgar pelo crescimento diário de novas criptomoedas, também está em constante expansão. A lista publicada acima contém apenas os 20 tokens mais recentes em 26 de junho e permite que você tenha uma idéia de quantas novas criptomoedas aparecem a cada semana.

Vamos calcular o número de novas criptomoedas que aparecem todos os dias com base na primeira data de aparecimento das informações de preço:

 -- Number of new currencies with data sorted by day SELECT day, COUNT(code) FROM ( SELECT min(c.time) AS day, ci.currency_code AS code FROM currency_info ci JOIN crypto_prices c ON ci.currency_code = c.currency_code AND c.closing_price > 0 GROUP BY ci.currency_code ORDER BY min(c.time) )a GROUP BY day ORDER BY day DESC; 

O número de novas criptomoedas por dia nos últimos 4 anos



O número de novas criptomoedas por dia para o ano atual

  day | count ------------------------+------- 2017-06-26 20:00:00+00 | 8 2017-06-19 20:00:00+00 | 1 2017-06-18 20:00:00+00 | 1 2017-06-17 20:00:00+00 | 1 2017-06-16 20:00:00+00 | 1 2017-06-12 20:00:00+00 | 1 2017-06-09 20:00:00+00 | 2 2017-06-08 20:00:00+00 | 1 2017-06-07 20:00:00+00 | 2 2017-06-05 20:00:00+00 | 1 2017-05-31 20:00:00+00 | 5 2017-05-28 20:00:00+00 | 29 2017-05-27 20:00:00+00 | 13 2017-05-26 20:00:00+00 | 32 2017-05-25 20:00:00+00 | 303 2017-05-16 20:00:00+00 | 1 2017-05-15 20:00:00+00 | 7 

O número de novas criptomoedas por datas, estatísticas diárias (descendente)

Quando solicitamos informações sobre a primeira aparição dos dados de criptomoeda (para rastrear sua "idade"), torna-se perceptível que o mercado não é apenas um grupo de investidores, existe outra categoria de seus participantes - os criadores de ativos digitais. Recentemente, de 25 a 28 de maio, de acordo com nossos dados de recrutamento, houve um grande fluxo de novas moedas - mais de 300 novos tokens em menos de uma semana. (Como nosso conjunto registra apenas informações de preços em criptomoedas, as informações em sua aparência podem não corresponder às datas da OIC.)

Líderes de criptomoeda e mundos atraentes

Atualmente, existem tantas criptomoedas que tornam difícil distinguir sensato de duvidoso. Como você pode determinar quais merecem atenção? Aqui está uma das métricas: o volume total de transações de câmbio na semana passada.

 -- 1200+ crypto currencies by total transaction volume (in btc) over the last month SELECT 'BTC' as currency_code, sum(b.volume_currency) as total_volume_in_usd FROM btc_prices b WHERE b.currency_code = 'USD' AND now() - date(b.time) < INTERVAL '8 day' GROUP BY b.currency_code UNION SELECT c.currency_code as currency_code, sum(c.volume_btc) * avg(b.closing_price) as total_volume_in_usd FROM crypto_prices c JOIN btc_prices b ON date(c.time) = date(b.time) WHERE c.volume_btc > 0 AND b.currency_code = 'USD' AND now() - date(b.time) < INTERVAL '8 day' AND now() - date(c.time) < INTERVAL '8 day' GROUP BY c.currency_code ORDER BY total_volume_in_usd DESC; 

  currency_code | total_volume_in_usd ---------------+--------------------- BTC | 2040879023.54 ETH | 1617388472.94011 LTC | 287613541.293571 XRP | 269417667.514443 ETC | 165712729.612886 ANS | 126377042.5269 SC | 111623857.796786 DASH | 86875922.3588143 ZEC | 78836728.2129428 BTS | 69459051.5958428 

Volume total de transações das 10 principais criptomoedas em dólares americanos na última semana (decrescente)



Volume total de transações das 10 principais criptomoedas em dólares americanos na última semana (decrescente)

Um pequeno esclarecimento para essa solicitação: os dados no BTC e outras criptomoedas vivem em tabelas diferentes. Portanto, temos que combinar essas duas consultas com UNION. Anteriormente, também decidimos que queremos receber cotações em moedas fiduciárias (por exemplo, em dólares), e não no BTC. Portanto, a segunda metade da solicitação combina os dados com a tabela BTC para converter BTC em USD.

Curiosamente, o Bitcoin e o Ethereum se tornaram líderes em termos de volume de operações. Mas os seguintes participantes do desfile - Litecoin (LTC) , Ripple (XRP) e Ethereum Classic (ETC) são quase iguais. Presente no mercado há cinco anos, o Litecoin é quase idêntico ao Bitcoin e é frequentemente considerado como um participante importante no mercado. O Ripple, que se posiciona como uma moeda bancária para representantes do mercado comercial internacional e trabalha para um público mais específico, também é considerado uma moeda promissora e crescente. Também é interessante que os cinco primeiros tenham não apenas ETH, mas também ETC, o que sugere que o mercado hoje está fortemente focado no Ethereum.

As criptomoedas mais lucrativas

Outra maneira de "riscar" uma longa lista de criptomoedas é analisar sua lucratividade, por exemplo, um indicador do lucro diário total. Nosso conjunto contém dados de preços para mais de 1200 criptomoedas. Se você observar atentamente o maior aumento da taxa por dia, poderá identificar os líderes do comércio intradiário.

 -- Top crypto by daily return, by day SELECT time, last(currency_code,daily_factor), max(daily_factor) FROM ( SELECT currency_code, time, closing_price, lead(closing_price) over (partition BY currency_code ORDER BY time DESC) AS prev_day_closing_price, closing_price / lead(closing_price) over (partition BY currency_code ORDER BY time DESC) AS daily_factor FROM crypto_prices) q GROUP BY time ORDER BY time DESC; 

  time | last | daily_return ------------------------+--------+------------------ 2017-06-26 20:00:00+00 | CIN | 40.1428571428571 2017-06-25 20:00:00+00 | KC | 38 2017-06-24 20:00:00+00 | VOYA | 14.2747252747253 2017-06-23 20:00:00+00 | PAY | 3.18506315211422 2017-06-22 20:00:00+00 | YOVI | 119.607843137255 2017-06-21 20:00:00+00 | ION | 7.97665369649805 2017-06-20 20:00:00+00 | TES | 5.25157232704403 2017-06-19 20:00:00+00 | KNC | 150000 2017-06-18 20:00:00+00 | ZNY | 22.5217391304348 2017-06-17 20:00:00+00 | YOVI | 22.0590746115759 2017-06-16 20:00:00+00 | LTD | 9.50207468879668 2017-06-15 20:00:00+00 | AMIS | 168758.782201405 2017-06-14 20:00:00+00 | JANE | 6 2017-06-13 20:00:00+00 | YOVI | 690.636254501801 2017-06-12 20:00:00+00 | U | 5.21452145214522 2017-06-11 20:00:00+00 | JANE | 6 2017-06-10 20:00:00+00 | WGO | 3.58744394618834 2017-06-09 20:00:00+00 | BNT | 5000 2017-06-08 20:00:00+00 | XNC | 52.7704485488127 2017-06-07 20:00:00+00 | CBD | 14.3243243243243 2017-06-06 20:00:00+00 | CC | 72 2017-06-05 20:00:00+00 | BLAZR | 7.38461538461538 2017-06-04 20:00:00+00 | GREXIT | 13.0833333333333 2017-06-03 20:00:00+00 | EPY | 4.29880478087649 2017-06-02 20:00:00+00 | YOVI | 1257.67790262172 2017-06-01 20:00:00+00 | FCN | 8.57142857142857 2017-05-31 20:00:00+00 | EPY | 348.611111111111 2017-05-30 20:00:00+00 | BST | 14.1441860465116 2017-05-29 20:00:00+00 | FCN | 45.3086419753086 2017-05-28 20:00:00+00 | NOO | 56536.231884058 

As maiores taxas de diferença intradiária de valor de criptomoeda (data descendente)

Vamos definir a criptomoeda com o maior indicador de rentabilidade diária. Para calcular o lucro diário, usamos novamente a função window e, para procurar a criptomoeda que gerou mais receita a cada dia, usamos a última função do conjunto TimescaleDB.

A conclusão dos últimos três meses mostra a superioridade quantitativa do AMIS (um aumento de 168 vezes em 15 de junho). Essa criptomoeda mostrou o maior aumento em 15 dias diferentes. No entanto, olhando mais de perto, observamos que o crescimento elevado se deve a flutuações de preços igualmente altas: o preço da AMIS geralmente volta a zero após cada aumento.



Preço de fechamento da AMIS nos últimos cinco meses

Outro líder desta amostra, YOVI, apresentou o melhor resultado três vezes, mas também está sujeito a tendências não confiáveis ​​semelhantes às do AMIS:



Preço de fechamento do dia da YOVI nos últimos cinco meses

Apesar da instabilidade desse par de tendências, elas parecem mais promissoras em comparação com a ETH, cujo valor caiu constantemente no primeiro ano de sua existência (2015):



Preço de fechamento do dia da ETH em 2015

(Isenção de responsabilidade repetida: o TimescaleDB não oferece suporte a nenhuma dessas moedas criptográficas e não é responsável por seu investimento nelas e por eventuais perdas associadas a elas.)

Acontece que o dinheiro está crescendo ... nas árvores Merkle ?

Neste artigo, tiramos várias conclusões de um conjunto de dados de criptomoedas aberto, demonstrando os pontos fortes do PostgreSQL e do TimescaleDB. No entanto, deve-se lembrar que o mercado de criptomoedas inevitavelmente mudará no próximo mês, na próxima semana ou até amanhã.

No entanto, se você deseja estudar este conjunto de forma independente e conduzir sua análise, as instruções apropriadas para baixar dados e instalar o TimescaleDB estão disponíveis ao seu serviço.

Se você quiser saber mais sobre o TimescaleDB e como ele pode melhorar a eficiência do PostgreSQL para trabalhar com séries temporais, recomendamos que você se familiarize com a publicação técnica .