Uma seleção de exemplos de trabalho de processamento de dados

Olá leitor.

Seguindo os passos do meu primeiro post de uma seleção de conjuntos de dados para aprendizado de máquina - farei uma seleção de conjuntos de dados relativamente recentes com exemplos úteis de processamento de dados. Afinal, não é segredo para ninguém que aprender com bons exemplos é mais eficaz e mais rápido. Vamos ver o que é interessante para nós, poderemos mostrar alguns dos melhores exemplos de processamento de dados.

O esquema de trabalho com a publicação atual será herdado da publicação sobre os melhores notebooks no ML e no DS , ou seja, salvos em marcadores → transferidos para um colega.

+ bônus no final do artigo - um curso interessante do FPMI MIPT.



Então, vamos começar.

Uma seleção de conjuntos de dados com exemplos funcionais de processamento de dados:

Visão geral das taxas de suicídio 1985 a 2016 - Comparação de informações socioeconômicas com taxas de suicídio por ano e país.

Exemplos de processamento:

• Dados de suicídio - Painel interativo completo;
• Saúde Mental, Felicidade, Economia, Liberdade Humana;
• Visualização de dados de taxas de suicídio

O Ranking Diário Mundial de Músicas do Spotify é um ranking diário das 200 músicas mais ouvidas em 53 países entre 2017 e 2018 pelos usuários do Spotify.

Exemplo de processamento:

• Melhores músicas no Spotify: O que as torna populares?
• Tendência de gráficos do Spotify + ARIMA sazonal;
• Tendências nas músicas diárias mundiais do Spotify 17-18.

Crimes em Boston - registros do sistema de denúncia de incidentes criminais de Boston, que inclui incidentes e informações sobre quando e onde aconteceu.

Exemplo de processamento:

• EDA para os crimes de Boston;
• Relatórios de crimes de Boston;
• transferir aprendizado e ImageDataGenerator.

Aplicativos da Google Play Store - categorias, classificações, tamanho de todos os aplicativos do Google Play.

Exemplo de processamento:

• Tudo o que você precisa saber sobre o mercado Android;
• Como obter uma classificação "alta" na Play Store;
• EDA da Google Play Store.

Pokémon para mineração de dados e aprendizado de máquina - estatísticas e recursos de Pokemon;

Exemplo de processamento:

• Agrupamento de Dados Pokemon;
• Tipos e estatísticas de Pokémon ggplot2 Visualizações;
• Análise de dados de Pokemon.

Um milhão de notícias - Dados de notícias publicados nos últimos 15 anos.

Exemplo de processamento:

• O que há com as manchetes de notícias;
• Manchetes aleatórias significativas por Markov Chain;
• Modelagem de tópicos com LSA e LDA.

Aviões caem desde 1908 - Uma história completa de acidentes aéreos em todo o mundo, de 1908 até o presente.

Exemplo de processamento:

• Com quem não voar com ...;
• Acidentes de Avião [Visualização de Dados];
• Zodíaco chinês e mortes de aeronaves.

Conjunto de dados de notícias para detecção de sarcasmo é um conjunto de dados de alta qualidade para detecção de sarcasmo.

Exemplo de processamento:

• Detectando o sarcasmo usando diferentes combinações;
• Sarcasmo com Keras;
• Guia para iniciantes em PNL usando spaCy

Qualidade Histórica do Ar - Dados da qualidade do ar coletados em monitores externos nos Estados Unidos.

Exemplo de processamento:

• Poluição do Ar 101;
• Vamos analisar o nosso ar que tomamos!
• O que esses dados climáticos nos dirão?

Informações nutricionais para o menu do McDonald's - Informações nutricionais para cada item do menu no McDonald's EUA.

Exemplo de processamento:

• Super tamanho nós?
• Calorias que comemos ... no Mcdonald's;
• Mcdonald's menu

Banco de dados LEGO - detalhes / conjuntos / cores e estoques de cada conjunto oficial LEGO no banco de dados Rebrickable.

Exemplo de processamento:

• LEGO- Vamos brincar;
• Localizando temas de cores Lego com modelos de tópicos;
• Os conjuntos LEGO estão ficando maiores com o tempo?

Estatísticas Globais do Comércio de Commodities - volumes de importação e exportação de 5.000 produtos na maioria dos países do mundo nos últimos 30 anos.

Exemplo de processamento:

• Estatísticas globais de negociação global;
• Estatísticas de Comércio;
• Ovelhas vs Cabras.

Crime na Índia - informações completas sobre vários aspectos dos crimes cometidos na Índia desde 2001.

Exemplo de processamento:

• Análise de crimes na Índia;
• EDA de dados sobre crimes;
• Exploratório - Principais estados e distritos.

Prevendo uma estrela pulsar - dados pulsares coletados durante uma pesquisa do universo.

Exemplos de processamento:

• Prevendo estrela pulsar no universo;
• Prevendo uma Estrela Pulsar;
• Classificação de Estrela Pulsar

Emprego francês, salários, população por cidade - dados mostrando igualdade e desigualdade na França.

Exemplo de processamento:

• Usando regressão para prever ganhos na França;
• Mapa interativo e gráfico - desigualdade de emprego e salário;
• Qual é o tamanho da indústria francesa?

Censo dos Estados Unidos - Censo dos EUA.

Exemplo de processamento:

• Como consultar o conjunto de dados do censo dos EUA;
• Parques de campismo dos Estados Unidos;
• Forquilha dos parques de campismo dos estados unidos

Preços da Habitação na Califórnia - o preço da habitação na Califórnia.

Exemplo de processamento:

• Introdução ao aprendizado de máquina em R (tutorial);
• Reforço de gradiente e ajuste de parâmetros em R;
• Engenharia e visualização de recursos geoespaciais

Taxa de desemprego dos EUA por município, 1990-2016 - Dados de desemprego do Departamento de Trabalho dos EUA.

Exemplo de processamento:

• Os mapas são lindos, o desemprego não;
• Análise do crime mundial;
• Análise de séries temporais sobre a taxa de desemprego nos EUA.

World of Warcraft Avatar History - Um conjunto de registros que detalham informações sobre os personagens do jogador no jogo ao longo do tempo.

Exemplo de processamento:

• Um mundo de Warcraft
• Wow Dataset - Análise Exploratória;
• EDA geral e um gráfico de rede do Movimento

Dados de descoberta de ondas gravitacionais - dados sobre eventos de ondas gravitacionais GW150914.

Exemplo de processamento:

• Carregamento de dados;
• Leia HDF5 de Julia;
• Plote os dados.

Bônus!

E o bônus hoje será um maravilhoso curso de Aprendizado Profundo para estudantes do ensino médio interessados ​​em programação e matemática, bem como para estudantes que desejam iniciar um aprendizado profundo.

O objetivo do curso é introduzir os princípios básicos da aprendizagem profunda (redes neurais) em um formato interativo e no exemplo de tarefas práticas.

Programa do curso

1. Python: básico, Google Colab;
2. Introdução à álgebra linear. Vetores. Matrizes e operações com elas. Biblioteca NumPy;
3. Bibliotecas Pandas e MatPlotlib. Noções básicas de aprendizado de máquina;
4. Elementos da teoria da otimização. Gradiente Descida de gradiente. Modelos lineares;
5. Introdução à aprendizagem profunda. Perceptron. Um neurônio com um sigmóide (e outras funções de ativação). Noções básicas de POO em Python;
6. Biblioteca PyTorch. Redes neurais multicamadas;
7. Treinar redes neurais na prática. Cifar10, nãoMNIST;
8. Redes neurais convolucionais. Camada convolucional. Camada de pool;
9. A prática de treinar redes neurais. Classificação dos sinais de trânsito;
10. Transferir aprendizado. Popular em arquitetura de visão computacional;
11. Segmentação de imagem. Rede U;
12. Competição no Kaggle;
13. Detecção de Objetos YOLOv3;
14. GAN clássico. Transferência de estilo neural;
15. Métodos básicos de processamento de texto;
16. Incorporação de palavras;
17. Redes neurais recorrentes;
18. Células LSTM, GRU;
19. Modelos de linguagem;
20. Tradução automática
21. Text2Speech;
22. SuperResolução.

Você também pode dar uma olhada no canal do YouTube da Deep Learning School. Existem muitos vídeos ótimos;)

Com isso, nossa pequena seleção de exemplos de processamento de dados chegou ao fim. Espero que você tenha aprendido algo novo para si mesmo. Como é habitual em Habré, gostei do post - coloque um plus. Não se esqueça de compartilhar com os colegas. Além disso, se você tiver algo que possa compartilhar, escreva nos comentários. Mais informações sobre aprendizado de máquina e ciência de dados em Habré e no canal de telegrama Neuron (@neurondata).

Todo conhecimento!