Una selección de ejemplos de trabajo de procesamiento de datos.

Hola lector

Siguiendo los pasos de mi primera publicación de una selección de conjuntos de datos para el aprendizaje automático, haré una selección de conjuntos de datos relativamente recientes con ejemplos funcionales de procesamiento de datos. Después de todo, para nadie es un secreto que aprender con buenos ejemplos es más efectivo y más rápido. Veamos lo que nos interesa, podremos mostrar algunos de los mejores ejemplos de procesamiento de datos.

El esquema de trabajo con la publicación actual se heredará de mi publicación sobre los mejores cuadernos en ML y DS , a saber, guardado en marcadores → transferido a un colega.

+ bonificación al final del artículo: un curso genial de FPMI MIPT.



Entonces comencemos.

Una selección de conjuntos de datos con ejemplos funcionales de procesamiento de datos:

Resumen de las tasas de suicidio 1985 a 2016 - Comparación de la información socioeconómica con las tasas de suicidio por año y país.

Ejemplos de procesamiento:

• Datos de suicidio: tablero interactivo completo;
• Salud Mental, Felicidad, Economía, Libertad Humana;
• Visualización de datos de tasas de suicidio

Spotify's Worldwide Daily Song Ranking es una clasificación diaria de las 200 canciones más escuchadas en 53 países entre 2017 y 2018 por los usuarios de Spotify.

Ejemplo de procesamiento:

• Las mejores canciones en Spotify: ¿Qué las hace populares?
• Tendencia del gráfico de Spotify + ARIMA estacional;
• Tendencias en las canciones diarias mundiales de Spotify 17-18.

Delitos en Boston : registros del sistema de notificación de incidentes delictivos de Boston, que incluye incidentes e información sobre cuándo y dónde sucedió.

Ejemplo de procesamiento:

• Boston crime starter EDA;
• Boston Crime Reports;
• aprendizaje de transferencia e ImageDataGenerator.

Aplicaciones de Google Play Store : categorías, clasificaciones, tamaño de todas las aplicaciones de Google Play.

Ejemplo de procesamiento:

• Todo lo que necesitas saber sobre el mercado de Android;
• Cómo obtener una calificación "alta" en Play Store;
• Google Play Store EDA.

Pokémon para minería de datos y aprendizaje automático : estadísticas y características de Pokémon;

Ejemplo de procesamiento:

• Agrupación de datos de Pokemon;
• Tipos y estadísticas de Pokémon ggplot2 Visualizaciones;
• Análisis de datos de Pokémon.

Un millón de titulares de noticias : datos de titulares de noticias publicados en los últimos 15 años.

Ejemplo de procesamiento:

• ¿Qué pasa con los titulares de noticias?
• Titulares aleatorios significativos de Markov Chain;
• Modelado de temas con LSA y LDA.

Accidentes aéreos desde 1908 : una historia completa de accidentes aéreos en todo el mundo, desde 1908 hasta el presente.

Ejemplo de procesamiento:

• Con quién no volar ...
• Accidentes aéreos [Visualización de datos];
• Zodiaco chino y muertes de aviones.

News Headlines Dataset For Sarcasm Detection es un conjunto de datos de alta calidad para la detección de sarcasmos.

Ejemplo de procesamiento:

• Detectar el sarcasmo usando diferentes incrustaciones;
• Sarcasmo con Keras;
• Guía para principiantes de PNL usando spaCy

Calidad histórica del aire : datos de calidad del aire recopilados en monitores exteriores en todo Estados Unidos.

Ejemplo de procesamiento:

• Contaminación del aire 101;
• ¡Analicemos nuestro aire que tomamos!
• ¿Qué nos dirán estos datos meteorológicos?

Datos nutricionales para el menú de McDonald's : datos nutricionales para cada elemento del menú en McDonald's EE. UU.

Ejemplo de procesamiento:

• Super Sized We?
• Calorías que comemos ... en Mcdonald's;
• Menú de mcdonald's

Base de datos LEGO : detalles / conjuntos / colores y existencias de cada conjunto LEGO oficial en la base de datos Rebrickable.

Ejemplo de procesamiento:

• LEGO- Juguemos;
• Encontrar temas de colores de Lego con modelos de temas;
• ¿Han ido creciendo los sets de LEGO con el tiempo?

Estadísticas mundiales del comercio de productos básicos : volúmenes de importación y exportación de 5.000 productos en la mayoría de los países del mundo durante los últimos 30 años.

Ejemplo de procesamiento:

• Estadísticas globales de comercio global;
• Estadísticas comerciales;
• Ovejas vs cabras.

Crimen en India : información completa sobre varios aspectos de los crímenes cometidos en India desde 2001.

Ejemplo de procesamiento:

• Análisis del crimen en India;
• Crime Data EDA;
• Exploratorio - Principales estados y distritos.

Predicción de una estrella Pulsar : datos de púlsar recopilados durante una encuesta del universo.

Ejemplos de procesamiento:

• Predicción de la estrella del púlsar en el universo;
• Predicción de una estrella Pulsar;
• Clasificación de la Estrella Pulsar

Empleo francés, salarios, población por ciudad : datos que muestran la igualdad y la desigualdad en Francia.

Ejemplo de procesamiento:

• Uso de la regresión para predecir ganancias en Francia;
• Mapa interactivo y gráfico - desigualdad laboral y salarial;
• ¿Qué tan grande es la industria francesa?

Censo de los Estados Unidos - Censo de los Estados Unidos.

Ejemplo de procesamiento:

• Cómo consultar el conjunto de datos del censo de EE. UU.
• Campamentos de los Estados Unidos;
• Tenedor de campings de estados unidos

Precios de la vivienda en California: el precio de la vivienda en California.

Ejemplo de procesamiento:

• Introducción al aprendizaje automático en R (tutorial);
• Aumento de gradiente y ajuste de parámetros en R;
• Característica geoespacial Ingeniería y visualización

Tasa de desempleo de EE. UU. Por condado, 1990-2016 - Datos de desempleo del Departamento de Trabajo de EE. UU.

Ejemplo de procesamiento:

• Los mapas son hermosos, el desempleo no lo es;
• Análisis del crimen mundial;
• Análisis de series de tiempo sobre la tasa de desempleo de EE. UU.

Historial de avatar de World of Warcraft : un conjunto de registros que detallan información sobre los personajes del jugador en el juego a lo largo del tiempo.

Ejemplo de procesamiento:

• Un mundo de warcraft
• Wow Dataset - Análisis exploratorio;
• EDA general y un gráfico de red de movimiento

Datos de descubrimiento de ondas gravitacionales : datos sobre eventos de ondas gravitacionales GW150914.

Ejemplo de procesamiento:

• Carga de datos;
• Leer HDF5 de Julia;
• Trazar los datos.

Bonus!

Y la bonificación de hoy será un excelente curso de aprendizaje profundo para estudiantes de secundaria interesados ​​en programación y matemáticas, así como para estudiantes que desean comenzar el aprendizaje profundo.

El objetivo del curso es presentar los principios básicos del aprendizaje profundo (redes neuronales) en un formato interactivo y en el ejemplo de tareas prácticas.

Programa del curso

1. Python: conceptos básicos, Google Colab;
2. Introducción al álgebra lineal. Vectores Matrices y operaciones con ellos. Biblioteca NumPy;
3. Pandas y MatPlotlib Libraries. Los fundamentos del aprendizaje automático;
4. Elementos de la teoría de la optimización. Gradiente Descenso de gradiente. Modelos lineales;
5. Introducción al aprendizaje profundo. Perceptrón Una neurona con un sigmoide (y otras funciones de activación). Conceptos básicos de OOP en Python;
6. Biblioteca PyTorch. Redes neuronales multicapa;
7. Entrenamiento de redes neuronales en la práctica. Cifar10, noMNIST;
8. Redes neuronales convolucionales. Capa convolucional. Capa de agrupación;
9. La práctica de entrenar redes neuronales. Clasificación de señales de tráfico;
10. Transferencia Dearning. Popular en Arquitectura de Visión por Computador;
11. Segmentación de imagen. U-Net;
12. Competencia en Kaggle;
13. Detección de objetos YOLOv3;
14. GAN clásico. Transferencia de estilo neural;
15. Métodos básicos de procesamiento de texto;
16. Incrustaciones de palabras;
17. Redes neuronales recurrentes;
18. LSTM, células GRU;
19. Modelos de lenguaje;
20. Traducción automática
21. Text2Speech;
22. Superresolución.

También puedes echar un vistazo al canal de Youtube de Deep Learning School. Hay muchos videos geniales;)

Con esto, nuestra corta selección de ejemplos de procesamiento de datos ha llegado a su fin. Espero que hayas aprendido algo nuevo por ti mismo. Como es habitual en Habré, me gustó la publicación: poner un plus. No te olvides de compartir con colegas. Además, si tiene algo que puede compartir, escriba en los comentarios. Más información sobre aprendizaje automático y ciencia de datos en Habré y en el canal de telegramas Neuron (@neurondata).

Todo el conocimiento!