Une sélection d'exemples pratiques de traitement de données

Bonjour lecteur.

Sur les traces de mon premier post d'une sélection d'ensembles de données pour l'apprentissage automatique - je ferai une sélection d'ensembles de données relativement récents avec des exemples pratiques de traitement de données. Après tout, ce n'est un secret pour personne qu'apprendre avec de bons exemples est plus efficace et plus rapide. Voyons ce qui nous intéresse sera en mesure de montrer certains des meilleurs exemples de traitement de données.

Le schéma de travail avec le message actuel sera hérité de mon message sur les meilleurs cahiers sur ML et DS , à savoir - enregistré dans les signets → transmis à un collègue.

+ bonus à la fin de l'article - un cours sympa de FPMI MIPT.



Commençons donc.

Une sélection d'ensembles de données avec des exemples pratiques de traitement des données:

Aperçu des taux de suicide 1985 à 2016 - Comparaison des informations socio-économiques avec les taux de suicide par année et par pays.

Exemples de traitement:

• Données sur le suicide - Tableau de bord interactif complet;
• Santé mentale, bonheur, économie, liberté humaine;
• Visualisation des données sur les taux de suicide

Le classement mondial quotidien des chansons de Spotify est un classement quotidien des 200 chansons les plus écoutées dans 53 pays de 2017 et 2018 par les utilisateurs de Spotify.

Exemple de traitement:

• Top Songs sur Spotify: Qu'est-ce qui les rend populaires?;
• Spotify Chart Trend + Seasonal ARIMA;
• Tendances des chansons quotidiennes mondiales de Spotify 17-18.

Crimes in Boston - enregistrements du système de signalement des incidents criminels de Boston, qui comprend des incidents et des informations sur le moment et l'endroit où ils se sont produits.

Exemple de traitement:

• EDA, un criminel de Boston;
• Boston Crime Reports;
• transférer l'apprentissage et ImageDataGenerator.

Applications Google Play Store - catégories, notes, taille de toutes les applications Google Play.

Exemple de traitement:

• Tout ce que vous devez savoir sur le marché Android;
• Comment obtenir une note «élevée» sur Play Store;
• Google Play Store EDA.

Pokémon pour l'exploration de données et l'apprentissage automatique - statistiques et fonctionnalités de Pokemon;

Exemple de traitement:

• Regroupement de données Pokemon;
• Types et statistiques de Pokemon ggplot2 Visualisations;
• Analyse des données Pokemon.

Un million de titres d'actualités - Données provenant des titres d'actualités publiées au cours des 15 dernières années.

Exemple de traitement:

• Qu'est-ce qui fait les gros titres de News?
• Titres aléatoires significatifs par Markov Chain;
• Modélisation de sujets avec LSA et LDA.

Accidents d'avion depuis 1908 - Une histoire complète des accidents d'avion dans le monde, de 1908 à nos jours.

Exemple de traitement:

• Avec qui ne pas voler ...;
• Accidents d'avion [visualisation des données];
• Décès du zodiaque chinois et des aéronefs.

News Headlines Dataset for Sarcasm Detection est un ensemble de données de haute qualité pour la détection de sarcasmes.

Exemple de traitement:

• Détection du sarcasme à l'aide de différentes intégrations;
• Sarcasme avec Keras;
• Guide du débutant pour la PNL avec spaCy

Qualité historique de l'air - Données sur la qualité de l'air recueillies sur des moniteurs extérieurs aux États-Unis.

Exemple de traitement:

• Pollution atmosphérique 101;
• Analysons notre Air que nous prenons!;
• Que nous diront ces données météorologiques?

Valeur nutritive pour le menu McDonald's - Valeur nutritive pour chaque élément de menu dans McDonald's USA.

Exemple de traitement:

• Super Sized We?
• Les calories que nous mangeons ... chez Mcdonald's;
• Menu de Mcdonald

Base de données LEGO - détails / ensembles / couleurs et stocks de chaque ensemble LEGO officiel dans la base de données Rebrickable.

Exemple de traitement:

• LEGO - Jouons;
• Trouver des thèmes de couleurs Lego avec des modèles de sujet;
• Les ensembles LEGO se sont-ils agrandis au fil du temps?

Statistiques du commerce mondial des produits de base - volumes d'importation et d'exportation de 5 000 produits dans la plupart des pays du monde au cours des 30 dernières années.

Exemple de traitement:

• Statistiques globales du commerce mondial;
• Statistiques commerciales;
• Moutons contre chèvres.

Crime en Inde - informations complètes sur divers aspects des crimes commis en Inde depuis 2001.

Exemple de traitement:

• Analyse de la criminalité en Inde;
• Données criminelles EDA;
• Exploratoire - Principaux États et Districts.

Prédiction d'une étoile pulsar - données pulsar recueillies lors d'une étude de l'univers.

Exemples de traitement:

• Prédire l'étoile pulsar dans l'univers;
• Prédire une étoile pulsar;
• Classification Pulsar Star

Emploi, salaires, population par ville en France - données montrant l'égalité et les inégalités en France.

Exemple de traitement:

• Utiliser la régression pour prédire les gains en France;
• Carte et graphique interactifs - inégalité des emplois et des salaires;
• Quelle est la taille de l'industrie française?

Recensement des États-Unis - Recensement des États- Unis.

Exemple de traitement:

• Comment interroger l'ensemble de données du recensement des États-Unis;
• Campings aux États-Unis;
• Campings Fork of United States

Prix ​​du logement en Californie - le prix du logement en Californie.

Exemple de traitement:

• Introduction à l'apprentissage automatique en R (tutoriel);
• Augmentation du gradient et réglage des paramètres dans R;
• Ingénierie et visualisation d'entités géospatiales

Taux de chômage aux États-Unis par comté, 1990-2016 - Données sur le chômage du Département du travail des États-Unis.

Exemple de traitement:

• Les cartes sont belles, le chômage ne l'est pas;
• Analyse de la criminalité mondiale;
• Analyse des séries chronologiques sur le taux de chômage américain.

Historique des avatars de World of Warcraft - Un ensemble d'enregistrements qui détaillent les informations sur les personnages du joueur dans le jeu au fil du temps.

Exemple de traitement:

• Un monde de Warcraft
• Wow Dataset - Analyse exploratoire;
• EDA générale et une carte du réseau du Mouvement

Les données de découverte des ondes gravitationnelles - données sur les événements des ondes gravitationnelles GW150914.

Exemple de traitement:

• Dataload;
• Lire HDF5 de Julia;
• Tracez les données.

Bonus!

Et le bonus d'aujourd'hui est un excellent cours d'apprentissage en profondeur conçu pour les étudiants du secondaire intéressés par la programmation et les mathématiques, ainsi que les étudiants qui souhaitent commencer l'apprentissage en profondeur.

L'objectif du cours est de présenter les principes de base de l'apprentissage profond (réseaux de neurones) dans un format interactif et sur l'exemple des tâches pratiques.

Programme de cours

1. Python: notions de base, Google Colab;
2. Introduction à l'algèbre linéaire. Vecteurs. Matrices et opérations avec eux. Bibliothèque NumPy;
3. Bibliothèques Pandas et MatPlotlib. Les bases de l'apprentissage automatique;
4. Éléments de la théorie de l'optimisation. Dégradé Descente en pente. Modèles linéaires;
5. Introduction à l'apprentissage en profondeur. Perceptron. Un neurone avec un sigmoïde (et d'autres fonctions d'activation). Bases de la POO en Python;
6. Bibliothèque PyTorch. Réseaux de neurones multicouches;
7. Formation des réseaux de neurones en pratique. Cifar10, notMNIST;
8. Réseaux de neurones convolutifs. Couche convolutionnelle. Couche de mise en commun;
9. La pratique de l'entraînement des réseaux de neurones. Classification des panneaux de signalisation;
10. Transfert Dearning. Populaire dans l'architecture de vision par ordinateur;
11. Segmentation d'image. U-Net;
12. Compétition à Kaggle;
13. Détection d'objets YOLOv3;
14. GAN classique. Transfert de style neuronal;
15. Méthodes de traitement de texte de base;
16. Incorporations de mots;
17. Réseaux de neurones récurrents;
18. Cellules LSTM, GRU;
19. Modèles linguistiques;
20. Traduction automatique
21. Text2Speech;
22. SuperResolution.

Vous pouvez également consulter la chaîne Youtube de Deep Learning School. Il y a beaucoup de super vidéos;)

Avec cela, notre courte sélection d'exemples de traitement de données a pris fin. J'espère que vous avez appris quelque chose de nouveau par vous-même. Comme d'habitude sur Habré, j'ai aimé le post - mettez un plus. N'oubliez pas de partager avec vos collègues. Aussi, si vous avez quelque chose que vous pouvez partager vous-même - écrivez dans les commentaires. Plus d'informations sur l'apprentissage automatique et la science des données sur Habré et dans la chaîne de télégramme Neuron (@neurondata).

Toutes les connaissances!