Les GPU pour résoudre les problèmes informatiques modernes

L'unité de traitement graphique (GPU) est un excellent exemple de la façon dont la technologie conçue pour les tâches de traitement graphique s'est propagée à un domaine sans rapport avec le calcul haute performance. Les GPU modernes sont au cœur de nombreux projets complexes dans le domaine de l'apprentissage automatique et de l'analyse des données. Dans notre article de revue, nous décrirons comment les clients de Selectel utilisent un équipement avec un GPU et réfléchirons à l'avenir de la science des données et des appareils informatiques avec les enseignants de la Yandex Data Analysis School.

Les GPU ont beaucoup changé au cours des dix dernières années. En plus d'une énorme augmentation de la productivité, il y avait une séparation des appareils par type d'utilisation. Ainsi, les cartes vidéo pour les systèmes de jeu à domicile et les installations de réalité virtuelle se distinguent dans une direction distincte. De puissants appareils hautement spécialisés apparaissent: pour les systèmes de serveurs, l'un des principaux accélérateurs est le NVIDIA Tesla P100 , conçu spécifiquement pour une utilisation industrielle dans les centres de données. En plus du GPU, des recherches sont en cours dans le domaine de la création d'un nouveau type de processeur qui imite le cerveau. Un exemple est la plate-forme monopuce Kirin 970 avec son propre processeur neuromorphique pour les tâches liées aux réseaux de neurones et à la reconnaissance des formes.

Cette situation vous fait réfléchir aux problèmes suivants:

• Pourquoi le domaine de l'analyse des données et de l'apprentissage automatique est-il devenu si populaire?
• Comment les GPU ont-ils dominé le marché des équipements gourmands en données?
• Quelles recherches dans le domaine de l'analyse des données seront les plus prometteuses dans un avenir proche?

Essayons de traiter ces problèmes dans l'ordre, en commençant par les premiers processeurs vidéo simples et en terminant par les appareils modernes hautes performances.

Âge du GPU

Rappelons d'abord ce qu'est un GPU. L'unité de traitement graphique est un processeur graphique largement utilisé dans les systèmes de bureau et de serveur. Une caractéristique distinctive de cet appareil est sa concentration sur le calcul parallèle de masse. Contrairement aux GPU, l'architecture d'un autre CPU (Central Processor Unit) est conçue pour le traitement séquentiel des données. Si le nombre de cœurs dans un processeur standard est mesuré en dizaines, alors dans le GPU, ils sont comptés en milliers, ce qui impose des restrictions sur les types de commandes qui sont exécutées, mais fournit des performances de calcul élevées dans les tâches impliquant le parallélisme.

Premiers pas

Le développement des processeurs vidéo dans les premiers stades était étroitement lié au besoin croissant d'un dispositif informatique distinct pour le traitement des graphiques en deux et trois dimensions. Avant l'apparition des circuits de contrôleur vidéo individuels dans les années 70, la sortie d'image était réalisée grâce à l'utilisation d'une logique discrète, ce qui affectait l'augmentation de la consommation d'énergie et la grande taille des cartes de circuits imprimés. Des microcircuits spécialisés ont permis de distinguer le développement d'appareils conçus pour travailler avec des graphiques dans une direction distincte.

Le prochain événement révolutionnaire a été l'émergence d'une nouvelle classe d'appareils plus complexes et multifonctionnels - les processeurs vidéo. En 1996, 3dfx Interactive a lancé le chipset Voodoo Graphics, qui a rapidement occupé 85% du marché des appareils vidéo spécialisés et est devenu le leader dans le domaine des graphiques 3D de l'époque. Après une série de décisions infructueuses de la direction de la société, parmi lesquelles l’achat du fabricant de cartes vidéo STB, 3dfx a perdu le championnat face à NVIDIA et ATI (plus tard AMD) et a déclaré faillite en 2002.

Informatique GPU générale

En 2006, NVIDIA a annoncé la sortie de la gamme de produits de la série GeForce 8, qui a marqué le début d'une nouvelle classe d'appareils conçus pour l'informatique générale sur GPU (GPGPU). Au cours du développement, NVIDIA est parvenu à la conclusion qu'un plus grand nombre de cœurs fonctionnant à une fréquence inférieure sont plus efficaces pour des charges parallèles qu'un petit nombre de cœurs plus productifs. La nouvelle génération de processeurs vidéo a pris en charge le calcul parallèle non seulement pour le traitement des flux vidéo, mais également pour les problèmes liés à l'apprentissage automatique, à l'algèbre linéaire, aux statistiques et à d'autres tâches scientifiques ou commerciales.

Leader reconnu

Les différences dans le réglage initial des tâches pour le CPU et le GPU ont conduit à des différences significatives dans l'architecture des périphériques - haute fréquence par rapport au multicœur. Pour les GPU, cela a mis à disposition le potentiel informatique, qui est actuellement pleinement réalisé. Les processeurs vidéo avec un nombre impressionnant de cœurs de calcul plus faibles font un excellent travail de calcul parallèle. Le processeur central, historiquement conçu pour travailler avec des tâches séquentielles, reste le meilleur dans son domaine.

Par exemple, nous comparons les valeurs des performances des processeurs centraux et graphiques effectuant une tâche commune dans les réseaux de neurones - la multiplication de matrices d'ordre élevé. Nous sélectionnons les appareils suivants pour les tests:

• CPU Intel Xeon E5-2680 v4 - 28 threads avec HyperThreading, 2,4 GHZ;
• GPU NVIDIA GTX 1080 - 2560 cœurs CUDA, 1607 MHz, 8 Go GDDR5X.

Nous utilisons un exemple de calcul de la multiplication matricielle par CPU et GPU dans un ordinateur portable Jupyter:



Dans le code ci-dessus, nous mesurons le temps qu'il a fallu pour calculer des matrices du même ordre sur un central ou GPU ("Runtime"). Les données peuvent être représentées sous la forme d'un graphique sur lequel l'axe horizontal affiche l'ordre des matrices à multiplier, et l'axe vertical montre le temps d'exécution en secondes:



La ligne du graphique, surlignée en orange, indique le temps nécessaire pour créer des données dans la RAM conventionnelle, les transférer dans la mémoire du GPU et les calculs ultérieurs. La ligne verte indique le temps nécessaire pour calculer les données qui ont déjà été générées dans la mémoire de la carte vidéo (sans les transférer de la RAM). Le bleu affiche le temps de comptage sur le processeur central. Les matrices de l'ordre de moins de 1 000 éléments sont multipliées par le GPU et le CPU presque en même temps. La différence de performances se manifeste bien avec des matrices supérieures à 2000 en 2000, lorsque le temps de calcul sur le CPU passe à 1 seconde et que le GPU reste proche de zéro.

Des tâches plus complexes et pratiques sont résolues plus efficacement sur un appareil doté de processeurs graphiques que sans eux. Étant donné que les problèmes que nos clients résolvent sur les équipements GPU sont très divers, nous avons décidé de découvrir quels sont les cas d'utilisation les plus populaires.

Qui chez Selectel vit bien avec le GPU?

La première option qui vient immédiatement à l'esprit et s'avère être la bonne estimation est l'exploitation minière, mais il est curieux de noter que certains l'utilisent comme moyen auxiliaire pour charger l'équipement au «maximum». Dans le cas de la location d'un serveur dédié avec des cartes vidéo, le temps libre des charges de travail est utilisé pour extraire les crypto-monnaies qui ne nécessitent pas d'installations spécialisées (fermes) pour leur réception.

Devenues déjà un peu classiques, les tâches liées au traitement graphique et au rendu trouvent invariablement leur place sur les serveurs Selectel équipés d'accélérateurs graphiques. L'utilisation d'équipements performants pour de telles tâches vous permet d'obtenir une solution plus efficace que l'organisation de postes de travail dédiés avec des cartes vidéo.

Lors d'une conversation avec nos clients, nous avons également rencontré des représentants de la Yandex Data Analysis School, qui utilise les installations de Selectel pour organiser des environnements éducatifs de test. Nous avons décidé d'en savoir plus sur ce que font les étudiants et les enseignants, quels domaines de l'apprentissage automatique sont maintenant populaires et ce que l'avenir réserve à l'industrie après que de jeunes spécialistes ont rejoint les rangs des principales organisations ou lancé leurs startups.

Science des données

Peut-être que parmi nos lecteurs, il n'y aura pas ceux qui n'entendraient pas l'expression «réseaux de neurones» ou «apprentissage automatique». Après avoir écarté les variations marketing au sujet de ces mots, un résidu sec est obtenu sous la forme d'une science des données émergente et prometteuse.

L'approche moderne de l'utilisation des données comprend plusieurs domaines principaux:

• Big data Le principal problème dans ce domaine est la quantité colossale d'informations qui ne peuvent pas être traitées sur un seul serveur. Du point de vue de la prise en charge de l'infrastructure, il est nécessaire de résoudre les problèmes de création de systèmes de cluster, d'évolutivité, de tolérance aux pannes et de stockage de données distribué;
• Tâches gourmandes en ressources (machine learning, deep learning et autres). Dans ce cas, la question se pose de l'utilisation de l'informatique hautes performances, nécessitant une grande quantité de RAM et de ressources processeur. Dans de telles tâches, les systèmes avec accélérateurs graphiques sont activement utilisés.

La frontière entre les données de direction s'efface progressivement: les principaux outils pour travailler avec les mégadonnées (Hadoop, Spark) implémentent la prise en charge du calcul GPU, et les tâches d'apprentissage automatique couvrent de nouveaux domaines et nécessitent plus de données. Les enseignants et les étudiants de la School of Data Analysis nous aideront à comprendre plus en détail.



Il est difficile de surestimer l'importance d'un travail compétent avec les données et la mise en œuvre appropriée d'outils analytiques avancés. Il ne s’agit même pas de mégadonnées, de leurs «lacs» ou «rivières», mais de l’interaction intellectuelle avec l’information. Ce qui se passe maintenant est une situation unique: nous pouvons collecter une grande variété d'informations et utiliser des outils et des services avancés pour une analyse approfondie. L'entreprise présente de telles technologies non seulement pour obtenir des analyses avancées, mais aussi pour créer un produit unique dans n'importe quelle industrie. C'est le dernier point qui façonne et stimule largement la croissance de l'industrie de l'analyse des données.

Nouvelle direction

Partout, nous sommes entourés d'informations: des journaux des sociétés Internet et des opérations bancaires aux témoignages d'expériences au Grand collisionneur de hadrons. La capacité de travailler avec ces données peut apporter des millions de profits et donner des réponses aux questions fondamentales sur la structure de l'Univers. Par conséquent, l'analyse des données est devenue un domaine de recherche distinct au sein de la communauté commerciale et scientifique.

L'école d'analyse des données prépare les meilleurs spécialistes et scientifiques spécialisés qui deviendront à l'avenir la principale source de développements scientifiques et industriels dans ce domaine. Le développement de l'industrie nous affecte également en tant que fournisseur d'infrastructure - de plus en plus de clients demandent des configurations de serveur pour des tâches d'analyse de données.

Les spécificités des tâches auxquelles nos clients sont confrontés dépendent de l'équipement que nous devons offrir à nos clients et dans quelle direction notre gamme de produits doit être développée. En collaboration avec Stanislav Fedotov et Oleg Ivchenko, nous avons interviewé des étudiants et des enseignants de la School of Data Analysis et découvert quelles technologies ils utilisent pour résoudre des problèmes pratiques.

Technologies d'analyse des données

Au cours de la formation, les étudiants des bases (mathématiques supérieures de base, algorithmes et programmation) atteignent les domaines les plus avancés de l'apprentissage automatique. Nous avons collecté des informations sur ceux qui utilisent des serveurs avec des GPU:

• Apprentissage profond;
• Formation de renforcement;
• Vision par ordinateur;
• Traitement automatique de texte.

Les étudiants utilisent des outils spécialisés dans leurs travaux et études. Certaines bibliothèques sont conçues pour apporter des données au format requis, tandis que d'autres sont conçues pour fonctionner avec un type spécifique d'informations, par exemple du texte ou des images. L'apprentissage en profondeur est l'un des domaines les plus difficiles de l'analyse des données qui utilise largement les réseaux de neurones. Nous avons décidé de savoir quels enseignants et étudiants utilisent les cadres pour travailler avec les réseaux de neurones.



Les outils présentés bénéficient d'un soutien différent de la part des créateurs, mais néanmoins, ils continuent d'être activement utilisés à des fins de formation et de travail. Beaucoup d'entre eux ont besoin d'un équipement productif pour gérer les tâches dans un délai adéquat.

Développement et projets

Comme toute science, la direction de l'analyse des données va changer. L'expérience que les étudiants acquièrent aujourd'hui constituera sans aucun doute la base des développements futurs. Par conséquent, il convient de noter séparément l'orientation pratique élevée du programme - certains étudiants, pendant leurs études ou après, commencent à effectuer un stage chez Yandex et appliquent déjà leurs connaissances sur de vrais services et services (recherche, vision par ordinateur, reconnaissance vocale et autres).

Nous avons discuté de l'avenir de l'analyse des données avec les enseignants de la School of Data Analysis, qui nous ont fait part de leur vision du développement de la science des données.

Selon Vlad Shahuro , professeur du cours «Analyse d'images et de vidéos», les tâches les plus intéressantes en vision par ordinateur sont d'assurer la sécurité dans les endroits surpeuplés, de conduire un véhicule sans pilote et de créer une application utilisant la réalité augmentée. Pour résoudre ces problèmes, il est nécessaire de pouvoir analyser qualitativement les données vidéo et de développer principalement des algorithmes de détection et de suivi d'objets, de reconnaissance d'une personne par le visage et de reconstruction tridimensionnelle de la scène observée. Le conférencier Victor Lempitsky , un cours de formation approfondie de premier plan, distingue les auto-encodeurs, ainsi que les réseaux génératifs et compétitifs, dans sa direction.

L'un des mentors de la School of Data Analysis partage son avis sur la diffusion et le démarrage de l'utilisation massive du machine learning:

«L'apprentissage automatique, du lot des quelques chercheurs obsédés, se transforme en un autre outil pour le développeur moyen. Auparavant (par exemple, en 2012), les gens écrivaient du code de bas niveau pour entraîner les réseaux convolutionnels sur une paire de cartes vidéo. Maintenant, n'importe qui peut en quelques heures:

• télécharger les poids d'un réseau neuronal déjà formé (par exemple, en keras);
• faire avec lui une solution pour votre tâche ( réglage fin, apprentissage zéro );
• l'intégrer dans votre site Web ou application mobile (tensorflow / caffe 2).

De nombreuses grandes entreprises et startups ont déjà gagné sur une telle stratégie (par exemple, Prisma), mais il reste encore des problèmes à découvrir et à résoudre. Et peut-être que toute cette histoire de machine / apprentissage en profondeur deviendra un jour aussi banale que Python ou Excel. »

Selon Oleg Ivchenko , administrateur de l'infrastructure du serveur ShAD, les ressources standard pour l'apprentissage en profondeur sur des ensembles de données standard (par exemple, CIFAR, MNIST) nécessitent les ressources suivantes:

• 6 cœurs de processeur;
• 16 Go de RAM;
• 1 carte GPU avec 6-8 Go ​​de mémoire vidéo. Cela correspond aux cartes graphiques comme le PNY NVIDIA GeForce GTX 1060 ou MSI GeForce GTX 1070.

Personne ne peut prédire avec précision la technologie de l'avenir aujourd'hui, mais lorsqu'il existe un certain vecteur de mouvement, vous pouvez comprendre ce qui doit être étudié maintenant. Et il y a beaucoup d'opportunités pour cela dans le monde moderne.

Opportunités pour les débutants

L'étude de l'analyse des données est limitée par des exigences élevées pour les étudiants: connaissances approfondies dans le domaine des mathématiques et des algorithmes, capacité à programmer. Les tâches d'apprentissage machine vraiment sérieuses nécessitent un équipement spécialisé. Et pour ceux qui veulent en savoir plus sur la composante théorique de la science des données, la School of Data Analysis, en collaboration avec la Higher School of Economics , a lancé un cours en ligne " Introduction to Machine Learning ".

Au lieu d'une conclusion

La croissance du marché des GPU est fournie par l'intérêt croissant pour les capacités de ces appareils. Le GPU est utilisé dans les systèmes de jeu à domicile, les tâches de rendu et de traitement vidéo, ainsi que dans les cas où un calcul général à haute performance est requis. L'application pratique des tâches d'exploration de données va pénétrer plus profondément dans notre vie quotidienne. Et l'exécution de ces programmes est plus efficacement effectuée avec précision à l'aide du GPU.

Nous remercions nos clients, ainsi que les enseignants et étudiants de l'École d'analyse des données pour la préparation conjointe du matériel, et invitons nos lecteurs à mieux les connaître.

Et expérimentés et sophistiqués dans le domaine de l'apprentissage automatique, de l'analyse des données et non seulement nous vous proposons de voir les offres de Selectel pour la location d'équipements de serveurs avec accélérateurs graphiques: du simple GTX 1080 au Tesla P100 et K80 pour les tâches les plus exigeantes.