Nous utilisons les données dans la pratique

Il existe souvent un écart entre l'algorithme d'apprentissage automatique idéal dans le vide et son application sur des données réelles. Il semble prendre un article: il y a un algorithme, il y a convergence pour des données de tel ou tel type - prenez-le et appliquez-le. Mais pour une raison quelconque, il s'avère que vos données ne sont pas suffisantes pour la formation, et elles diffèrent du modèle de l'article, car les vraies ne sont pas synthétiques.

La chose habituelle pour justifier l'algorithme est de faire des hypothèses sur la pureté des données et leur distribution, que vous ne trouverez pas dans la vie réelle. Par exemple, l'auteur d'un article expérimente des photographies de célébrités adultes, et tout est remarquablement reconnaissable et classé avec lui, et dans notre exemple réel, il y a aussi des enfants et des personnages de dessins animés, et tout tombe soudainement en panne. Mais il y a des gens qui peuvent y faire face, à tel point que l'écart entre la théorie et la pratique cesse de paraître imprenable, et cela vaut la peine de montrer comment on trouve immédiatement ceux qui veulent le surmonter.



Nous avons déjà vu de tels cas sur HighLoad ++, mais là, il y avait des rapports séparés, d'ailleurs, proches des tâches d'assurer le travail à des charges élevées. Par conséquent, nous voulons maintenant assembler une conférence distincte pour ceux qui résolvent des problèmes pratiques en utilisant des méthodes d'apprentissage automatique. Et l'approche de sa planification est très simple - nous voulons organiser une conférence sur l'apprentissage automatique et l'analyse des données que nous aimerions nous-mêmes .

Je suis d'accord, cela semble naïf, mais n'est-ce pas «comme pour vous» n'est pas la meilleure motivation? De plus, nous avons une grande expérience dans l'organisation de conférences et il semble que nous ayons une bonne idée de son efficacité. Bien sûr, vous pouvez avoir votre propre opinion, donc je vais vous dire exactement et comment nous prévoyons de discuter à UseData Conf le 16 septembre .

Ontiko et moi tenons des conférences d'ingénierie où les pratiquants jouent du premier violon. Pour toutes les conférences: HighLoad ++ (les trois instances), Moscow Python Conf ++, PHP Russia et bien d'autres, nous trouvons des gens qui font quelque chose d'utile en utilisant des technologies liées au thème de la conférence et sont prêts à le partager.

Au cours des dernières années, j'ai aidé des orateurs à préparer des discours, j'ai donc la compétence pour poser les bonnes questions. De manière à faire remonter à la surface ce qui ne peut être appris que par le locuteur. Pour que le rapport ne contienne pas seulement une recette (nous avons pris des vidéos de caméras la semaine dernière, les avons formées sur un réseau de bout en bout et tout fonctionne), mais tous les points clés qui ont conduit au résultat final. Si vous savez ce que vous avez essayé, ce qui s’est passé, ce qui n’a pas marché, et par conséquent cela s’est avéré résoudre le problème, alors vous pouvez tirer vos propres conclusions et envisager une telle solution ou non.

Il n'y a aucune conférence d'apprentissage automatique qui serait construite sur ce principe en ce moment. Il y a de grandes conférences trop académiques au cours desquelles les praticiens constituent une fraction relativement petite de tous les rapports et sont adjacents aux résultats purement scientifiques et au matériel de formation pour les débutants. En outre, il existe toute une série de conférences sur l'intelligence artificielle. Habituellement, ils ont trop de battage médiatique et trop peu de choses qui fonctionnent vraiment, nous essayons de les contourner.

Il est facile de les distinguer les uns des autres: si cela se fait en Python, alors c'est de l'apprentissage automatique, et si sur PowerPoint c'est de l'intelligence artificielle. Nous sommes intéressés par ce qui existe non seulement dans PowerPoint.

UseData Conf dans les sections

Partant de l'idée que chaque présentation à notre conférence devrait contenir l'expérience de la production réelle, nous avons sélectionné plusieurs blocs de sujets que nous voulons divulguer. Cela ne signifie pas que nous ne serons pas satisfaits et n'accepterons pas les candidatures qui ne rentrent pas dans ces blocs, c'est exactement ce qui est bien transmis des praticiens aux praticiens.

Apprentissage automatique et analyse de données dans les tâches commerciales . Tout ce qui concerne la prévision de la demande, la prévision des achats, les recommandations et le calcul des remises individuelles. Ici, les histoires seront pertinentes, car les méthodes ML aident à mieux développer une entreprise et à augmenter les bénéfices du commerce électronique.

Vision par ordinateur . Si vous avez appris au robot à prendre certaines pièces du convoyeur, à percer des trous et à les remettre en place - c'est exactement ce dont vous devriez parler dans cette section. Après tout, les détails peuvent être différents, ils peuvent être dispersés sur un tapis roulant, il peut ne pas y avoir une seule pièce finie pour la formation, mais seulement un modèle CAO et de nombreux autres facteurs qui distinguent une tâche académique idéale avec un convoyeur stérile de ce qui se passe réellement .

Traitement de textes en langues naturelles . Parlez-nous de l'utilisation de la PNL dans des tâches non standard ou montrez pourquoi les méthodes existantes ne correspondent pas et vous avez dû développer votre propre approche. La traduction automatique et les assistants vocaux sont les premiers candidats à cette section.

Systèmes de prise de décision . Ce n'est pas seulement la tâche de diagnostiquer les maladies, mais aussi tout système dans lequel une personne s'appuie dans ses décisions sur les options proposées par l'algorithme, jusqu'à et y compris la défense antimissile. Si une personne n'est pas nécessaire, par exemple, le système lui-même nomme un chauffeur pour commander dans un taxi (à moins, bien sûr, que la génération de la solution ne se limite pas à l'algorithme gourmand), alors c'est encore mieux.

Cadres et outils d'apprentissage automatique . Pour développer ce sujet, nous aimerions inviter directement les développeurs des frameworks. Nous adoptons cette approche sur HighLoad ++ - pour en savoir plus sur les subtilités des outils des développeurs d'outils - et essayons de l'implémenter sur UseData Conf. Par conséquent, si vous développez simplement CatBoost, XGBoost, TensorFlow, PyTorch, LightGBM, Keras - veuillez nous écrire . Si vous êtes sûr de connaître le cadre populaire que de nombreux scientifiques des données ne connaissent pas et que cela leur faciliterait la vie, nous attendons également une demande de rapport.

Les concours de machine learning sont divisés en deux blocs: la technique de conduite des concours de machine learning, ainsi que la stratégie pour les gagner. Bien que les concours comme Kaggle soient plus un outil de recrutement qu'un outil pour résoudre de vrais problèmes, certains aspects seront utiles pour les praticiens. En fin de compte, avec l'aide de concours, vous pouvez changer de travail avec succès - aussi bien.

Test, surveillance, interprétation, préparation des données . Nous comprenons que les modèles entraînés par machine ont tendance à s'encrasser. Beaucoup de gens connaissent la situation lorsqu'ils se sont entraînés, lancés en production, et littéralement un mois plus tard, l'algorithme produit des résultats indésirables. Vous devez être en mesure de constater à temps que le modèle ne fonctionne pas et de le recycler à temps. En cas de problème, il est important de pouvoir interpréter les résultats et vous devez être en mesure de préparer les données. La totalité de la solution à ces problèmes particuliers et permet l'utilisation du ML au combat.

Appel à communications

Si vous avez reconnu vos tâches professionnelles dans l'un de ces sujets et pensez que votre expérience peut aider quelqu'un, demandez un rapport. Si l'apprentissage automatique fait partie de vos tâches quotidiennes, mais que vous en doutez, il existe un moyen fiable de comprendre si le sujet convient - écrivez au comité du programme, et nous clarifierons les détails et aiderons à rendre le rapport utile.

Néanmoins, il existe une recommandation générale. Si vous avez une tâche si spécifique que seuls les géants de l'industrie résolvent, ou vice versa une petite mais très spécialisée startup, et à première vue, il semble que cette expérience ne sera pas utile à d'autres personnes, ce n'est pas tout à fait vrai. Parce qu'il est rarement possible de prendre et de répéter la décision de quelqu'un de toute façon, si nous parlons de cas complexes, mais pour avoir l'idée d'essayer une approche différente, allez de l'autre côté, c'est possible avec une expérience très différente.

De plus, on peut toujours passer d'un problème particulier à une approche générale . Par exemple, si nous parlons de filtrer le trafic réseau anormal (grâce au téléspectateur de Moscou, Pavel, qui a posé une question lors de la réunion Zoom avec le comité de programme), alors un problème similaire avec un échantillon de formation hétérogène et un petit pourcentage d'anomalies se pose dans différentes zones, et des généralisations peuvent être suggérées.

À notre avis, le plus précieux dans le rapport appliqué est le chemin vers la solution, et non la solution elle-même . Quand ils ont pris les méthodes de la bibliothèque et que tout est prêt, c'est, bien sûr, très cool, mais c'est peu utile. C'est plus intéressant quand ils ont essayé cela, l'autre, a trouvé des limites, s'est heurté à un râteau, a inventé quelque chose, et ils en parlent.

D'un autre côté, si vous résolvez des problèmes que l'industrie associe à l'apprentissage automatique sans apprentissage automatique, vous pouvez montrer comment cela est rentable, et encore mieux, donner une recette lorsque vous pouvez suivre votre exemple - c'est excellent, nous avons besoin d'un tel rapport.

L'appel à communications est ouvert jusqu'au 16 juillet, le 16 août, nous essaierons de formuler l'ensemble du programme, et le 16 septembre, la conférence UseData Conf se tiendra dans Infospace.

Il est simple de soumettre un rapport - vous avez besoin d'un sujet approximatif et de thèses pour 2-3 paragraphes, la demande peut être complétée par un appel au comité de programme, dans lequel les détails ne sont pas divulgués pour publication. Il vaut mieux soumettre plusieurs rapports que pas un seul, alors nous aurons plus de nourriture pour les questions.

Déjà dans le programme

Nous n'attendons pas l'acceptation des rapports pour commencer à sélectionner les rapports dans le programme. Par conséquent, tout d'abord, ne faites pas glisser les candidatures si vous ne souhaitez pas entrer dans une concurrence accrue entre les intervenants après la date limite. Deuxièmement, vous pouvez planifier d'assister à la conférence en tant qu'auditeur.

La première section sur l'utilisation commerciale du BC a déjà adopté deux rapports. Alexander Alekseytsev parlera de l'utilisation de l'apprentissage automatique pour prédire les ventes de la boutique en ligne OZON.RU. Il présentera une approche de l'optimisation des prix à l'aide de modèles de prédiction de la demande, montrera comment appliquer la théorie des probabilités dans le processus de reconstitution d'un entrepôt et décrira le cycle de développement de solutions ML pour la production. La première version a été présentée en HighLoad ++ et a suscité un vif intérêt.

Joom Alexandra Lomakina vous expliquera comment résoudre avec succès le problème de l'optimisation de la publicité télévisée. La tâche est très intéressante en ce sens que c'est un plaisir coûteux qui ne donne presque aucun retour - vous ne comptez pas le CTR. Mais vous pouvez toujours mesurer quelque chose, mais nous découvrirons comment et comment l'utiliser plus tard en septembre.

Dans le domaine de la vision par ordinateur, nous n'avons jusqu'à présent adopté qu'un petit rapport académique de Guido Montufar . Guido prévoit de parler d'une approche de régularisation des modèles qui soit robuste en ce qui concerne les données d'entrée, et nous espérons en tirer plus de pratique.

De plus, nous avons accepté Grigory Sapunov dans le programme avec un rapport sur les derniers développements dans l'architecture des réseaux de neurones. Et c'est le cas rare où un rapport d'examen est approprié, car Gregory le remplira certainement de conseils pratiques basés sur son expérience colossale.

Nous avons également convenu avec Eduard Tyantov d'un rapport sur la gestion de projet d'apprentissage automatique. Surtout pour lui, nous avons commencé la rubrique "Autre", car ce sujet nous semble très nécessaire. Si quelqu'un peut vous dire quelles sont les spécificités des projets avec beaucoup d'apprentissage automatique, comment développer un produit et le diriger en production, comment le vendre aux personnes et aux développeurs, alors c'est probablement Edward avec le backend du lancement artisto et la gestion des groupes antispam et d'apprentissage automatique dans Mail .ru.

Appel à idées

Si vous lisez jusqu'ici, alors, tout d'abord, merci, nous vous attendons à la conférence. Deuxièmement, si quelque chose ne suffisait pas, écrivez dans les commentaires. Dites-nous quels sujets vous intéressent le plus personnellement, dites-moi quel type de rapport vous avez besoin, quelle approche vous ne pouvez tout simplement pas manquer (dans tous les sens, et quoi sauter dans le programme). Quels sont les noms que vous aimeriez entendre lors d'une telle conférence - il est fort probable que nous ayons déjà contacté ce spécialiste, mais sinon, nous le ferons certainement. Il y a les mêmes personnes au Comité du programme - nous avons beaucoup d'expérience, mais nous pourrions encore oublier quelque chose.

UseData Conf est une conférence pour ceux qui résolvent des problèmes pratiques en utilisant des méthodes d'apprentissage automatique. Soumettez vos rapports, inscrivez-vous et rendez-vous le 16 septembre.