"Si vous avez un marteau dans les mains, tout ressemble à des clous"

En tant que praticiens des données, les scientifiques sont engagés dans l'analyse des données, leur collecte, leur purification, leur enrichissement, nous construisons et formons des modèles du monde qui nous entoure, sur la base des données, nous trouvons des relations internes et des contradictions entre les données, parfois même là où il n'y en a pas. Bien sûr, une telle immersion ne pouvait qu'affecter notre vision et notre compréhension du monde. La déformation professionnelle est présente dans notre profession de la même manière que dans toute autre, mais qu'est-ce qu'elle nous apporte exactement et comment affecte-t-elle notre vie?

Clause de non-responsabilité

Cet article ne prétend pas être scientifique, n'exprime pas un seul point de vue de la communauté ODS, et est l'opinion personnelle de l'auteur.

Préambule

Si vous êtes intéressé par le fonctionnement de notre cerveau, la façon dont nous percevons le monde qui nous entoure et, en fait, ce que nous faisons ici, bon nombre des choses décrites dans cet article ne seront pas quelque chose de complètement nouveau pour vous. Sous une forme ou une autre, tout cela a déjà été décrit plus d'une fois sous des angles complètement différents. Ma tâche est d'essayer de regarder tout cela du point de vue d'un analyste de données, ainsi que d'établir des parallèles entre les outils et les approches que nous utilisons dans notre travail et la vie réelle en dehors du moniteur.

Présentation

Tout d'abord, imaginez une configuration quelque peu simplifiée:

Autour de nous, il y a un monde autour de nous pour y survivre et fonctionner avec succès, une personne a besoin de comprendre ce qu'elle (le monde) représente, comment interagir avec lui et quels résultats sont obtenus à partir de diverses interactions. En d'autres termes, une personne a besoin d'un modèle du monde qui l'entoure et qui résout correctement ses tâches actuelles . La clé est « tâches en cours ». Lorsque la tâche de la survie était en premier lieu, le modèle du monde s'est construit, tout d'abord, sur la reconnaissance rapide du danger et une réaction adéquate à celui-ci. Autrement dit, ceux qui avaient un pire modèle - ne pouvaient pas le transmettre; ceux avec un meilleur - ont été transmis à leurs descendants. Avec l'amélioration des conditions de vie, l'accent mis dans le modèle a commencé à passer de la survie pure à quelque chose de plus organisé, et plus l'environnement est sûr, plus ce «quelque chose» devient diversifié. Le spectre de «quelque chose» est très large - du Bitcoin et DS au féminisme radical et à la tolérance.

La nature a créé notre cerveau pour résoudre le problème de la survie dans des conditions de ressources limitées - il n'y avait pas assez de nourriture, il n'y avait pas assez d'énergie pour les ordures, donc, pour survivre, il fallait résoudre deux tâches mutuellement exclusives:

• Découvrir le monde, améliorer le modèle, augmenter les chances de survie (une tâche très énergivore)
• Ne mourez pas d'un manque d'énergie

La nature a résolu ce dilemme de manière très élégante, introduisant dans notre cerveau la capacité de mettre en cache les flux de données et les réactions, lorsque l'énergie n'est pratiquement pas gaspillée pour résoudre les problèmes fondamentaux (dans le cadre du modèle actuel) d'interaction avec le monde extérieur.

Vous pouvez en savoir plus sur une telle méthode de mise en cache et la «théorie des ressources de l'attention» dans les excellents travaux de D. Kahneman « Penser lentement, décider rapidement » [1] et « Attention et effort » [3]

Selon D. Kahneman:

Les psychologues distinguent deux modes de pensée, que nous appellerons Système 1 et Système 2.

Le système 1 fonctionne automatiquement et très rapidement, sans nécessiter ou presque aucun effort et sans donner un sentiment de contrôle intentionnel

Le système 2 donne l'attention nécessaire à l'effort mental conscient, y compris pour les calculs complexes. Les actions du Système 2 sont souvent associées à un sens subjectif de l'activité, du choix et de la concentration.

Des schémas de comportement, des réactions et des réponses sont programmés dans nos cerveaux (forment et changent le modèle du monde) depuis l'enfance jusqu'à la mort. Deux facteurs dépendent du stade auquel se situe la formation du modèle - la vitesse à laquelle les changements sont acceptés et la quantité d'énergie nécessaire pour changer. Dans l'enfance, lorsque le modèle est flexible et flexible, la vitesse est élevée et les coûts énergétiques sont minimes. Plus le modèle est dense, plus il faut d'énergie pour le changer. Plus encore, l' énergie est également nécessaire pour qu'une personne veuille simplement changer quelque chose dans le modèle . Et tout gaspillage d'énergie est contrôlé par le cerveau, et il est tellement réticent à ce qu'il soit dépensé.

La commande de changer le modèle sera rejetée par le cerveau (encore, c'est énergivore, mais pourquoi?, Car tout va bien pour nous) jusqu'à ce que fonctionner dans le cadre de l'ancien modèle menace la survie. Eh bien, ou jusqu'à ce que l'énergie soit reçue par une explosion spontanée (choc de quelque chose, coup psychologique, etc.)

TL / DR:

• Pour survivre, une personne construit dans sa tête un modèle du monde qui l'entoure, résolvant ses tâches actuelles
• Lors de la résolution de tout problème, le cerveau essaie de minimiser la consommation d'énergie.
• L'opération la moins énergivore dans le cadre du Système-1 (Kahneman), défaut de prise de décision sur le changement
• Le plus énergivore fonctionne dans le cadre du Système-2, prenant des décisions sur le changement du modèle et le changement du modèle lui-même

Métamodèle (modèle modèle)

Ainsi, afin d'interagir avec le monde extérieur, une personne construit un modèle du monde dans son cerveau et agit en accord avec lui aussi longtemps que possible (rappelez-vous encore une fois de minimiser les coûts énergétiques). Mais une personne, malheureusement ou heureusement, est un animal social - nous ne pouvons pas interagir avec d'autres personnes et, souvent, une telle interaction nous confond.

Afin d'interagir efficacement avec d'autres personnes, nous construisons dans notre tête un modèle comportemental de ces personnes , c'est-à-dire un modèle de la façon dont elles se comporteront dans certaines circonstances en présence de certaines données. Autrement dit, nous construisons un modèle du modèle du monde environnant de cette personne en particulier.

Arrêtez-vous et pensez - le modèle du monde dans la tête d'une personne est imparfait et ne répond qu'à ses propres critères de suffisance et d'adéquation , et nous construisons un modèle de ce modèle (étrange) et interagissons avec cette personne selon notre modèle. Oui, et nous voulons aussi que les gens fassent ce que nous dit notre «modèle de son modèle» . Optimiste? Oui, plus que ....

Pour construire et former un modèle adéquat, ce n'est pas à moi de vous le dire, vous avez besoin de beaucoup de temps, d'énergie et de données. Et nous n'avons souvent ni l'un ni l'autre, et plus le modèle a de degrés de liberté (paramètres), plus il faut de données - la malédiction de la dimension, vous vous souvenez?

Et la vie s'envole, et le temps est court, donc (System-1 fonctionne), rencontrer une personne, et même communiquer avec lui dans certaines conditions, nous sélectionnons l'un de nos modèles de modèles précompilés que nous avons déjà dans à la tête ("garce", "enfant normal", "molehill", "juste" Non; ak ", etc.), peut-être un peu de fintunia pour un cas spécifique.

Oui, bien sûr, il y a des exceptions, il y a des gens pour qui nous ne sommes désolés ni pour le temps ni pour l'énergie, et que nous connaissons toute notre vie. Mais dans ce cas, nous ne connaissons que la personne qui est dans notre modèle de cette personne.

Qu'est-ce qui suit d'ici? Quelques choses évidentes:

Eh bien, premièrement , la date à laquelle le scientifique ne ressent pas de ressentiment envers les autres .

Absolument du mot complètement. Dans son vocabulaire, le terme «ressentiment» est absent. Pourquoi? Tout est simple - au cœur de toute insulte se trouve notre malentendu:

• Comment pouvait-il (elle) ainsi (dire, faire, agir)?
• Ou NON (dites, faites, faites)?

Autrement dit, dans notre modèle de cette personne, il aurait dû agir de cette façon dans des circonstances spécifiques avec un paquet d'informations spécifique, mais il ne l'a pas fait. Ce salaud, hein? Oui, ce n'est pas un salaud, mais notre modèle de cette personne est faux. Nous avons manqué quelque chose, ou nous ne nous sommes pas du tout fanés de circonstances spécifiques, mais nous avons simplement pris un modèle, ou les données d'entrée dans la situation actuelle sont différentes de celles sur lesquelles nous avons formé le modèle.

Que faire dans ce cas? Comme d'habitude - nous examinons ce qui ne va pas dans les données et surentraînons le modèle avec les nouvelles informations.

Deuxièmement , la date du scientifique n'a pas le réflexe « quelqu'un a tort sur Internet ».

Cela fonctionne non seulement sur Internet, mais aussi au travail, dans la société, etc. Si une personne ne comprend pas quelque chose (comme il vous semble), ou comprend, mais pas comme vous le faites, peut-être qu'elle a simplement un modèle complètement différent pour cette partie du monde . Et pour les convaincre, c'est-à-dire lui faire changer de modèle (surtout s'il ne le veut pas) est très difficile et très énergivore. En avez-vous besoin?

Une option complètement différente, quand une personne est prête à changer son modèle, veut l'étendre ou le resserrer, et elle a la force et l'énergie pour cela. Vous pouvez aider - aider, ne peut pas - diriger directement quelqu'un qui le peut. Vous ne pouvez ni aider ni diriger - n'intervenez pas .

La prochaine fois, ne vous agitez pas avec une personne si, à votre avis, elle a «tort» ou «ne comprend pas quelque chose». Dans son modèle du monde, tout est différent. Plus le modèle est grossier et «simple», plus l'énergie requise pour au moins le sortir du point d'équilibre est importante , sans parler de changer quelque chose.

Et troisièmement , la date du scientifique se souvient du principe " Les choses ne sont toujours pas ce qu'elles semblent ."

Comprendre comment ce système fonctionne, il est possible d'imiter, de s'adapter à un modèle de base, familier à la société dans laquelle vous vous trouvez actuellement, et jusqu'à ce que vous en sortiez, tout ira bien. Cela fonctionne dans les deux sens, alors n'oubliez pas - "Un hibou n'est pas ce qu'il semble ."

«La perception d'une corde comme un serpent est tout aussi fausse que la perception d'une corde comme une corde» (C)

Construction de modèles et formation

En tant que scientifiques, nous comprenons bien à quel point il est difficile de construire, de former et de recycler constamment un modèle plus ou moins adéquat. Et par conséquent, la date du scientifique fait référence calmement et patiemment à l'imperfection des modèles dans la tête des autres et améliore constamment la sienne . Et comme il est toujours un professionnel, il se souvient parfaitement des principes de base d'une modélisation réussie:

Ce qui se passe arrive (ordures entrantes - ordures sortantes).

La précision et l'adéquation du modèle dépendent de la pureté des données plus que de toute autre chose. Nous le savons tous, nous passons énormément de temps à nettoyer les données, à prétraiter, à normaliser, etc., et ainsi de suite. Alimentez le modèle de déchets - et le résultat est prévisible. Donnez-lui des données normalisées effacées et des informations dans votre poche. Les modèles dans nos têtes fonctionnent exactement de la même manière. Comprenant cela, nous essayons d'utiliser les données les plus précises et les plus propres pour le traitement et la formation, utilisons constamment un œil critique pour analyser l'adéquation des données et nous nous efforçons d'éviter les informations sales et bruyantes dans notre modèle . En bref - lisez le Habr et ne regardez pas la première chaîne.

La différence entre Train et Test (notre mal de tête)

Le scientifique comprend que l' applicabilité du modèle dépend directement de la similitude des distributions sur lesquelles le modèle a été étudié et pour lesquelles il est appliqué . Les règles de comportement dans une société ne fonctionnent pas dans une autre, les principes de réussite dans un domaine ne s'appliquent pas à une autre, le «modèle typique de comportement» du sexe opposé, construit sur la base des histoires de ma mère, n'est soudain pas tout à fait vrai, eh bien, etc.

Nous tenons toujours compte de la dissemblance possible de l'ensemble de données d'apprentissage sur lequel nous avons formé notre modèle du monde et de l'ensemble de données réel sur lequel nous appliquons notre modèle.

En bref, nous comprenons la cause de cet écart et sommes prêts à consacrer de l'énergie à la pré-formation du modèle pour mieux correspondre au monde réel.

Choix de la fonction objective et de l'apprentissage multidomaine

Presque toutes les tâches peuvent être transférées vers un autre domaine en modifiant la fonction objectif. Le problème n'est pas résolu comme régression? Refaites la cible des classes et résolvez-la comme une tâche de classification. Mieux encore, faites deux têtes par la grille, laissez un résoudre un problème et le second reformulé. Sur le même ensemble de données, deux modèles différents peuvent être formés, affinés sur des choses complètement différentes. N'oubliez pas que la meilleure option, comme dans la vie, est l'apprentissage multidomaine, lorsque votre fonction d'objectif final couvre plusieurs domaines à la fois . Au travail, par exemple, vous pouvez simplement gagner de l'argent, vous pouvez toujours télécharger des compétences professionnelles, vous pouvez toujours améliorer les compétences d'interaction sociale. Comme dans le cas des modèles conventionnels, cette approche permet au final d'enrichir et d'améliorer tous les objectifs multi-domaines, comme si nous les avions téléchargés séparément. Et n'oubliez pas le temps - trois modèles à des fins individuelles nécessitent trois fois plus de temps, mais dans la vraie vie, ce n'est pas tant que ça , et malheureusement, vous ne pourrez pas faire correspondre la formation à une douzaine ou deux TPU-shek.

Formation en blocs (Batch-learning)

La formation de modèles avec des lots s'est avérée depuis longtemps efficace. Si vous ne tenez pas compte des domaines spécifiques qui nécessitent une formation en ligne, il est inutile de mettre à jour les poids uniquement après avoir traversé toute l'ère. Oui, la formation par lots produit du bruit à haute fréquence, mais cela est compensé par un taux de convergence plus élevé avec presque la même précision.

Qu'est-ce que cela nous donne? Comprendre qu'il est inutile d'attendre longtemps avant de modifier légèrement votre modèle du monde en fonction de nouvelles données. Pas besoin d'attendre toute l'ère, eh bien, je ne sais pas, une année à un nouvel emploi, une année de relations avec une nouvelle personne, changez plus souvent - vous obtiendrez un mouvement plus rapide vers votre objectif final , eh bien, l' exploration donnera plus d'opportunités. Il est également inutile de crier que «tout a été perdu» après un seul incident , peut-être que ce n’est qu’une explosion, peut-être que les étoiles se sont développées comme ça, attendre la fin du lot, accumuler les erreurs - puis changer de modèle.

Méthodes de recherche hyperparamétriques (recherche de grille VS recherche aléatoire)

Il existe de nombreux articles ( exemple ) sur le sujet selon lesquels lors de la recherche des meilleurs hyperparamètres, le tri aléatoire est préférable à une recherche dans la grille. Donc dans notre cas, le choix d'une action «aléatoire» est préférable de vraiment faire «pseudo-aléatoirement», et pas strictement en accord avec une grille prédéterminée . Les fans et les adeptes d'approches strictes me piétineront maintenant, mais sérieusement, le hasard règne sur le monde , et l'utilisation d'une telle méthode, curieusement, peut être encore plus rationnelle.

Mieux encore, bien sûr, est d'utiliser l'optimisation bayésienne . Mais ici, je ne comprends pas comment cela peut être appliqué à la vie réelle. Pas l'approche bayésienne pour comprendre l'information, mais l'optimisation bayésienne lors du choix des hyperparamètres.

Ensembles

Nous connaissons tous la puissance des ensembles, dans lesquels chaque modèle examine les données à sa manière, en tirant un signal, et le meilleur résultat est obtenu en utilisant un métamodèle au-dessus des modèles de premier niveau. Dans la vie, tout est exactement le même, vous pouvez construire votre propre modèle du monde non seulement sur la base de votre propre expérience, mais aussi en absorbant le meilleur (ou vice versa, en comprenant et en coupant le pire) des modèles du monde d'autres personnes. Ces modèles sont décrits dans des livres, des films, et juste en observant le comportement des autres, vous pouvez comprendre quel type de modèle ils ont, prendre le meilleur et construire en vous-même.

Rappel: «Beaucoup de choses nous sont incompréhensibles, non pas parce que nos concepts sont faibles, mais parce que ces choses ne sont pas incluses dans le cercle de nos concepts.» Kozma Petrovich a compris le problème des modèles limités, même sans être un scientifique pratiquant la datte. :)

Différentes personnes, différents environnements, différentes données - différents modèles, même pour des choses apparemment évidentes. Si vous avez travaillé dans de grandes entreprises, vous vous souvenez probablement de toutes ces formations sans fin sur le comportement, les règles de communication, le harcèlement et plus encore. Qu'est-ce que tu as pensé. Mais non, pas des ordures. Dans les grandes entreprises internationales (en raison des différences de culture, de mentalité et de valeurs), il est simplement nécessaire d'introduire une couche de principes de base dans le modèle de chaque employé pour assurer une interaction et un travail normaux.

TL / DR

• Qu'est-ce qui vous arrive dans ce monde, seuls vous et votre modèle du monde êtes à blâmer
• Les modèles mondiaux d'autres personnes n'ont pas à être en corrélation avec les vôtres
• Vos méta-modèles de modèles du monde d'autres personnes ne correspondent probablement pas à la réalité
• Il est difficile de créer dans votre tête un modèle ouvert du monde, prêt à changer selon le principe bayésien. Il est encore plus difficile de le maintenir dans cet état ouvert tout au long de la vie. Il est très difficile de rester une personne

Ce qui reste dans les coulisses

Théorème de la limite centrale

Comme le dit la CCT, la somme des événements aléatoires échantillonnés à partir de tout type de distributions faiblement dépendantes est elle-même une variable aléatoire et normalement distribuée dans la limite.

Toute notre vie se compose d'événements aléatoires : le temps d'attente pour un ascenseur ou un bus à un arrêt, vous avez manqué un coin ou non, etc. Vous pouvez conditionnellement évaluer la journée comme réussie ou non (une autre variable aléatoire), selon l'endroit dans la distribution finale que nous avons obtenu - au centre ou à la queue. Dans un échantillon suffisamment grand (par exemple, un an), on peut voir que cette variable aléatoire de la nôtre est distribuée normalement, centrée sur « bien, plus ou moins tout va bien »

La date à laquelle le scientifique comprend tout ce qui précède et n'est pas cuite à la vapeur si elle tombe dans le soi-disant Une «ligne noire» quand tout va mal - et le bus est parti sous le nez, et a versé du café, et n'a pas enregistré le code, etc. Il comprend qu'aujourd'hui nous avons la queue de la distribution, nous avons juste besoin de survivre à ce jour , et demain, peut-être, le monde nous échantillonnera les événements d'une manière légèrement différente.

Soit dit en passant, la transition vers un nouveau point de référence des événements (un nouvel ensemble d'échantillons) est un rêve . Pas un jour calendaire, pas minuit, mais un nouveau jour subjectif après votre réveil. Nos ancêtres l'ont compris intuitivement (même s'ils ne connaissaient pas les xgboost et les keras), c'est à partir d'ici que les dictons «le matin du soir sont plus sages » et « si vous voulez travailler, allez vous coucher, et tout passera ».

— “ ” ( p-value “”), , - ( , ), .

, “ ”. . [1].

, - , . , , , - )

, “ , ”.

(Exploitation vs Exploration)

, , . , , , — “ — ! ”. , , , , - , , , - .

… . - , . ( ), , , - . , “ , ”. , , . . , - , .

“ ” RL( Reinforcement learning ). , , , , , , . , , , , - , , . RL . , ( ) , , , - .

, , , , exploration , .

, , , , - , . , “ — ” “ — ”.

, “” . , , , “ ”, .

, - (, , ..) “”, , , .

- , , -1. , , , , .., .. . , -2. . , , -2 , , .

“ ”

, , , -1 , .

, “ , ” (). . , , - , , , . , , , , , , , .

TL/DR

• ,
• . ,
• (exploration)
• , . , - , 1

Conclusion

, - , , , , , .

Les références

1. . … . — .: , 2013. — 625 .
2. ., ., . : ., : , 2005. — 632 . — [ISBN 966-8324-14-5]
3. Kahneman D. Attention et effort / trans. de l'anglais I. S. Utochkina. - M.: Sense, 2006 .-- 288 p.
4. Frith K. , «Le cerveau et l'âme: comment l'activité nerveuse façonne notre monde intérieur»