Je continue de familiariser les lecteurs de Habr avec les chapitres de son livre "Theory of Happiness" avec le sous-titre "Mathematical Foundations of the Laws of Meanness". Ce livre de science populaire n'est pas encore publié, racontant de manière très informelle comment les mathématiques vous permettent de regarder le monde et la vie des gens avec un nouveau degré de conscience. C'est pour ceux qui s'intéressent à la science et pour ceux qui s'intéressent à la vie. Et puisque notre vie est complexe et, dans l'ensemble, imprévisible, l'accent dans le livre est principalement sur la théorie des probabilités et les statistiques mathématiques. Ici les théorèmes ne sont pas prouvés et les fondements de la science ne sont pas donnés, ce n'est en aucun cas un manuel, mais ce qu'on appelle la science récréative. Mais c'est précisément une telle approche presque ludique qui nous permet de développer l'intuition, d'égayer les cours pour les étudiants avec des exemples vivants et, enfin, d'expliquer aux non-mathématiciens et à nos enfants ce que nous avons trouvé si intéressant dans notre science sèche.C'est l'un des premiers chapitres dans lesquels, à l'aide de l'exemple d'un cycliste, nous considérons les outils dont nous avons besoin pour mesurer l'injustice: la courbe de Lorenz et l'indice de Gini, ainsi que le fameux Pareto et le redoutable inspecteur.
La loi est la loi
Dans ce livre, nous parlerons de divers problèmes. Familiers, attendus et tellement prévisibles qu'ils ont reçu le statut de lois. Beaucoup d’entre elles ont déjà été formulées: c’est la loi du sandwich qui tombe, et la loi de Murphy: «
Si des problèmes peuvent survenir, cela se produira. » Et les lois Chisholm sur le sujet: «
Quand les choses vont bien, quelque chose devrait arriver dans un avenir très proche. "et l'observation d'Ettore:"
Le prochain virage se déplace toujours plus vite. "La plupart d'entre eux sont assez triviaux, mais selon la loi de Muir,"
Lorsque nous essayons de retirer une chose, il s'avère qu'elle est liée à tout le reste. "Nous allons essayer de trouver un noyau rationnel de ces lois." mais pas pour pour les combattre, mais pour le plaisir. Et puisque nous utiliserons les mathématiques dans ce cas, le plaisir sera particulier et utile, contrairement au résultat lui-même. Eh bien, si notre raisonnement nous mène trop loin, nous pouvons adopter le postulat de la Persigue: «
Le nombre d'hypothèses raisonnables expliquant un phénomène donné est infini. » En fin de compte, Grossman, citant Kh. L. Menkin, a correctement souligné que «
Complexe les problèmes ont toujours des solutions simples, faciles à comprendre et erronées. "
Certains des problèmes qui nous arrivent sont naturels et déterminés, et certains sont stochastiques, de nature probabiliste.
Par exemple, si vous avez baissé votre salaire de 10%, puis présenté des excuses et augmenté de 10%, vous avez finalement perdu parce que
De plus, si le salaire est d'abord augmenté, puis, sans même s'excuser, il est abaissé du même 10%, le résultat sera le même, car peu importe dans quel ordre multiplier les coefficients. C'est très simple, offensant, mais n'a rien à voir avec la chance.
Un autre exemple de problème déterministe est la magie qui se produit dans nos poches avec des écouteurs: nous mettons les écouteurs soigneusement pliés dans notre poche, et après une demi-heure un miracle s'y produit, et nous sortons un paquet sauvage de fils de notre poche. En 2007, un article scientifique sérieux a été publié par deux scientifiques du San Diego ensoleillé et serein,
«Formation spontanée de nœuds sur un fil excité», dans lequel l'obfuscation d'un casque dans une poche est analysée et modélisée en détail. Les auteurs, basés sur la théorie des nœuds, la théorie des probabilités et les expériences physiques, montrent de manière convaincante qu'avec la méthode standard de bobinage, les écouteurs ont vraiment besoin de s'emmêler, de plus, après seulement quelques secondes de secousses. Cependant, nous observons déjà cela, seule la vitesse d'enchevêtrement déduite est ici inattendue. Il est tout à fait possible de gérer cette nuisance de manière mathématique: vous devez changer la façon dont les écouteurs sont pliés - non pas avec des anneaux qui ont tendance à former des nœuds, mais avec une série de boucles dans la direction opposée, comme le montre la figure. Avec cette méthode de pliage, les boucles se détruisent mutuellement et les nœuds ne sont pas formés. Pendant de nombreuses années, j'ai plié les écouteurs de cette manière, me sentant comme un topologue cool, et chaque fois que je me réjouis, comme un truc, quand ils se détendent d'une poignée de main négligente.
Mais même parmi les lois de nature stochastique, tout le monde n'est pas également intéressant. Par exemple, la loi de Buk:
"Vous trouvez toujours les clés dans votre dernière poche." n'a pas de base rationnelle. Un calcul simple montre qu'avec une probabilité égale de trouver les clés de toutes les poches, ces dernières ne sont pas différentes des autres. Est-ce que vous allez vérifier au hasard toutes les poches, en les regardant de toute façon et plusieurs fois. Dans ce cas, la fonction de probabilité pour le numéro de la poche dans laquelle les clés apparaissent sera pour
les poches sont décrites par
distribution géométrique :
et le numéro de poche attendu sera égal
. En un sens, la loi Beech est en cours d'application. Cependant, de cette façon, nous recherchons des clés, à moins que nous n'ayons vraiment besoin d'entrer dans les toilettes, et c'est déjà une loi de méchanceté à part entière.
Nous nous intéresserons aux lois paradoxales et instructives, aux lois qui ressemblent à du mal rock, choisissant parmi une multitude d'options les plus agaçantes et désagréables, contrairement à l'intuition suggérant que ce choix ne devrait pas être le plus probable.
Si long, long, long, si long le long du chemin ...
Je suis un grand fan de cyclisme amateur. Quoi de mieux que de se précipiter le long de la piste tôt le matin, dans le froid, de dévaler une pente facile ... cette sensation en vaut la peine pour surmonter les montées sans fin ou la résistance au vent contraire! Certes, il semble parfois qu'il y ait plus d'ascensions que de descentes, et le vent s'efforce de venir en face, où que vous alliez. Dans les livres sur la merphologie à cet égard,
la loi du cycliste est donnée:
Peu importe où vous allez - c'est en montée et au près.
J'habite au Kamchatka, à Petropavlovsk il y a beaucoup de toboggans, et à cheval dans la ville, ils ne peuvent pas être évités. Cependant, je dois être rassuré par la pensée qu'en partant de chez moi, je rentre à nouveau chez moi, ce qui signifie que la descente totale doit être égale à la montée totale. Une route radiale sera particulièrement honnête. Imaginez une piste de 2 km composée d'une colline symétrique: un kilomètre vers le haut, un kilomètre vers le bas. Je peux monter assez longtemps à une vitesse de 10 km / h, et dans la descente j'essaie de garder une vitesse de 40 km / h (oui, je fais attention et je roule avec un casque). Cela signifie que je passerai quatre fois plus de temps dans la montée que dans la descente, et l'image générale sera la suivante: 4/5 du temps de voyage sera consacré à une ascension douce et seulement 1/5 à une descente agréable. Cela s'avère être une honte - 80% du temps de marche est composé de sections difficiles du chemin! Si je pompe hors de notre ville vallonnée, vers l'océan ou dans la vallée de la rivière Avachi, il n'y aura presque pas de toboggans, mais j'ai toujours un vent de face et un vent fort, ou des sections avec une mauvaise route.
Regardons la loi du cycliste à partir de la théorie des probabilités. Si je prends beaucoup de selfies pendant ma balade à vélo, puis que je commence à les obtenir sans regarder d'un pack mixte, une partie importante des images me montrera une silhouette courbée dans un casque orange, rampant humblement en montée ou contre le vent. La probabilité de voir un cycliste volant et brillant dans une image à partir d'une image publicitaire, hélas, ne sera que d'environ 20%. Et que diront les statistiques? Si nous laissons sortir une grande foule de cyclistes sur une piste vallonnée, attendons un peu et observons leur densité, nous verrons comment la plupart des athlètes se pressent dans les zones difficiles, et la probabilité de trouver un visage souriant serein dans la masse générale ne sera pas si grande!
Le résultat de la simulation de modélisation du mouvement de l'ensemble des cyclistes sur une piste vallonnée. Pour chacun des participants au mouvement, sa puissance est réglée, il détermine sa vitesse maximale, à la fois en montée et en descente (la résistance de l'air est prise en compte). On peut voir combien de temps après le début du mouvement, la majeure partie de l'ensemble est concentrée sur les hauts.Montrons, comme une fois à l'école, sur le graphique la dépendance du mouvement du cycliste dans le temps, lorsqu'il se déplace le long d'une colline triangulaire symétrique. Nous faisons tout simplement de manière adulte, à notre propre échelle de la tâche: nous mesurerons la distance non pas en kilomètres, mais en fractions du parcours général, nous ferons de même avec le temps de parcours. La première moitié du chemin (segment
) le cycliste s'est déplacé lentement et pendant longtemps -
tout le temps, et le second (segment
) a surmonté rapidement - pour
le temps.
Horaire du cycliste en parts du parcours total et du temps.Il existe une manière tout à fait universelle de juger l'injustice de ce monde, adoptée par les économétriciens, démographes, écologistes ou spécialistes du marketing: la
courbe de Lorentz et l'
indice de Gini associé. Pour une distribution connue de quelque chose de précieux, par exemple de l'argent, dans une certaine population, il est possible, après avoir trié les membres de l'ensemble en augmentant le niveau de richesse, d'abord, de construire une courbe cumulative, en normalisant l'axe X à la taille de la population et l'axe Y à son bien-être général. Le résultat est une courbe portant le nom de l'économiste américain Max Otto Lorenz. Lorsque nous avons tracé le mouvement du cycliste, nous avons essentiellement tracé la courbe de Lorenz pour répartir les vitesses le long des tronçons d'un chemin composé de seulement deux colonnes.
Répartition de la vitesse du cycliste le long du chemin parcouru.Bien sûr, tous les horaires de mouvement ne peuvent pas être perçus comme une courbe de Lorentz. Avant de le construire, vous devez trier les périodes de voyage en augmentant la vitesse, puis procéder à la construction. En d'autres termes, vous devez d'abord créer un histogramme des vitesses, puis ajouter séquentiellement les contributions de toutes les colonnes de l'histogramme, en commençant par la contribution des petites valeurs, en terminant par la plus grande. Le résultat devrait être une courbe concave partout qui descend en dessous de la diagonale (
) Cette diagonale est appelée
courbe d'égalité , dans notre cas elle correspond à une vitesse constante (moyenne) sur tout le trajet, ou à un histogramme à une seule colonne (fonction de densité de probabilité en forme de delta). Et au sens économique - l'égalité universelle du bien-être. Plus la courbe de Lorentz s'écarte de la courbe d'égalité, moins la distribution est «juste». Dès que nous étudions les lois de la méchanceté et de l'injustice de notre monde, il est sage d'utiliser à la fois la terminologie et les outils utilisés pour étudier la justice.
L'aire sous la courbe de Lorentz pour toute distribution autre que la distribution de type delta sera inférieure à l'aire sous la courbe d'égalité. Leur différence peut servir de caractéristique formelle d'inégalité ou d '«injustice» de distribution. Cette caractéristique se reflète dans
l'indice de Gini . Elle est calculée comme l'aire doublée de la figure formée par la courbe d'égalité et la courbe de Lorentz. Pour un monde idéal, l'indice de Gini est 0, dans la version la plus cauchemardesque il tend à un. Dans l'exemple que nous avons examiné, il est de 0,35. C'est un assez bon indicateur. Par exemple, la répartition de la richesse parmi la population en Russie a désormais un indice de Gini de 0,39, aux États-Unis - 0,49, en Autriche et en Suède, il ne dépasse pas 0,3, et pour le monde entier en 2017, il était de 0,66. La situation des cyclistes est donc bien sûr insultante et injuste, mais assez tolérante.
Nous avons considéré la distribution des vitesses par distance, et ce qui se passera si on nous donne la distribution des vitesses par le temps (nous divisons le temps de trajet en intervalles et comptons le nombre d'intervalles avec l'une ou l'autre vitesse). En raison de l'absence de dimension du diagramme de Lorentz, nous pouvons à nouveau tracer la courbe correspondante, et même comparer avec le résultat précédent. Par exemple, laissez la moitié du temps de trajet, disons, une heure, un cycliste roule à une vitesse de 10 km / h, et une heure à une vitesse de 40 km / h (peu importe dans quel ordre). Ensuite, 1/5 de l'ensemble du chemin tombera à faible vitesse et 4/5 à grande vitesse. La courbe de Lorentz, dans le cas d'une distribution de vitesse dans le temps, sera un reflet de la courbe de Lorentz pour la distribution de vitesses sur une distance, par rapport à la diagonale, perpendiculaire à la ligne d'égalité. Dans ce cas, l'indice de Gini sera le même, car lorsque la courbe est reflétée, la zone en dessous ne change pas. Ainsi, selon le niveau d'injustice, ces deux conditions différentes se révèlent être les mêmes, bien que le deuxième cas semble être beaucoup plus agréable!
Veuillez noter qu'avec l'aide d'un index formel, nous avons commencé à comparer des choses complètement différentes et incomparables, c'est à la fois tentant et dangereux. Vous devez être conscient que les indices et critères formels sont toujours égaux à quelque chose, que cela ait du sens ou non. Nous comparons la répartition de la richesse entre la population des pays et la répartition du temps consacré à surmonter le chemin en termes de différences par rapport à certaines options qui seraient considérées comme équitables. Tant que nous menons des conversations frivoles et, parfois, hooliganes sur les lois de la méchanceté, c'est peut-être une comparaison justifiée, mais en mathématiques, bien sûr, cela ne peut pas être fait. La courbe de Lorentz, et à partir de celle-ci l'indice de Gini peut être formellement calculé pour l'histogramme de la luminosité des pixels dans l'image ou pour la fréquence des mots dans la parole en direct, cela n'aura aucun rapport avec la justice, et il y aura très peu de sens. Par conséquent, en gardant à l'esprit l'indice de Gini pour tout ce qui est horrible, nous l'appellerons
l'indice de méchanceté afin de ne pas induire le lecteur en erreur par la folie des termes.
La conclusion que le cycliste tire, haletant à un rapport inférieur: «le monde est injuste et la majeure partie de l'énergie prend la partie la plus stupide du travail», souvent appelé
le principe de Pareto ou
le principe «80/20» . C'est de l'empirisme absolu, personne n'a prouvé le principe de Pareto, mais il est si souvent cité qu'il donne déjà l'impression de vérité. Il est utilisé comme excuse et comme instruction, on le retrouve dans diverses manifestations et parfois ça marche, par exemple, le principe de "80/20" correspond à l'indice de moyenne de l'ordre de 0,6 - comme pour la répartition des richesses dans le monde. Comprenant que ce n'est pas l'intrigue du destin, mais les mathématiques les plus simples, avec lesquelles il est insensé de lutter, on peut apprendre à apprécier à la fois les hauts prolongés et les étapes fastidieuses mais inévitables du travail, au moins pour résoudre des problèmes mentaux ou méditer. Les taoïstes s'efforçaient de vivre éternellement et raisonnaient correctement que, en plus de travailler sur le corps, pour atteindre leur objectif, la préparation de l'esprit était nécessaire. En effet, pour la vie éternelle, vous avez besoin non seulement de la capacité de laisser aller l'attachement, mais aussi de la patience, ainsi que de la capacité à profiter de longs étirements.
Le principe de Pareto a une généralisation plus rigoureuse utile à la compréhension. La loi de la méchanceté, du nom du cycliste sans nom, a un titre scientifique officiel: le
paradoxe de l'inspection . Ce phénomène bien connu se retrouve dans diverses études liées aux enquêtes sociologiques, testant la théorie des défaillances (une section de mathématiques appliquées qui traite de la fiabilité des systèmes complexes), déplaçant implicitement mais systématiquement les résultats observés vers des phénomènes plus fréquemment observés.
Donnons un exemple classique, avec une enquête auprès des passagers des transports publics. De nombreux bus circulent sur la ligne par jour, à une heure de pointe relativement courte, les bus débordent et le reste du temps, ils fonctionnent presque à vide. Si nous interrogeons des passagers, alors une partie importante d'entre eux sera dans un bus bondé (il y a simplement plus de monde là-bas), et nous obtiendrons une expression de mécontentement général. Si nous interrogeons les chauffeurs, ils se plaindront du caractère incomplet d'une partie importante des itinéraires et du caractère déraisonnable des autorités qui les conduisent en vain. Un horaire flexible va lisser la situation, mais, en tout cas, la courbe de Lorentz s'écartera de la courbe d'égalité correspondant à l'incroyable situation de toujours le même nombre de passagers dans tous les bus.
Dans les introductions à la théorie des probabilités, on trouve souvent un sac opaque spécial, dans lequel les mathématiciens mettent divers objets, puis les retirent au hasard, tirant parfois des conclusions très réfléchies. La solution au paradoxe est que nous analysons le système de circulation des passagers dans son ensemble et mettons les bus dans le sac, et en conduisant l'enquête, nous en sortons les passagers au hasard (inspectons) et essayons de tirer des conclusions en fonction d'eux. L'image montre quelle est la différence:
Les statistiques des bus indiquent que 75% d'entre elles sont gratuites et inutiles. Dans le même temps, une enquête auprès des passagers constatera que 64% des passagers voyageant ce jour-là étaient dans des véhicules surpeuplés.Regardons cette situation en traçant la courbe de Lorenz, cette fois, la vraie, pour le nombre de passagers dans les bus de la figure précédente. Pour ce faire, vous devez trier les bus par nombre de passagers et résumer séquentiellement la contribution de chacun d'entre eux au flux total de passagers:La courbe de Lorenz illustre bien l'injustice constatée de la situation des bus: la moitié des bus ne transportent qu'un cinquième du flux de passagers.La courbe de Lorentz, dans ce cas, montre comment les quantiles de la distribution du nombre d'éléments dans certains groupes (axe horizontal) sont décalés lors de l'analyse de la distribution des éléments en fonction de l'appartenance au groupe (axe vertical). En fait, c'est le paradoxe de l'inspection: l'image que l'inspecteur observe se révèle déformée, car il n'analyse pas les groupes, mais les éléments des groupes, tandis que la moyenne et la médiane observées sont déplacées vers une «queue plus lourde» de la distribution.En soi, la loi de notre cycliste est très simple, mais elle aggravera les autres lois de la méchanceté de temps en temps, leur ajoutant un ton émotionnel maussade. En pensant aux lois de la méchanceté, j'aime penser à la distorsion de la perception de l'inspecteur du monde en termes de changement des courbes de couleur d'une image. Dans les éditeurs graphiques raster, nous utilisons l'outil Courbes pour modifier les images, en décalant la distribution du nombre de pixels de luminosité. Ici, par exemple, comment la courbe de Lorentz que nous avons obtenue pour les bus change la perception de la réalité. L'image du monde s'assombrit, comme nous nous y attendons.La courbe de Lorentz de l'exemple, utilisée comme filtre «Courbe» dans l'éditeur graphique raster, rend l'image visible du bus du Kamtchatka plus sombre. Se plaindre que les bus sont «toujours en retard» et «toujours pleins de monde», rassurez-vous dans le fait que ce n'est qu'une illusion liée au paradoxe de l'inspection!Le paradoxe de l'inspection peut se manifester dans ses extrêmes: si parmi les groupes d'éléments placés dans notre sac théorique il y a ceux dont les éléments sont non seulement rares mais pas observables du tout, on obtient une erreur systématique du survivant. Ce phénomène est souvent raconté dans divers articles démotivants, pour les hommes d'affaires et les programmeurs débutants, leur assurant que le chemin réussi décrit dans les livres n'est probablement pas pour eux, car, disent-ils, les livres non réussis ne sont pas écrits. Cependant, cela n'a rien à voir avec les lois de la méchanceté, alors laissons ces arguments. Dans l'ensemble, les paradoxes décrits sont des erreurs méthodologiques commises lors de la réception et du traitement des données, il est utile de les connaître, mais, malheureusement, elles conduisent à une opinion répandue sur les statistiques comme une manipulation déloyale des données réelles parmi des personnes très éloignées de ces méthodes.Nous rencontrerons plus d'une fois la loi du cycliste et son influence: faire la queue ou à l'arrêt de bus, observer l'injustice de la répartition des richesses. Et les courbes de Lorentz et l'indice de méchanceté nous permettront de comparer hardiment entre eux des choses scandaleusement différentes. Les mathématiques sont une science exacte, mais personne n'interdit aux mathématiciens de se conduire mal. Dans le sien, bien sûr, en cercle et sans combats.
L'expérience de la publication de chapitres sur Habré s'est avérée très utile: les commentaires des lecteurs m'ont permis de corriger la rédaction, d'élargir l'ensemble d'exemples et mes propres horizons. Je serai heureux de parler dans le livre lui-même de la façon dont notre communauté a aidé à le réviser et de remercier les créateurs et les résidents de Habr d'avoir participé à sa rédaction.