Bonjour, Habr! Je vous présente la traduction de l'article
"Une explication intuitive du test d'hypothèse et des valeurs P" par Joos Korstanje.
Il y a quelques années, j'ai fait mon premier travail de statistique indépendant pour une entreprise de livraison de fruits et légumes. Vingt-quatre heures par jour, les produits entrants des agriculteurs, avant d'être envoyés dans les supermarchés, sont passés par le service de contrôle qualité. Le choix des produits a été effectué au hasard par les employés de ce département.
Dans le rapport annuel, ils ont remarqué que la qualité cette année est inférieure à la qualité du passé: la différence était d'environ un demi-point sur une échelle de 1 à 10.
Puis ils m'ont invité. J'ai dû répondre à la question:
Ces 0,5 points représentent-ils une différence significative?Si vous ne connaissez pas les statistiques, cette question peut vous sembler étrange. Mais ne vous inquiétez pas: le but de cet article est de vous montrer comment vous pouvez répondre à cette question à l'aide de tests d'hypothèses, également appelés inférences statistiques.
Le jeu des nombres: l'apport d'une pomme
Imaginez que vous vérifiez une pomme pour le bien ou le mal, en utilisant une sélection aléatoire de pommes dans une très grande boîte avec des pommes. Dans l'image ci-dessous, nous voyons l'effet réel de la taille de l'échantillon sur les mesures: l'effet d'une pomme est très significatif pour les petits échantillons et devient de moins en moins significatif, plus la taille de l'échantillon est grande.
La contribution d'une pomme dépend de la taille de l'échantillon.La compréhension de l'effet de la taille de l'échantillon est la première base pour comprendre les tests d'hypothèse. Nous pouvons commencer à affirmer que 0,5 sur 2 pommes sera comme une différence de 1 pomme, très petite. Mais pour 100 pommes, 0,5 sera une différence de 50 pommes: une très grande différence!
Pour les petits échantillons, 0,5 point est une petite différence, mais pour les grands échantillons 0,5, c'est une grande différence.Quelle devrait être la taille de l'échantillon: test d'hypothèse et signification comme réponse
Il existe plusieurs façons de répondre à cette question, mais dans cet article, je vais plonger dans l'inférence statistique ou les tests d'hypothèse.
Le test d'hypothèse est une famille de méthodes statistiques utilisées pour comprendre comment l'échantillonnage des objets observés peut être utilisé pour accepter ou rejeter une hypothèse prédéfinie. Le test d'hypothèse est utilisé pour résoudre de nombreux problèmes, principalement dans la recherche scientifique et comme méthode clé dans le marketing en ligne (test A \ B).
Les mathématiciens ont développé un test d'hypothèse de telle manière qu'il existe une certaine procédure pour trouver la vérité.
Le test d'hypothèse vous permet de tester uniquement des hypothèses, mais pas de les développer.Dans la boîte dans laquelle 100 pommes (appelons cela la population), nous prenons un échantillon de 8 pommes. Cette année, sur 8 pommes, 5 étaient pourries (62%), et dans l'échantillon de l'année dernière, sur 8 pommes, seulement 4 étaient pourries (50%). Nous voulons utiliser un test d'hypothèse pour déterminer si le pourcentage de pommes pourries cette année est supérieur à l'an dernier.
Le test d'hypothèse est une alternative mathématique à la mesure de la population. Grâce à ces calculs, nous pouvons généraliser les mesures d'un petit échantillon à une grande population. Nous faisons donc moins de travail.
Un échantillon sélectionné au hasard a le même pourcentage de pommes pourries que la population générale, à condition que l'échantillon prélevé soit suffisamment grand.
Les mathématiciens ont trouvé un moyen de généraliser la conclusion basée sur l'échantillon à la population générale.
Cette méthode commence par la formulation d'une hypothèse de recherche claire. Malheureusement, les mathématiques ne fonctionnent que si nous avons déjà une idée de ce que nous voulons tester.
L'hypothèse principale de notre exemple:
Le pourcentage de pommes pourries dans la population générale cette année est plus élevé que par le passé.Test d'hypothèse réel
Les mathématiques du test d'hypothèse forment un équilibre entre le résultat des mesures de l'échantillon et le nombre d'observations. Le résultat est une valeur de p.Ces calculs passent par l'utilisation de distributions: pour presque chaque situation imaginaire, une loi mathématique a été dérivée qui décrit le résultat attendu.
Pour les questions oui / non, comme la question de nos pommes pourries (pourries / non pourries), la loi du lancer de pièces s'applique. C'est l'exemple le plus simple d'une loi mathématique: 50% queues, 50% aigle.
Elle peut également être représentée très simplement comme une distribution mathématique standard qui nous renseigne sur la probabilité des observations. Par exemple, 7 aigles ont abandonné 10 lancers de pièces. Ceci est appelé une distribution binomiale et peut être représenté comme suit:
distribution binomiale de 10 flips de pièces.Dans cet article je serai loin des mathématiques dures, mais il est important de savoir que l'on peut utiliser des formules mathématiques pour évaluer si le pourcentage observé est loin du pourcentage attendu.
À la fin de cet article, je vais vous donner une liste des formules de test d'hypothèse couramment utilisées pour divers cas, et ensuite je vais vous expliquer comment les utiliser. Mais d'abord, je vais expliquer l'interprétation des tests d'hypothèses.
Résultat du test d'hypothèse: valeur p
Derrière le test d'hypothèse, il y a un équilibre mathématique entre les valeurs observées et la taille de l'échantillon. À la fin des calculs, chaque option de test d'hypothèse existante produira un score standardisé qui vous permettra de comparer le résultat même lorsque les calculs ne sont pas exactement les mêmes.
La valeur P est un moyen standard de formuler un résultat de test d'hypothèse et de l'utiliser dans tout autre test.
La valeur P est un nombre entre 0 et 1 qui nous indique si la différence est entre nos observations des échantillons et nos hypothèses sont très différentes. La valeur de référence est 0,05.
La différence est statistiquement significative si la valeur p est inférieure à 0,05.
Et la différence n'est pas statistiquement significative si la valeur p est supérieure à 0,05.
Exemple 1:
Nous avons fait 10 lancers de pièces.
Notre hypothèse: on attend 5 queues.
Nos observations: nous avons eu 6 queues.
Le calcul de la valeur de p a donné 0,518, ce qui est supérieur à 0,05.
Notre conclusion: la différence n'est pas statistiquement significative.
Notre interprétation: le résultat est cohérent avec l'hypothèse.
Exemple 2:
Nous avons fait 10 lancers de pièces
Notre hypothèse: on attend 5 queues.
Notre résultat: nous avons eu 10 queues.
Notre valeur de p est de 0,0, ce qui est inférieur à 0,05.
Notre conclusion: la différence est statistiquement significative
Notre interprétation: le résultat n'est pas cohérent avec l'hypothèse.
Exemple 3:
Nous avons vérifié 10 pommes.
Notre hypothèse: on attend 1 pomme pourrie.
Notre résultat: nous avons obtenu 1 pomme pourrie.
Notre valeur p est de 1,0, ce qui est supérieur à 0,05.
Notre conclusion: la différence n'est pas statistiquement significative
Notre interprétation: le résultat est cohérent avec l'hypothèse.
Exemple 4:
Nous avons vérifié 10 pommes.
Notre hypothèse: on attend 1 pomme pourrie.
Notre résultat: nous avons obtenu 5 pommes pourries.
Notre valeur de p est 0,0114, ce qui est inférieur à 0,05.
Notre conclusion: la différence est statistiquement significative
Notre interprétation: le résultat n'est pas cohérent avec l'hypothèse.
Conclusion
Dans cet article, j'ai donné une interprétation intuitive de la structure générale des erreurs statistiques ou des tests d'hypothèses. J'espère que vous comprenez maintenant mieux les tests d'hypothèses et comment ils peuvent vous être utiles.
Je ne suis pas allé en profondeur dans les preuves mathématiques et dans les détails spécifiques. Le tableau ci-dessous fournit une liste des tests d'hypothèse les plus fréquents que je recommande pour une étude plus approfondie.
Une liste d'hypothèses alternatives pour certains tests d'hypothèse.
J'espère que cet article vous sera utile et je vous souhaite bonne chance dans vos recherches futures sur les tests d'hypothèses.