Test des données: exigences et niveaux

Je m'appelle Alexey Chumagin, je suis testeur chez Provectus. Dans cet article, je vais vous expliquer comment les exigences de qualité des données sont formées et quels niveaux de tests de données peuvent être.


Mise à jour:
L'article traite de données volumineuses (ou pas), basées sur l'analyse et l'agrégation, qui sont utilisées pour construire différents processus, les modèles sont dérivés pour une utilisation dans une analyse plus approfondie ou pour la prise de décision. Les données peuvent être collectées pour un projet spécifique à partir de zéro, ou des bases de données collectées plus tôt pour d'autres projets ou à des fins commerciales peuvent être utilisées. Les sources de ces données sont diverses et comprennent non seulement des saisies par les opérateurs, mais aussi des mesures automatisées et / ou automatiques stockées dans la base de données de manière systématique ou non systématique (dans un tas, "alors nous trouverons quoi en faire").

fin de mise à jour.

Pourquoi le test des données est important

Les données jouent un rôle de plus en plus important dans la prise de décision, à la fois dans la vie quotidienne et dans les affaires. Les technologies et algorithmes modernes vous permettent de traiter et de stocker d'énormes quantités de données, en les convertissant en informations utiles.

De quel type de données s'agit-il? Par exemple, l'historique de votre navigateur, les transactions sur votre carte, le point de mouvement d'un appareil. Ils sont impersonnels, mais ces données appartiennent toujours à un appareil spécifique. Si vous les collectez et les traitez, vous pouvez obtenir des informations assez intéressantes sur le propriétaire de cet appareil. Par exemple, où aime-t-il aller, quel est son sexe et son âge. Petit à petit, nous «humanisons» le dispositif et le dotons de certaines caractéristiques.

Ces informations peuvent ensuite être utilisées pour une publicité ciblée. Si vous êtes une femme, alors avec une forte probabilité, vous pouvez dire que vous n'êtes pas intéressé par la publicité des rasoirs pour hommes. Vous devez afficher des annonces liées à vos centres d'intérêt. La qualité du ciblage publicitaire peut être améliorée du fait qu'il est connu des appareils sur lesquels il est diffusé. Vous voyez l'annonce que vous souhaitez voir. Vous cliquerez donc dessus. Les personnes qui vous montreront cette annonce recevront de l'argent pour cela, et le client de l'annonce recevra un profit de ce que vous en apprendrez sur son produit.

Tout cela est basé sur les données détenues par différentes entreprises et personnes. L'utilisation efficace de ces données nécessite qu'elles soient fiables et nous savons que cette transaction appartient à ce compte.

Puisqu'il y a tellement de données, leur stockage nécessite des ressources importantes. Le nettoyage des données est une tâche distincte qui doit être traitée. Nous voulons stocker uniquement les données dont nous avons vraiment besoin. Et nous ne voulons pas que les doublons ou les enregistrements qui ne répondent pas à nos critères soient stockés dans notre base de données. Par exemple, des enregistrements avec des champs vides. Par conséquent, il existe des exigences pour la qualité des données et la question se pose de leurs tests.

Qu'est-ce que la qualité?

J'aime cette définition: la qualité du produit est une mesure de la satisfaction des utilisateurs. Il est clair que tout dépend du contexte d'utilisation du produit. Si vous utilisez un produit bien connu, par exemple Facebook ou Skype, vous avez les mêmes exigences de qualité. Vous tolérerez quelques erreurs, mais continuerez à utiliser ce produit. Et si vous êtes client d'un programme et que vous l'avez payé, les exigences de qualité seront plus élevées. Vous trouverez des défauts, regardez quelques petites choses. Différentes personnes ont des idées différentes sur la qualité et différents programmes ont également leurs propres exigences de qualité.

Par conséquent, avant de développer et de tester, les gens déterminent généralement ce qu'ils considéreront comme un produit de qualité. Tout cela peut être décrit formellement. Par exemple, nous considérerons la qualité de notre produit s'il ne contient pas d'erreurs critiques. Ou s'il travaille pendant deux semaines sans problème.

La définition de ces exigences n'est pas une tâche facile. En règle générale, les exigences commerciales constituent des exigences logicielles, et si nous demandons à l'entreprise quelles devraient être les données, nous pouvons obtenir la réponse selon laquelle les données doivent être bonnes et propres. La tâche du testeur est de découvrir ou de clarifier de quel type de données il s'agit et selon quels critères nous déterminons leur qualité et leur pureté. Ces critères doivent être formalisés et fixés, rendus mesurables.

Comment sont formulées les exigences de qualité des données?

Le testeur commence à découvrir ce qui lui est incompréhensible et ce qu'il aimerait savoir sur l'objet à tester. Le testeur établit une liste de questions et commence à prendre une «interview» du client. Il devrait, en théorie, savoir quelles devraient être les données. Par exemple, je demande: les cellules vides ou les lignes en double sont-elles autorisées.

Un exemple d'exigences est que si nous avons une liste de personnes, le prénom, le nom et le deuxième prénom peuvent être répétés. Mais l'ensemble des lignes ne peut pas être répété. Les répétitions peuvent être autorisées sur une cellule, mais plus sur une ligne entière ou dans l'ensemble de plusieurs cellules. Il ne devrait pas y avoir de correspondance complète.

Ensuite, nous commençons à poser des questions sur le format des données dans une cellule spécifique. Par exemple, le numéro de téléphone doit comporter 12 chiffres et le numéro de carte bancaire doit être 16. Nous pouvons avoir un critère selon lequel toutes les séquences de ces caractères ne sont pas un numéro de carte bancaire. Ou nous comprenons que seules les lettres peuvent être dans un nom de famille. Nous pouvons avoir de nombreuses questions sur le format des données. Ainsi, nous découvrons tout ce que nous devons savoir sur le sujet des tests.

Qu'est-ce que les données de qualité?

Les données qualitatives devraient avoir plusieurs caractéristiques.

• Exhaustivité - il n'y a pas de lacunes dans les enregistrements, toutes les cellules doivent être remplies. Les données doivent contenir autant d'informations que possible.
• Unicité - il ne devrait pas y avoir d'enregistrements identiques parmi les données.
• Fiabilité - pour cela, tout est conçu. Personne ne veut travailler avec des données qui ne sont pas fiables. Les cellules des tableaux contenant des données de haute qualité contiennent ce qu'elles doivent contenir: adresse IP, numéro de téléphone, etc.
• Précision. Si nous parlons de données numériques, il doit y avoir un nombre exact de caractères. Par exemple, 12 décimales. Les données devraient être proches d'une certaine valeur moyenne.
• Cohérence - les données doivent conserver des valeurs, quelle que soit la façon dont elles sont mesurées.
• Actualité - les données doivent être pertinentes, surtout si elles sont périodiquement mises à jour. Par exemple, chaque mois, la quantité de données devrait augmenter. Les données ne doivent pas être obsolètes. Si nous parlons de transactions bancaires, nous souhaitons les avoir, par exemple, au cours des six derniers mois.

Niveaux de test des données

Nous pouvons regrouper les données par couches dites - une bonne analogie avec la pyramide de test fonctionne ici. Il s'agit de la répartition du nombre de tests à différents niveaux de l'application.

• La couche unitaire est lorsqu'un module de programme est testé, le plus souvent c'est une fonction ou une méthode. Ces tests devraient être le plus. Un test unitaire pour les données consiste à définir les exigences pour chaque cellule. Cela n'a aucun sens de tester davantage si nous avons des erreurs au niveau de la cellule. Si, par exemple, le nom de famille contient des chiffres, à quoi sert de vérifier quelque chose de plus? Il devrait peut-être y avoir des lettres similaires à ces chiffres. Et puis nous devons tout corriger et vérifier le niveau suivant afin que nous ayons tout au singulier et qu'il n'y ait pas de doublons, si cela est indiqué dans les exigences.
• Une couche d'intégration est lorsque plusieurs éléments d'un programme sont testés ensemble. La couche API de données est lorsque nous parlons de la table entière. Supposons que nous puissions avoir des doublons, mais pas plus d'une centaine de pièces. Si nous avons plus d'un million de villes, alors un million de personnes ne peuvent pas vivre dans une seule rue. Par conséquent, si nous faisons une sélection le long de la rue, le nombre d'adresses doit être de dix mille ou mille - cela doit être déterminé. Et si nous en avons un million, alors quelque chose ne va pas avec les données.
• La couche système correspond au moment où l'ensemble du programme est entièrement testé. Dans le cas des données, cette couche signifie que l'ensemble du système est testé. Cela inclut les statistiques. Par exemple, nous disons que nous ne pouvons pas avoir plus de 30% d'hommes nés après 1985. Ou nous disons que 80% des données doivent être du même type.

En conclusion, je dirai que le test de données est un domaine qui offre de nombreuses opportunités de créativité et de développement. Il n'y a pas de solution miracle ici: différentes approches peuvent être utilisées pour tester les données. La vérité, comme toujours, se situe quelque part entre les deux.