8 bogues bêta intéressants d'iOS 12 et comment nous les avons recherchés

Bonjour à tous!

Je m'appelle Katya et je teste les applications mobiles chez Badoo. Aujourd'hui, je vais vous expliquer pourquoi le test des versions bêta est si important, comment nous effectuons des tests manuels de ces versions et quelles sont les choses intéressantes que nous avons trouvées lors du test bêta d'iOS 12.



Chaque année en septembre, Apple lance une nouvelle version d'iOS, et à chaque WWDC, les représentants de l'entreprise se vantent que les utilisateurs d'iOS installent les mises à jour beaucoup plus rapidement que les utilisateurs d'Android.

La raison en est non seulement que iOS est cool en soi, mais aussi parce qu'Apple sait comment amener les utilisateurs à mettre à jour:

• changer la position du bouton «Me le rappeler plus tard» afin que certains utilisateurs inattentifs cliquent accidentellement sur le bouton de mise à jour;
  
• ne pas autoriser la rétrogradation ;
  
• montrant un marqueur rouge sur l'icône des paramètres;
  
• enfin, mon mouvement préféré est l'affichage quotidien des messages de mise à jour.
  

À propos, il y avait un bug ennuyeux dans la version bêta. Une notification de mise à jour apparaît chaque fois que vous déverrouillez l'écran ou fermez le centre de notification; aucune mise à jour n'était disponible.

C'est pourquoi nos utilisateurs sont mis à jour à la vitesse du son - et nous devons y être préparés.


Comme le montre le graphique, en août de l'année dernière, une version bêta d'iOS 11 n'était installée que chez 1,05% de nos utilisateurs, et fin octobre, ce chiffre atteignait presque 60%.

Etude de cas

En septembre 2017, j'ai mis à niveau mon appareil vers iOS 11 et l'application de messagerie que j'utilise a activement cessé d'envoyer des notifications push. Oui, vous n’imaginiez pas: CAPTED. ENVOYER. POUSSES. Ainsi, afin de savoir si j'ai reçu une lettre ou non, j'ai dû ouvrir l'application et vérifier la boîte de réception. C'était terriblement ennuyeux, alors j'ai écrit sur le problème du support technique, et il a été résolu. Cela a pris trois semaines! Après la publication du correctif, les notifications sont revenues, mais le compteur sur l'icône a disparu. Avec une vague croissante de mécontentement, j'ai également signalé ce bug. Bref, j'ai commencé à utiliser la nouvelle application (j'utilise aussi l'ancienne, mais pas de façon continue).

Les logiciels mobiles changent constamment et nous ne pouvons pas être laissés pour compte. C'est pourquoi lorsque la nouvelle version bêta d'iOS sortira, nous devrons la tester. Presque immédiatement.

À partir de quelle version bêta vaut-il la peine d'être testé?

Cette année, nous avons commencé avec la Bêta 6. "Pourquoi pas avec la première?" - Tu demandes. Le fait est que les versions bêta au début sont très "brutes", et tester activement la version instable est assez inutile. Vous pouvez rencontrer de nombreuses erreurs différentes qu'Apple corrigera bientôt. Nous l'avons vu de nos propres yeux: entre les versions 5 et 9, de nombreux problèmes ont été résolus.

Un exemple. Sur l'écran avec un aperçu des vidéos, nous avons eu des plantages. Ce problème existait dans la Bêta 5 et a disparu grâce aux efforts d'Apple dans la Bêta 6.

À quoi ressemble le processus de test bêta

Étape 0. Installez la version bêta du système d'exploitation sur votre appareil.

Consultez la liste des appareils prenant en charge iOS 12 . L'iPhone le plus ancien et le moins productif est le 5s, le plus récent et le plus productif est le XS Max. Donc, si vous ne l'avez pas déjà fait, mettez à jour votre collection de gadgets. De plus, je vous conseille de vérifier régulièrement la cote des appareils les plus fréquemment utilisés pour votre application.
Une fois l'appareil sélectionné, vous pouvez installer la version bêta. Voici les instructions disponibles.

Étape 1. Commencez avec les nouvelles fonctionnalités du système d'exploitation.

Cliquez ici pour en trouver la liste. Lisez-le attentivement et vérifiez les fonctionnalités qui s'appliquent à votre application. Dans notre cas, il s'agissait de notifications, de disponibilité et d'amélioration des performances.



Étape 2 Régression manuelle.

En principe, la régression manuelle de l'ensemble de l'application n'est pas mon passe-temps préféré, mais en version bêta, c'est même une joie. Gel et crash constants - comme une bouffée d'air frais, comme une immersion dans l'atmosphère d'une startup.

Astuces

• Vérifiez la dernière version disponible.
  
• Gardez une trace de tous les bugs que vous rencontrez et espérez qu'ils seront corrigés par le support technique omnipotent d'Apple. Bien sûr, lorsqu'une nouvelle version bêta sort, vous devrez tous les revérifier.
  
• Il sera utile de réexaminer la liste des problèmes survenus lors de la transition précédente (d'iOS 10 à iOS 11) et de vous assurer que tout fonctionne comme il se doit. Dans le cadre de ce paragraphe, je vous conseille de porter une attention particulière aux paiements (via Sandbox et d'autres fournisseurs, ainsi qu'aux achats et abonnements uniques), aux autorisations d'accès (à la caméra, à l'emplacement, etc.), au fonctionnement de la caméra (prise de photos et vidéos, téléchargement depuis la galerie, aperçu), détermination de l'emplacement (en ligne et hors ligne), correspondance (tous types de messages et synchronisation hors ligne) et fonctionnement du réseau (commutation entre Wi-Fi et Internet mobile).
  
• Avant de publier une nouvelle version d'iOS, Apple publie généralement une nouvelle version de Xcode. Il est logique de supposer que la prise en charge d'iOS 12 avec la dernière version de votre application signifie qu'elle a été compilée à l'aide du dernier Xcode. Cependant, lorsque vous travaillez dans des applications compilées dans différentes versions de Xcode, vous pouvez rencontrer une variété de bogues. Par conséquent, vérifiez soigneusement tout.
  

Étape 3 Tests non fonctionnels.

Habituellement, nous utilisons des outils Xcode pour les tests non fonctionnels. Cependant, si vous avez installé la version bêta d'iOS 12, vous devrez utiliser la version bêta d'Instruments pour surveiller la consommation d'énergie (Energy Log) et surveiller l'état du système (Activity Monitor). Après avoir téléchargé Xcode à partir d'ici , vous pouvez utiliser les Instruments comme d'habitude.

CPU


iOS 12 bêta


iOS 11

Mémoire:


iOS 12 bêta


iOS 11

Batterie:


iOS 12 bêta


iOS 11

Comme notre étude l'a montré, des changements importants dans le processeur, la mémoire et la batterie avec la transition vers iOS 12 Beta dans l'application Badoo ne se sont pas produits.

Étape 4. Assurez-vous que vos tests automatiques réussissent la nouvelle version bêta.
En particulier, installez la version bêta de Xcode sur les agents et mettez à jour Facebook WebDriverAgent. En savoir plus sur cet article dans le prochain article.

Étape 5. Incluez la validation iOS 12 Beta dans votre processus de test.
Je vous conseille d'activer les tests pour iOS 12 Beta immédiatement, dès que la version bêta devient stable. Nous avons inclus ces vérifications dans les tests de fonctionnalités, leur intégration, ainsi que dans les tests de version.

Quels bugs nous avons trouvé dans Badoo et d'autres applications

Voici juste les représentants les plus dignes:

1. Crash au lancement de l'application est un classique du genre. Ainsi s'est écrasé, par exemple, le messager que j'utilise pour communiquer avec mes parents. Ce problème a été résolu par les développeurs d'applications eux-mêmes, donc après la mise à jour, le bogue n'a pas pu être reproduit.
   
2. Autres plantages. En travaillant sur l'article, j'ai rencontré un tel problème: l'application de collecte des avis s'est bloquée lorsque j'essayais de répondre à un commentaire lorsqu'un message concernant une batterie faible s'est affiché. Dans ce cas, la mise à jour de l'application n'a pas aidé.
   
3. L'application Badoo s'est bloquée lors de la tentative d'ouverture de son propre profil dans une application construite avec le SDK 12.0. Cela était dû à une erreur lors de l'utilisation de l'énumération Objective-C, initialisée avec une valeur rawValue non valide. Un crash s'est produit lorsque, pendant l'exécution du programme, il n'y avait pas de valeur correspondante dans l' instruction switch . Ce bug (voir le gif ci-dessous) a été corrigé par nos développeurs (nous en avons toujours besoin d' ailleurs ).
   
   
   
   
   
4. Se bloque lors de la connexion à des applications tierces (par exemple, lors du téléchargement de photos ou lors de la vérification de comptes sur les réseaux sociaux). Nous avons également résolu ce problème par nous-mêmes.
   
5. Le message "La galerie est vide" lorsque vous essayez de télécharger une photo. Ce bug a touché l'application que j'utilise pour envoyer des photos à des amis et à d'autres personnes de la liste de contacts. Je m'attends à ce que ses développeurs résolvent ce problème, mais pour l'instant j'utilise la boîte de dialogue standard "Partager", qui me semble très gênante.
   
6. Ordre de notification incorrect. Ce problème est observé dans l'application dans laquelle je lis des blogs. Toujours en attente d'une solution.
   
7. Duplication du dialogue sur la demande d'accès dans le simulateur. Ce bogue était dans notre application et notre équipe d'automatisation était très mécontente. Après l'avoir corrigé, nous pouvons à nouveau nous fier aux résultats des tests.
   
8. Bugs avec animation et clavier. L'application de navigateur que j'utilise a commencé à clignoter comme un fou, sans accès à Internet. De plus, dans une application bancaire, la mise en page a été rompue lors de l'ouverture d'un message du support technique via une notification push. J'ai hâte de résoudre les deux problèmes des développeurs.
   

Je note que nous avons testé Badoo sur des applications compilées avec:

• l'ancienne version de Xcode 9 sur les derniers iOS Beta (6-12) et GM (iOS 12);
  
• la dernière version bêta de Xcode 10 sur les derniers iOS Beta (6-12) et GM (iOS 12);
  
• nouvelle version bêta de Xcode 10 sur les anciennes versions d'iOS (11).
  

D'autres applications ont été testées par curiosité avec une application compilée à l'aide de l'ancienne version de Xcode 9 sur la dernière version iOS 12 Beta (6-12).

Des résultats étonnants

Le test des versions bêta est incroyablement utile - il aide à protéger les utilisateurs contre des bugs très désagréables. Certains bogues ont été rencontrés dans iOS lui-même et ont déjà été corrigés par Apple, mais la plupart d'entre eux ont été corrigés par nos vaillants développeurs. Et maintenant, après un nouveau test de correctifs, nous pouvons être sûrs que les utilisateurs d'iOS 12 pourront profiter pleinement de l'application Badoo.

De plus, il est très agréable de voir comment les bugs sont corrigés dans d'autres applications. De nombreuses applications que j'utilise comportent toujours des bogues spécifiques à iOS 12, bien que la sortie officielle ait eu lieu en septembre. Ce serait formidable pour les développeurs de se dépêcher avec des correctifs, car après la phase de mise à jour active ce mois-ci, la plupart des utilisateurs seront attaqués.

En général, les gars, testez la bêta - c'est utile à la fois du point de vue de votre croissance personnelle et pour vos utilisateurs.