8 interessante Beta-Bugs für iOS 12 und wie wir sie gesucht haben

Hallo allerseits!

Ich bin Katya und teste mobile Apps bei Badoo. Heute werde ich darüber sprechen, warum das Testen von Beta-Versionen so wichtig ist, wie wir solche Versionen manuell testen und welche interessanten Dinge wir während des iOS 12 Beta-Tests gefunden haben.



Jedes Jahr im September veröffentlicht Apple eine neue Version von iOS. Bei jedem WWDC rühmen sich Unternehmensvertreter, dass iOS-Benutzer Updates viel schneller installieren als Android-Benutzer.

Der Grund dafür ist nicht nur, dass iOS an sich cool ist, sondern auch, dass Apple weiß, wie Benutzer zum Aktualisieren gebracht werden:

• Ändern der Position der Schaltfläche "Später erinnern", sodass einige unaufmerksame Benutzer versehentlich auf die Schaltfläche "Aktualisieren" klicken.
  
• Downgrade nicht zulassen ;
  
• Anzeigen einer roten Markierung auf dem Einstellungssymbol;
  
• Schließlich ist mein Lieblingszug die tägliche Anzeige von Aktualisierungsnachrichten.
  

Übrigens gab es einen nervigen Fehler in der Beta. Jedes Mal, wenn Sie den Bildschirm entsperren oder das Benachrichtigungscenter schließen, wird eine Aktualisierungsbenachrichtigung angezeigt. Es waren keine Updates verfügbar.

Deshalb werden unsere Benutzer mit Schallgeschwindigkeit aktualisiert - und darauf müssen wir vorbereitet sein.


Wie aus der Grafik hervorgeht, wurde im August letzten Jahres eine Beta-Version von iOS 11 nur bei 1,05% unserer Benutzer installiert, und Ende Oktober erreichte diese Zahl fast 60%.

Fallstudie

Im September 2017 habe ich mein Gerät auf iOS 11 aktualisiert und die von mir verwendete E-Mail-Anwendung hat das Senden von Push-Benachrichtigungen aktiv eingestellt. Ja, Sie haben sich nicht vorgestellt: CAPTED. SENDEN. DRÜCKT. Um herauszufinden, ob ich einen Brief erhalten habe oder nicht, musste ich die Anwendung öffnen und den Posteingang überprüfen. Es war furchtbar nervig, also schrieb ich über das Problem im technischen Support und es wurde gelöst. Es hat drei Wochen gedauert! Nachdem das Update veröffentlicht wurde, wurden die Benachrichtigungen zurückgegeben, aber der Zähler auf dem Symbol verschwand. Mit einer wachsenden Welle der Unzufriedenheit habe ich auch diesen Fehler gemeldet. Kurz gesagt, ich habe angefangen, die neue Anwendung zu verwenden (ich verwende auch die alte, aber nicht fortlaufend).

Mobile Software ändert sich ständig und wir können nicht zurückgelassen werden. Deshalb müssen wir die neue Beta-Version von iOS testen, wenn sie herauskommt. Fast sofort.

Ab welcher Beta lohnt es sich zu testen?

Dieses Jahr haben wir mit Beta 6 begonnen. „Warum nicht mit der ersten?“ - Du fragst. Tatsache ist, dass die Beta-Versionen am Anfang sehr "roh" sind und das aktive Testen der instabilen Version ziemlich sinnlos ist. Möglicherweise treten viele verschiedene Fehler auf, die Apple bald beheben wird. Wir haben das mit eigenen Augen gesehen: Zwischen Version 5 und 9 wurden viele Probleme gelöst.

Ein Beispiel. Auf dem Bildschirm mit einer Vorschau der Videos hatten wir Abstürze. Dieses Problem bestand in Beta 5 und verschwand durch Apples Bemühungen in Beta 6.

Wie der Beta-Testprozess aussieht

Schritt 0. Installieren Sie die Beta-Version des Betriebssystems auf Ihrem Gerät.

Überprüfen Sie die Liste der Geräte, die iOS 12 unterstützen . Das älteste und am wenigsten produktive iPhone ist 5s, das neueste und produktivste ist XS Max. Wenn Sie dies noch nicht getan haben, aktualisieren Sie Ihre Gadget-Sammlung. Darüber hinaus empfehle ich Ihnen, regelmäßig die Bewertung der am häufigsten verwendeten Geräte für Ihre Anwendung zu überprüfen.
Nachdem das Gerät ausgewählt wurde, können Sie die Beta installieren. Hier ist die verfügbare Anleitung.

Schritt 1. Beginnen Sie mit den neuen Betriebssystemfunktionen.

Klicken Sie hier, um eine Liste von ihnen zu finden. Lesen Sie es sorgfältig durch und überprüfen Sie die Funktionen, die für Ihre Anwendung gelten. In unserem Fall ging es um Benachrichtigungen, Verfügbarkeit und Leistungsverbesserungen.



Schritt 2 Manuelle Regression.

Im Prinzip ist die manuelle Regression der gesamten Anwendung nicht mein Lieblingsbeschäftigung, aber in der Beta ist es sogar eine Freude. Ständiges Einfrieren und Abstürzen - wie ein Hauch frischer Luft, wie ein Eintauchen in die Atmosphäre eines Startups.

Tipps

• Überprüfen Sie mit der neuesten Release-Version.
  
• Behalten Sie alle aufgetretenen Fehler im Auge und hoffen Sie, dass sie durch den allmächtigen technischen Support von Apple behoben werden. Wenn eine neue Beta herauskommt, müssen Sie sie natürlich alle überprüfen.
  
• Es ist hilfreich, die Liste der Probleme, die während des vorherigen Übergangs (von iOS 10 auf iOS 11) aufgetreten sind, erneut zu überprüfen und sicherzustellen, dass alles ordnungsgemäß funktioniert. Im Rahmen dieses Absatzes empfehle ich Ihnen, besonders auf Zahlungen (über Sandbox und andere Anbieter sowie Einzelkäufe und Abonnements), Zugriffsberechtigungen (auf die Kamera, den Standort usw.), den Kamerabedienungsbetrieb (Foto- und Videoaufnahmen) zu achten. Download aus der Galerie, Vorschau), Standort (online und offline), Korrespondenz (alle Arten von Nachrichten und Offline-Synchronisation) und Netzwerkbetrieb (Umschalten zwischen Wi-Fi und mobilem Internet).
  
• Vor der Veröffentlichung einer neuen Version von iOS veröffentlicht Apple normalerweise eine neue Version von Xcode. Es ist logisch anzunehmen, dass die Unterstützung von iOS 12 mit der neuesten Version Ihrer Anwendung bedeutet, dass diese mit dem neuesten Xcode kompiliert wurde. Wenn Sie jedoch in Anwendungen arbeiten, die in verschiedenen Xcode-Versionen kompiliert wurden, können verschiedene Fehler auftreten. Überprüfen Sie daher alles sorgfältig.
  

Schritt 3 Nichtfunktionale Prüfung.

Normalerweise verwenden wir Xcode-Tools für nicht funktionierende Tests. Wenn Sie jedoch die Beta-Version von iOS 12 installiert haben, müssen Sie die Beta-Version von Instruments verwenden, um den Energieverbrauch (Energieprotokoll) und den Status des Systems (Aktivitätsmonitor) zu überwachen. Nachdem Sie Xcode von hier heruntergeladen haben , können Sie Instruments wie gewohnt verwenden.

CPU


iOS 12 Beta


iOS 11

Speicher:


iOS 12 Beta


iOS 11

Batterie:


iOS 12 Beta


iOS 11

Wie unsere Studie gezeigt hat, sind mit dem Übergang zu iOS 12 Beta in der Badoo-Anwendung keine signifikanten Änderungen an Prozessor, Speicher und Akku aufgetreten.

Schritt 4. Stellen Sie sicher, dass Ihre automatischen Tests die neue Beta bestehen.
Installieren Sie insbesondere die Xcode Beta auf Agenten und aktualisieren Sie Facebook WebDriverAgent. Weitere Informationen zu diesem Artikel finden Sie im nächsten Artikel.

Schritt 5. Nehmen Sie die Beta-Validierung für iOS 12 in Ihren Testprozess auf.
Ich empfehle Ihnen, das Testen für iOS 12 Beta sofort zu aktivieren, sobald die Beta-Version stabil ist. Wir haben solche Überprüfungen in Test-Feature-Brunchs, deren Integration sowie in Release-Tests einbezogen.

Welche Fehler haben wir in Badoo und anderen Anwendungen gefunden

Hier sind nur die würdigsten Vertreter:

1. Crash beim Start der Anwendung ist ein Klassiker des Genres. So stürzte zum Beispiel der Messenger ab, mit dem ich mit meinen Eltern kommuniziere. Dieses Problem wurde von den Anwendungsentwicklern selbst behoben, sodass der Fehler nach dem Update nicht reproduziert werden konnte.
   
2. Andere Abstürze. Bei der Arbeit an dem Artikel ist ein solches Problem aufgetreten: Die Anwendung zum Sammeln von Bewertungen stürzte ab, als versucht wurde, auf einen Kommentar zu antworten, als eine Meldung über einen schwachen Akku auftauchte. In diesem Fall hat das Aktualisieren der Anwendung nicht geholfen.
   
3. Die Badoo-Anwendung stürzte ab, als versucht wurde, ein eigenes Profil in einer mit SDK 12.0 erstellten Anwendung zu öffnen. Dies wurde durch einen Fehler bei der Verwendung von enum Objective-C verursacht, der mit einem ungültigen rawValue Wert initialisiert wurde. Ein Absturz trat auf, wenn während der Programmausführung kein entsprechender Wert in der switch-Anweisung vorhanden war . Dieser Fehler (siehe GIF unten) wurde von unseren Entwicklern behoben (wir brauchen ihn übrigens immer noch ).
   
   
   
   
   
4. Hängt beim Herstellen einer Verbindung zu Anwendungen von Drittanbietern (z. B. beim Hochladen von Fotos oder beim Überprüfen von Konten in sozialen Netzwerken). Wir haben dieses Problem auch selbst gelöst.
   
5. Die Meldung "Galerie ist leer" beim Versuch, ein Foto hochzuladen. Dieser Fehler hat die Anwendung berührt, mit der ich Fotos von der Kontaktliste an Freunde und andere Personen sende. Ich gehe davon aus, dass die Entwickler dieses Problem beheben werden, aber im Moment verwende ich den Standarddialog "Teilen", der mir sehr unpraktisch erscheint.
   
6. Falsche Benachrichtigungsreihenfolge. Dieses Problem tritt in der Anwendung auf, in der ich Blogs lese. Ich warte immer noch auf eine Lösung.
   
7. Vervielfältigung des Dialogs über die Zugriffsanforderung im Simulator. Dieser Fehler war in unserer Anwendung und unser Automatisierungsteam war sehr unglücklich. Nachdem wir es korrigiert haben, können wir uns wieder auf die Testergebnisse verlassen.
   
8. Fehler mit Animation und Tastatur. Die Navigator-Anwendung, die ich benutze, begann wie verrückt zu blinken, ohne Internetzugang. Darüber hinaus wurde in einer Bankanwendung das Seitenlayout unterbrochen, als eine Nachricht vom technischen Support über eine Push-Benachrichtigung geöffnet wurde. Ich erwarte von den Entwicklern, beide Probleme zu beheben.
   

Ich stelle fest, dass wir Badoo an Anwendungen getestet haben, die kompiliert wurden mit:

• die alte Version von Xcode 9 auf der neuesten iOS Beta (6-12) und GM (iOS 12);
  
• die neueste Beta-Version von Xcode 10 auf der neuesten iOS Beta (6-12) und GM (iOS 12);
  
• frische Beta-Version von Xcode 10 auf älteren Versionen von iOS (11).
  

Andere Anwendungen wurden aus Neugier mit einer Anwendung getestet, die mit der alten Version von Xcode 9 auf der neuesten iOS 12 Beta (6-12) kompiliert wurde.

Erstaunliche Ergebnisse

Das Testen von Beta-Versionen ist unglaublich nützlich - es schützt Benutzer vor sehr unangenehmen Fehlern. Einige Fehler sind in iOS selbst aufgetreten und wurden bereits von Apple behoben, aber die meisten wurden von unseren tapferen Entwicklern behoben. Und jetzt, nach einem erneuten Test der Korrekturen, können wir sicher sein, dass Benutzer von iOS 12 die Badoo-App in vollem Umfang genießen können.

Außerdem ist es sehr schön zu sehen, wie Fehler in anderen Anwendungen behoben werden. Viele der von mir verwendeten Anwendungen weisen immer noch iOS 12-spezifische Fehler auf, obwohl die offizielle Veröffentlichung im September erfolgte. Für Entwickler wäre es großartig, sich mit Korrekturen zu beeilen, da nach der aktiven Update-Phase in diesem Monat die meisten Benutzer angegriffen werden.

Im Allgemeinen, Leute, testen Sie die Beta - dies ist sowohl vom Standpunkt Ihres persönlichen Wachstums als auch für Ihre Benutzer nützlich.