8 bugs interessantes do iOS 12 beta e como os procuramos

Olá pessoal!

Sou Katya, testando aplicativos móveis no Badoo. Hoje, falarei sobre por que o teste de versões beta é tão importante, como realizamos testes manuais dessas versões e que coisas interessantes encontramos durante o teste beta do iOS 12.



Todo ano em setembro, a Apple lança uma nova versão do iOS e, a cada WWDC, os representantes da empresa se gabam de que os usuários do iOS instalem atualizações muito mais rapidamente que os usuários do Android.

A razão para isso não é apenas o iOS legal, mas também porque a Apple sabe como fazer com que os usuários atualizem:

• alterar a posição do botão "Lembrar-me mais tarde" para que alguns usuários desatentos cliquem acidentalmente no botão de atualização;
  
• não permitindo downgrade ;
  
• mostrando um marcador vermelho no ícone de configurações;
  
• finalmente, minha jogada favorita é a exibição diária de mensagens de atualização.
  

A propósito, houve um bug irritante na versão beta. Uma notificação de atualização aparece toda vez que você desbloqueia a tela ou fecha o centro de notificação; não houve atualizações disponíveis.

É por isso que nossos usuários são atualizados na velocidade do som - e devemos estar preparados para isso.


Como pode ser visto no gráfico, em agosto do ano passado, uma versão beta do iOS 11 foi instalada apenas em 1,05% de nossos usuários, e até o final de outubro esse número atingiu quase 60%.

Estudo de caso

Em setembro de 2017, atualizei meu dispositivo para o iOS 11 e o aplicativo de e-mail que eu uso parou de enviar ativamente notificações por push. Sim, você não imaginou: CAPTADO. ENVIAR. EMPURRÕES. Assim, para descobrir se recebi uma carta ou não, tive que abrir o aplicativo e verificar a caixa de entrada. Foi terrivelmente chato, então eu escrevi sobre o problema no suporte técnico e foi resolvido. Demorou três semanas! Após o lançamento da correção, as notificações retornaram, mas o contador no ícone desapareceu. Com uma crescente onda de descontentamento, também relatei esse bug. Em resumo, comecei a usar o novo aplicativo (também uso o antigo, mas não de maneira contínua).

O software móvel está mudando constantemente e não podemos ficar para trás. É por isso que quando a nova versão beta do iOS é lançada, precisamos testá-la. Quase imediatamente.

Começando com qual beta vale a pena testar?

Este ano, começamos com a Beta 6. "Por que não com a primeira?" - você pergunta. O fato é que as versões beta no início são muito "cruas" e testar ativamente a versão instável é bastante inútil. Você pode encontrar muitos erros diferentes que a Apple corrigirá em breve. Vimos isso com nossos próprios olhos: entre as versões 5 e 9, muitos problemas foram resolvidos.

Um exemplo Na tela com uma prévia dos vídeos, tivemos falhas. Esse problema existia no Beta 5 e desapareceu pelos esforços da Apple no Beta 6.

Como é o processo de teste beta

Etapa 0. Instale a versão beta do sistema operacional no seu dispositivo.

Confira a lista de dispositivos compatíveis com o iOS 12 . O iPhone mais antigo e menos produtivo é o 5s, o mais novo e mais produtivo é o XS Max. Portanto, se você ainda não o fez, atualize sua coleção de gadgets. Além disso, aconselho que você verifique regularmente a classificação dos dispositivos usados ​​com mais frequência para sua aplicação.
Após a seleção do dispositivo, você pode instalar a versão beta. Aqui está a instrução disponível.

Etapa 1. Comece com os novos recursos do sistema operacional.

Clique aqui para encontrar uma lista deles. Leia com atenção e verifique os recursos que se aplicam ao seu aplicativo. No nosso caso, eles tratavam de notificações, tempo de atividade e melhorias de desempenho.



Etapa 2 Regressão manual.

Em princípio, a regressão manual de todo o aplicativo não é meu passatempo favorito, mas na versão beta é até uma alegria. Congela e trava constantemente - como uma lufada de ar fresco, como imersão na atmosfera de uma startup.

Dicas

• Verifique com a versão mais recente.
  
• Acompanhe todos os erros que encontrar e espere que eles sejam corrigidos pelo onipotente suporte técnico da Apple. Obviamente, quando uma nova versão beta for lançada, você precisará verificar novamente todas elas.
  
• Será útil reexaminar a lista de problemas que ocorreram durante a transição anterior (do iOS 10 para o iOS 11) e garantir que tudo funcione como deveria. Como parte deste parágrafo, recomendo que você preste atenção especial ao fazer pagamentos (por meio da Sandbox e de outros fornecedores, bem como compras e assinaturas únicas), permissões de acesso (para a câmera, local etc.), operação da câmera (gravação de fotos e vídeos, download da galeria, visualização), determinação da localização (online e offline), correspondência (todos os tipos de mensagens e sincronização offline) e operação da rede (alternando entre Wi-Fi e Internet móvel).
  
• Antes de lançar uma nova versão do iOS, a Apple geralmente lança uma nova versão do Xcode. É lógico supor que o suporte ao iOS 12 com a versão mais recente do seu aplicativo significa que ele foi compilado usando o Xcode mais recente. No entanto, ao trabalhar em aplicativos compilados em diferentes versões do Xcode, você pode encontrar uma variedade de bugs. Portanto, verifique tudo cuidadosamente.
  

Etapa 3 Teste não funcional.

Normalmente, usamos as ferramentas do Xcode para testes não funcionais. No entanto, se você instalou a versão beta do iOS 12, precisará usar a versão beta do Instruments para monitorar o consumo de energia (registro de energia) e o status do sistema (Monitor de atividade). Depois de baixar o Xcode a partir daqui , você pode usar os Instrumentos como de costume.

CPU


iOS 12 Beta


iOS 11

Memória:


iOS 12 Beta


iOS 11

Bateria:


iOS 12 Beta


iOS 11

Como nosso estudo mostrou, não ocorreram alterações significativas no processador, memória e bateria com a transição para o iOS 12 Beta no aplicativo Badoo.

Etapa 4. Verifique se seus testes automáticos são aprovados na nova versão beta.
Em particular, instale o Xcode beta nos agentes e atualize o Facebook WebDriverAgent. Leia mais sobre este item no próximo artigo.

Etapa 5. Inclua a validação do iOS 12 Beta em seu processo de teste.
Aconselho que você ative o teste para iOS 12 Beta imediatamente, assim que a versão beta se tornar estável. Incluímos essas verificações em brunches de recursos de teste, sua integração e também em testes de versão.

Quais erros encontramos no Badoo e em outros aplicativos

Aqui estão apenas os representantes mais dignos:

1. Bater no lançamento do aplicativo é um clássico do gênero. Então, caiu, por exemplo, o mensageiro que eu uso para me comunicar com meus pais. Esse problema foi corrigido pelos próprios desenvolvedores do aplicativo; portanto, após a atualização, o bug não pôde ser reproduzido.
   
2. Outras falhas. Enquanto trabalhava no artigo, encontrei um problema: o aplicativo para coletar análises falhou ao tentar responder a um comentário quando uma mensagem sobre uma bateria fraca apareceu. Nesse caso, a atualização do aplicativo não ajudou.
   
3. O aplicativo Badoo travou ao tentar abrir seu próprio perfil em um aplicativo criado com o SDK 12.0. Isso foi causado por um erro ao usar a enumeração Objective-C, inicializada com um valor rawValue inválido. Ocorreu uma falha quando, durante a execução do programa, não havia valor correspondente na instrução switch . Este bug (veja o gif abaixo) foi corrigido pelos nossos desenvolvedores (ainda precisamos dele, por sinal ).
   
   
   
   
   
4. Trava ao conectar-se a aplicativos de terceiros (por exemplo, ao fazer upload de fotos ou ao verificar contas em redes sociais). Também resolvemos esse problema por conta própria.
   
5. A mensagem "A galeria está vazia" ao tentar fazer upload de uma foto. Esse bug tocou no aplicativo que eu uso para enviar fotos a amigos e outras pessoas da lista de contatos. Espero que seus desenvolvedores resolvam esse problema, mas por enquanto eu uso a caixa de diálogo "Compartilhar" padrão, o que me parece muito inconveniente.
   
6. Ordem de notificação incorreta. Esse problema é observado no aplicativo em que leio blogs. Ainda esperando por uma correção.
   
7. Duplicação do diálogo sobre a solicitação de acesso no simulador. Esse bug estava em nosso aplicativo e nossa equipe de automação estava muito infeliz. Depois de corrigido, podemos confiar nos resultados do teste novamente.
   
8. Erros com animação e teclado. O aplicativo de navegador que eu uso começou a piscar como um louco, sem acesso à Internet. Além disso, em um aplicativo bancário, o layout da página foi quebrado ao abrir uma mensagem do suporte técnico por meio de uma notificação por push. Estou ansioso para corrigir os dois problemas dos desenvolvedores.
   

Observo que testamos o Badoo em aplicativos compilados com:

• a versão antiga do Xcode 9 nos mais recentes iOS Beta (6-12) e GM (iOS 12);
  
• a versão beta mais recente do Xcode 10 nos mais recentes iOS Beta (6-12) e GM (iOS 12);
  
• nova versão beta do Xcode 10 em versões mais antigas do iOS (11).
  

Outros aplicativos foram testados por curiosidade com um aplicativo compilado usando a versão antiga do Xcode 9 no iOS 12 Beta mais recente (6-12).

Resultados surpreendentes

Testar versões beta é incrivelmente útil - ajuda a proteger os usuários de bugs muito desagradáveis. Alguns erros foram encontrados no iOS e já foram corrigidos pela Apple, mas a maioria deles foi corrigida por nossos valiosos desenvolvedores. E agora, depois de um novo teste de correções, podemos ter certeza de que os usuários do iOS 12 poderão desfrutar totalmente do aplicativo Badoo.

Além disso, é muito bom ver como os bugs são corrigidos em outros aplicativos. Muitos dos aplicativos que eu uso ainda possuem bugs específicos para o iOS 12, embora o lançamento oficial tenha ocorrido em setembro. Seria ótimo para os desenvolvedores se apressarem com as correções, pois após a fase de atualização ativa deste mês, a maioria dos usuários estará sob ataque.

Em geral, pessoal, teste beta - isso é útil do ponto de vista do seu crescimento pessoal e para seus usuários.