As pessoas adoram classificações. Quantas aplicações, jogos e outras coisas já foram feitas em nome do desejo de uma pessoa de estar em uma lista algumas linhas mais alta do que qualquer outra pessoa. Ou que um concorrente, por exemplo. As pessoas obtêm vagas no ranking de maneiras diferentes, dependendo da motivação e do caráter moral. Alguém tentará se tornar melhor e, honestamente, passar do 142 para 139, e alguém decidirá depositar dinheiro e aceitar o 21 com alegria (porque o top 20 trouxe ainda mais).
Nas empresas, tudo é igual. Hoje falaremos sobre os bancos e classificações em que esses bancos buscam entrar. Neste post, falarei sobre problemas comuns com pesquisas que temos em nosso país, sobre a diferença prática entre testes quantitativos e qualitativos e como tentamos corrigir a situação atual.
E no final do artigo é uma surpresa.
Tudo começou com o fato de que, há um ano, começamos a testar cinco bancos para pessoas jurídicas, escolhendo um par de bancos jovens elegantes (Modulbank e Tinkoff Bank) e três bancos clássicos (VTB, Raiffeisenbank e Promsvyazbank). Mas primeiro, um pouco de hardware.
Ratings bancários na Federação Russa
Existem alguns players no mercado que fazem classificações de usabilidade para o setor bancário. Ou seja, até dois - Markswebb e USABILITYLAB.
E aconteceu que MW e UL se tornaram um tipo de KPI. Por um lado, isso é bom, pois a própria presença de pelo menos algo competitivo define o motivo geral em um mercado bastante lento nesse sentido. Por outro lado, tudo se resume principalmente à análise funcional. E a motivação aqui das bancadas não é criar um produto incrível que decole e traga muitos benefícios para os usuários, que terão seu lugar na classificação, mas apenas para estar na classificação.
Seu banco está na classificação = você concluiu KPI = você recebeu um bônus. Além disso, eles meio que te amam na equipe, ajudaram o banco a entrar na classificação. Alguém sinceramente coça Chesv. Em geral, existem muitas pessoas, mas a motivação em geral são esses "bônus" de vários tipos, e não um movimento em direção à melhoria do produto.
E aqui, em termos da importância de tais classificações para o mercado, é importante entender mais uma coisa. Cerca de 98% dos usuários de aplicativos bancários não conhecem essas classificações. Eles francamente não se importam. Essas classificações são para gerentes e executivos. Os 2% restantes conhecem as classificações, mas consideram-nas um tópico adquirido. Uma vez testamos os sites dos bancos com esses dados sobre os primeiros lugares.
As pessoas não escolhem um banco para negócios com base na existência de um dado no site do banco com o logotipo de uma classificação ou não. É mais fácil para uma pessoa chamar alguém de conhecidos ou do FB, que usa qual banco e o que está satisfeito / não satisfeito, e limita isso à parte do capital social.
Vamos começar criando uma classificação. Para criar uma classificação, é necessário realizar um estudo, e aqui tudo geralmente se limita ao estudo de uma função específica, por exemplo, eles testam o controle da moeda.
E a pesquisa custa dinheiro, e o dinheiro é bastante tangível. Para fazer isso qualitativamente, você precisa investir bem - um retrato de um empreendedor para testar custos mais do que o usuário médio. Portanto, as empresas que tentam gerar receita apenas com a pesquisa como principal e único tipo de atividade têm custos significativos. Além disso, nosso mercado de pesquisa está quase vazio: isso não é ensinado nas universidades, nem nas escolas.
A propósito, sobre dinheiro, para que os números sejam claros. Digamos que temos 20 bancos no ranking. Todo mundo precisa explorar as 7 principais funções e cenários, gastando cerca de 1,5 horas de tempo. Não faz sentido executar um teste mais longo em um entrevistado, porque uma hora e meia é a fronteira após a qual a atenção já está dispersa e as pessoas ficam cansadas e começam a responder qualquer coisa, apenas para dar uma mordida e finalmente expirar.
Então aqui. É difícil e demorado levar pessoas da base do banco para um estudo desse tipo, então ainda resta um recruta. 5-7 cenários para 20 bancos significam que você precisa recrutar um mínimo de 140 respondentes. E então, se mais de um banco for testado em uma pessoa
O custo de um desses entrevistados varia entre 5 a 10 mil rublos, existe uma clara dependência do retrato, por exemplo, um único empresário individual custará muito barato, 5 mil, mas o retrato de um empresário exportador com controle de moeda custará cerca de 13 mil.
No total, existem 140 pessoas que precisam pagar pela participação no estudo. Vamos estimar o cenário mais simples e barato, em 5.000 rublos por entrevistado, e obteremos 700.000 rublos não ilusórios. Sim mínimo. Normalmente, esse número é próximo de 1.400.000.É hora de abrir minha própria agência de recrutamento :)
E isso é apenas para os principais cenários de uso do banco. Além do dinheiro, há um recurso mais valioso - o tempo. Também é gasto com uma ervilha tão grande no topo. Você pode realizar testes com 30 participantes e não enlouquecer em duas semanas. Geralmente, são obtidas cerca de 60 reuniões por mês, se você deseja manter a qualidade da entrevista. 140 pessoas = 2,5 pessoas-mês.
Depois de todos os entrevistados, é necessário passar mais 2 meses para trazer as informações para um formato digerível - transcrever os resultados, realizar análises e agrupamentos, fazer uma bela apresentação e não o arquivo final no Excel em várias linhas.
Em geral, resulta em cerca de 4 meses de trabalho e 2-3 milhões de rublos, levando em consideração todos os custos nesse período. E ainda não contamos impostos. E, desde que ninguém consiga realmente ganhar dinheiro com a pesquisa em si, esse modelo obviamente não parece o mais lucrativo. Se você não ganhar na classificação em si e colocar nela em vez de pesquisar, por si só.
Pesquisa quantitativa e qualitativa, análise funcional
As apresentações de MW são cerca de 60% sobre análise funcional e 40% sobre usabilidade. Além disso, o conceito de "análise funcional" no caso de tais estudos é apenas uma lista de verificação da presença de determinadas funções. Você se senta, escreve uma lista de funções - portanto, deve haver um pagamento normal, mais o pagamento por foto e também de um arquivo, verificando a contraparte, as últimas contrapartes ou pagamentos e assim por diante. Então você analisa e verifica se há funções da lista lá ou não. Se houver - excelente, marque a caixa e mais na classificação. Se não, bem, você entendeu.
Parece lógico. Mas, infelizmente, tudo se resume ao fato de que o sinal de mais com tais testes é simplesmente a presença de uma função na lista, e não a sua qualidade ou mesmo a necessidade do usuário. Portanto, os aplicativos móveis começaram a deslizar para incluir tudo em si, a fim de corresponder à classificação, e não ao que o usuário precisava. Bem, é como uma câmera dupla no Yandex.Phone. Está lá, mas, dizem eles, não funciona. Mas existe. No total, verifica-se que 60% da importância dessa classificação é simplesmente uma marca própria, independentemente de haver uma função ou não. E não como é conveniente e fácil de usar.
Além da análise funcional, existem também estudos quantitativos e qualitativos.
A pesquisa quantitativa sobre usabilidade será útil se você quiser colocar os testes em prática. Você recruta mais respondentes, executa-os através da interface do aplicativo, executa tarefas básicas e, no final, apenas pergunta como estava em geral e quais eram os problemas.
Um teste de usabilidade de alta qualidade é muito mais complicado - você precisa estender a percepção de todo o processo e literalmente todos os elementos do processo usando o método
Think Aloud . Todos os pensamentos e perguntas que surgem nas pessoas, todos os textos e elementos incompreensíveis para elas. E todas as causas principais - por que não está claro, mas como você espera que ele seja nomeado e que palavra você tem em mente?
Conhecendo as causas da percepção, você não diz apenas:
As pessoas não o encontraram - um posicionamento incomum.Você entende como mudar:
O usuário procura esse elemento não na parte inferior como o colocamos, mas no canto superior direito da tela. Pesquisa a palavra "Pesquisar" e nós temos "Enter", ele procura o ícone da lupa e temos o botão "Pesquisar".
Para resumir, após um teste quantitativo de usabilidade, você terá uma lista de problemas em sua forma mais geral. Diga: "O usuário não dominou a pesquisa." Por que não dominar? Mas ele simplesmente não o dominou - este teste não dará uma resposta.
E após um teste de qualidade, você terá um problema e sua causa raiz. No caso da Pesquisa, você terá um script, o usuário dirá exatamente como pesquisar, quais elementos ele esperava ver e onde, exatamente quais palavras lhe vieram à mente quando ele não encontrou a Pesquisa e assim por diante.
Quando você tem a causa raiz do problema e sua descrição detalhada, já pode consertar algo, alterar a interface para atender às expectativas dos usuários e resolver os problemas que surgirem.
Obviamente, os de qualidade custam mais. Em vez de uma tarefa e um questionário, você precisa treinar uma pessoa que realizará esses testes. Pegue uma pessoa com a experiência correta e insira-a na esfera que você está explorando. Demora cerca de 3-6 meses. Existem poucos especialistas prontos no mercado - ou seja, praticamente nenhum.
Mas, mesmo que todos esses testes sejam realizados normalmente, temos a seguinte situação - o país não sabe o que fazer com esses estudos e relatórios. No mercado, isso ainda é referido como algum tipo de entidade efêmera, eles acreditam que estão comprando apenas uma apresentação, não uma solução para um problema.
Porque acontece: ordenei que o banco fizesse o teste, recebi em troca algum tipo de apresentação superficial, que não está clara como aplicar ou "todos nós sabíamos disso". O que vem a seguir? Mas nada, coloque-a sobre a mesa e alegre-se por ser. Como as pessoas não sabem o que fazer com esta apresentação, como usá-la para melhorar o produto, como transformar as conclusões descritas nela em novas interfaces que não serão mais tão problemáticas. Se você não fornecer as causas profundas e raiz dos problemas, não entenderá como trabalhar com problemas.
Tudo isso é realmente triste?
Em geral, é bastante triste, sim, mas isso não significa que a situação não possa ser corrigida. Nosso objetivo era investigar bem aquelas coisas nas quais já tínhamos um bom exame. Por exemplo, sobre o trabalho de pagamentos no aplicativo, tínhamos certas estatísticas. Queríamos pegar os cenários principais e não apenas imprimi-los no "Sim - Não", mas entender que tipo de problemas as pessoas têm, em que estágios e em geral - por que elas surgem.
Distribuição pelos principais cenários de pessoas jurídicas
Esse pode ser um conjunto de barreiras que não depende muito do próprio banco, apenas dar algum tipo de função para as pessoas não é muito claro.
E, é claro, queríamos fazer um estudo volumétrico, em vez de comparar alguns bancos entre si. Acreditávamos que seria possível vender esses estudos detalhados e, ao mesmo tempo, testar a demanda geral por eles.
Claro, a primeira panqueca que recebemos com alguns pedaços.
No entanto, tentamos pegar todos os cenários e passar por eles com um entrevistado. Spoiler - ele sobreviveu. Talvez agora ele use aplicativos bancários com muito menos frequência. Mas, mais uma vez, confirmamos a tese de que em uma hora e meia é necessário minimizar tudo e lançar outro. Portanto, passamos de testes profundos de todos os recursos para ver como as pessoas encontram determinadas funções, no que prestam atenção, como percebem a estrutura da página principal.
Distribuição do uso de plataformas por indivíduos
Quando você testa aplicativos bancários, não pode simplesmente levá-los e executá-los no modo convidado para tirar conclusões. Você deve pelo menos ter uma conta bancária para entender como tudo funciona lá. E, no caso do banco, os empreendedores precisam de uma conta ativa, com histórico, com uma empresa estabelecida lá. Se você também estiver testando o controle da moeda e outras alegrias, precisará de contas em moeda e um pouco de afobazol. O saldo não pode estar vazio, o histórico da transação deve ser mais sério do que "Vou me jogar a 200 r da minha conta, ver como está".
Pensamos que registrar contas em todos os bancos em estudo e ganhar dinheiro com eles seria uma tarefa bastante rápida.
Às vezes, ele se arrastava por algumas semanas. Dos bancos, sim. E ainda testamos 5 bancos, mas haveria 20 deles?
Mas fomos capazes de entender por nós mesmos a distribuição de funções básicas e o número de algumas individuais e impopulares. Portanto, passamos da primeira panqueca para a segunda chamada com uma metodologia mais refinada. Um designer também apareceu na equipe, o que levou as apresentações a um novo nível. Isso é mais importante do que parece quando você envia essas informações.
O resultado do trabalho foram apresentações em mais de 100 slides. Quando fizemos um estudo em quatro bancos para indivíduos, não o vendemos. Mas o primeiro estudo, sobre bancos para empreendedores, foi vendido para ver o quão interessante é o mercado. Nós o compramos 7 vezes (bancos entre as 5 principais e várias empresas que vendiam desenvolvimento e design para bancos), não fizemos nenhum tipo de publicidade, exceto as postadas no Facebook.
- Mas você mesmo escreveu que este é um caminho certo para ser negativo!
Uma ótima maneira, sim, se você apenas pesquisar. Ganhamos principalmente ao projetar e projetar.
A pesquisa para nós é uma oportunidade de moldar o mercado, porque, como você vê, está quase ausente. Eles costumavam nos perguntar, eles dizem, pessoal, por que você publicou uma coisa dessas em acesso gratuito, vale a pena o dinheiro? Mas, graças a isso, podemos mostrar à comunidade o que a pesquisa pode ser em princípio. Agora, apenas para ver uma amostra desses estudos, você precisa comprá-los. Bem, ou pergunte a quem comprou.
Nós os publicamos exatamente assim. Para que o mercado também entenda o que é pesquisa. Para que os clientes que solicitam pesquisas em outros lugares possam pelo menos comparar e validar a qualidade do que as outras empresas os vendem. Para que um entendimento comum surja, a pesquisa pode ser de alta qualidade e, a partir deles, é possível obter um benefício e entender o que fazer em seguida. De fato, estamos um pouco abalados, o que é triste em nosso país em termos de pesquisa. Portanto, enquanto tentamos mudar a situação dessa forma - entendemos que você pode obter o melhor resultado
Além do aspecto educacional, esses estudos e sua publicação são uma boa oportunidade para gerar leads. E aqui está uma vantagem, não apenas no fato de os clientes virem até nós. Recentemente, uma de nossas postagens começou a criar um protótipo de um banco a partir dos 3 principais. Alguns anos atrás, nós realmente pensávamos - caramba, lambemos nosso tópico e fomos fazer algo próprio.
E agora pensamos - é legal, eles nos ouvem e realmente tentam tornar os produtos melhores e mais próximos do usuário. Portanto, faremos essa pesquisa ainda mais, testando qualitativamente os blocos semânticos de aplicativos já individuais, e não apenas todo o produto como um todo para alguma lista de verificação.
Dentro da equipe, isso nos dá uma experiência maior - não para ir para o escuro, mas para entender como os cenários e necessidades básicos das pessoas mudam (e eles mudam em um ou dois anos, imagine). E então, quando você examina a abertura de uma conta bancária para empreendedores de 3 a 4 vezes em 2 anos, você tem um processo ideal, que pode estar nas restrições técnicas atuais.
E a situação do tipo “Desejado na classificação - paga pela classificação - entrou na classificação” ainda está cansada. E a necessidade de uma nova classificação com base na qualidade do produto amadureceu.
E para quem leu até o final do artigo, aqui estão dois links para o
estudo de bancos para pessoas jurídicas e o
estudo de bancos para pessoas físicas.