Olá, sou Sasha, um scrum master do Tutu.ru na equipe de turismo. Há pouco tempo, realizamos uma entrevista com o usuário para o nosso novo recurso - Jarvel. Quero compartilhar com você os erros e as descobertas que nos ajudaram a conduzir esta entrevista para que ela afetasse e mudasse a pedra angular do recurso. Isso ajudou o produto e impulsionou nossa equipe, espero que seja útil e interessante para você. Mas, para entender a essência de nossas descobertas, você precisa apresentar Jarvel e liderar nosso caminho.
Olá mundo!
Algum tempo atrás, tivemos uma ideia - criar um assistente virtual que ajudasse os usuários a escolher um passeio ideal para suas necessidades, o que:
- como uma pessoa, dará uma oportunidade na comunicação informal para indicar sua lista de desejos;
- ajuda a identificar e expressar a lista de desejos que o cliente ainda não formulou;
- como um verdadeiro assistente, ele procurará não por um, mas por todos os países ao mesmo tempo, reduzindo a enorme entrega e restringindo a escolha a várias ofertas idealmente adequadas;
- e não apenas reduzirá gradualmente a entrega, como os filtros habituais, mas também dará ao cliente controle e entendimento. Por exemplo, os pais Julia e Petya vão ao mar com Anton, de cinco anos de idade. Nesse caso, o assistente oferecerá a remoção de países extremamente quentes que serão desconfortáveis para a criança e deixará apenas hotéis com uma praia de areia, excluindo os de cascalho. Ao mesmo tempo, o assistente não apenas interromperá essas propostas, mas também explicará sua posição e permitirá que Julia e Pete cancelem essa filtragem.
Hmm ... assistente ... e depois nos lembramos da inteligência artificial de Tony Stark - Jarvis. E como estamos envolvidos em turismo e viagens, ou seja, o tema da viagem, o nome nasceu por si só - Jarvel (Jarvis + viagem).
www.filmpro.ru/materials/26976MUITO SECRETO. Informações privilegiadas
Vou revelar um dos principais segredos da cozinha interna. Para formular a emissão de ofertas atuais, precisamos enviar solicitações aos operadores turísticos, e esse negócio é muito lento. Inicialmente, quando estávamos apenas desenvolvendo a ideia de um assistente, entendemos que pesquisar em vários países ao mesmo tempo (isto é, é o que Jarvel faz, escolher uma excursão que combina com você não apenas em um país, mas para todo o seu interesse) pode levar um longo tempo. Em seguida, criamos uma solução que parecia adequada para o protótipo: não vamos realizar pesquisas reais, mas pesquisar por nosso próprio cache (ou seja, pesquisaremos pelos resultados de pesquisas recentes de outros usuários no site). Essa pesquisa é muitas vezes mais rápida e o cliente não espera. E para manter a relevância, usaremos o cache não mais que uma hora. No futuro, planejamos trabalhar no sistema de cache, preenchê-lo com algoritmos mais complexos, aumentar o tempo de armazenamento, introduzir fatores de relevância etc. Há apenas um problema com isso. Se ninguém, por exemplo, na última hora procurou passeios à República Dominicana nas datas em que está interessado, não verá os dominicanos na extradição de Jarvel. Sabendo disso, ainda éramos guiados pelo que considerávamos a principal conveniência do cliente - entrega rápida, respostas instantâneas de Jarvel. E então também garantiríamos a completude da escolha. Portanto, o cache.
NB Esta solução ainda dispara.Nem todo mundo vê Jarvel da mesma forma. Razões para a entrevista
O assistente, começando com o protótipo, foi desenvolvido de forma iterativa: coletamos e analisamos métricas, realizamos testes de corredor entre outras equipes de desenvolvimento, organizamos demonstrações com coleta de feedback para colegas e clientes e, um dia, convidamos uma pessoa que não era de TI, Kolya, uma funcionária de nossa recepção, para uma entrevista como essa. . E ... isso foi um fiasco, mano. Kolya simplesmente não percebeu nenhuma de nossas inovações e, com muitas das antigas, pelo que apresentamos anteriormente, Kolya interagiu exatamente da maneira oposta - não como planejamos.
Então nós pensamos.
www.meme-arsenal.com/create/template/747344Mas e se Kolya não for uma minoria, mas a maioria de nossos futuros usuários?
Não, repito, coletamos métricas, analisamos, realizamos pesquisas e percebemos que havia alguns problemas.
É verdade que havia um "mas" que não levamos em conta e, graças a Kolya, percebemos: todas essas pessoas que entrevistamos eram pessoas de TI, iguais a nós, e seus olhos poderiam tornar-se muito limitados ao longo do tempo ...
Portanto, decidimos que estava na hora de recorrer a usuários de um tipo diferente: pessoas que não são de TI e aqueles que compram passeios offline. Afinal, um dos nossos objetivos é mostrar que a compra de tours online é tão conveniente quanto offline.
Preparação: pessoas
Decidimos não contratar um especialista de terceiros para entrevistas detalhadas com nossa base de usuários (colegas de equipes vizinhas já trabalharam com ele).
Nós mesmos queríamos sentir o espírito do Jarvel para que desenvolvedores, testadores, analistas e designers pudessem ver usuários vivos, ouvir e sentir suas dores, e começamos a pensar um pouco mais como usuários, e não como criadores.
Não apenas os especialistas em TI trabalham no Tutu.ru, como também temos muitos departamentos: RH, contabilidade, advogados, administração de RH, marketing, etc. Anteriormente, a equipe já possuía experiência no uso de recursos internos: entrevistamos pais e mães ao desenvolver tópicos para famílias com crianças. Os pais queimaram e participaram muito ativamente.
E, embora já tenhamos conduzido algumas entrevistas, ainda éramos os entrevistadores mais experientes. Mas se chamamos “nosso tutuzhniki”, e não usuários do mundo exterior, o medo dessa inexperiência é reduzido.
v1rt.ru/memy/nelzya-prosto-tak-vzyat-i-voytiPortanto, para entrevistas com usuários, usamos os recursos dentro do carro:
a) pais que já se provaram em pesquisas anteriores (das quais identificamos “pessoas que não são de TI”);
b) funcionários de departamentos que não são relacionados a desenvolvedores: eles apenas andaram pelo escritório e se ofereceram para serem entrevistados.
Assim, seguimos o credo da empresa: tentamos obter mais com menos.
Preparação: Questionário
Paralelamente à formação de uma lista de entrevistados, começamos a preparar um questionário e a desenvolver um formato de entrevista. A base desse processo foi o livro de Robert Fitzpatrick, "Pergunte à mamãe: como se comunicar com os clientes e confirme a exatidão de suas ideias de negócios, se todos mentirem?"
www.ozon.ru/context/detail/id/140446253Em resumo: fale menos de si mesmo (é melhor não falar nada), deixe o cliente falar sobre sua vida em contexto, evite o problema, determine o motivo, concentre-se no passado do cliente e não em suas declarações sobre o que acontecerá no futuro. Se o cliente disser que ele realmente precisa dessa ou daquela função, especifique como ele está passando sem ela agora, o que ele está fazendo para resolver essa dor. A partir da resposta, você entenderá não apenas o modo de pensar e as ações do cliente, mas também se esse recurso é realmente essencial e doloroso, e não apenas uma Lista de Desejos, sem a qual ele viveu, vive e, de fato, não é particularmente necessário.
Prepare-se para a reunião com antecedência e planeje com antecedência as três respostas mais importantes que você deseja receber de qualquer categoria específica de pessoas. Certifique-se de fazer uma pergunta assustadora para ouvir a resposta. Sem essa pergunta, você simplesmente se diverte com orgulho e não realiza pesquisas reais.
Nunca se contente com a resposta de que está tudo bem. Busque e lute pelo mundano: para mais etapas, perguntas, contatos. Elogios vazios são a base ideal para castelos de auto-engano no ar que podem levar a um produto que ninguém precisa.
Portanto, foi necessário decidir sobre questões-chave. Para nós é:
1. É fácil para um cliente interagir com o Jarvel?
2. Ele recebe o que procurou?
3. Quais tópicos são importantes para as pessoas?
E a própria pergunta que precisa ser feita, mas é assustador obter uma resposta:
4. O Jarvel é necessário? Certo?
Fazer essas perguntas diretamente não nos levaria a respostas reais do usuário. Pensamos que, se não interferirmos e simplesmente permitirmos que os entrevistados interajam com o produto e solicitem que comentem o que está acontecendo, encontraremos facilmente respostas para as duas primeiras perguntas (é fácil interagir; ele consegue o que veio). Assim, tudo está na pomada.
Com a terceira pergunta, sobre os tópicos necessários, ficou mais difícil. Uma resposta simples de um usuário (por exemplo, "Seria ótimo se você incluísse uma pergunta sobre o estrelato") não é suficiente. Como no livro, é importante validar o valor dessas informações através da experiência anterior do cliente. Portanto, concordamos que, durante a entrevista, coletaremos toda a lista de desejos e, em seguida, pedimos aos rapazes que contem suas experiências mais recentes na compra de passeios. É assim que podemos descobrir as reais necessidades e desejos do cliente. Durante a história, teremos que "devolver" sua lista de desejos ao cliente e perguntar: "Vasya, me diga, mas quando você foi à Turquia, como você determinou a estrela do hotel em que foi?" Se a lista de desejos realmente veio das necessidades de Vasya, ele lhe dirá como selecionou hotéis com estrelato. Caso contrário, Vasya responderá: "Sim, de alguma forma, não olhei para ele, era mais importante que o hotel estivesse perto do mar". "Sim", respondemos, marque esta lista de desejos, mas deixe-a com uma prioridade mais baixa.
Quanto à última pergunta “assustadora”, decidimos que, após o estágio de “cutucada”, perguntarmos ao cliente sobre a experiência mais recente e devolveremos sua lista de desejos, isso permitirá que ele se desligue um pouco de Jarvel e se concentre em si mesmo. E então perguntamos a ele: "Vasya, como você planeja suas futuras férias?" Se, em resposta, não ouvimos nada sobre Jarvel, agora ele não está na necessidade do cliente.
Preparação: equipamento técnico
1. DispositivosO Jarvel ainda vive apenas na versão móvel do site, por isso, demos um telefone aos nossos entrevistados e exibimos a imagem na tela para que os caras pudessem interagir diretamente com o Jarvel, e pudemos ver todas as ações deles.
2. gravação de vídeoOrganizamos uma gravação em vídeo de todas as entrevistas, porque:
a) Considerando o proprietário do produto, o scrum master, o designer e os analistas, temos 8 pessoas na equipe. Para que o entrevistado se sinta à vontade, recomenda-se que não haja mais do que 2-3 pessoas por parte dos entrevistadores. Portanto, tivemos uma rotação de entrevistadores. A gravação de vídeo era necessária se todos precisassem ver algo interessante.
b) Além disso, a gravação de vídeo é indispensável na decodificação de uma entrevista, no esclarecimento de detalhes incompreensíveis.
www.vibe.com/photos/roll-safe-memes3. O meio ambienteTodas as três perguntas da metodologia sobre a qual falamos anteriormente, na verdade, focavam em saber se o assistente é conveniente para os usuários do UX (experiência do usuário). E, lembrando-se do cache, para garantir a interação mais completa com todos os recursos do Jarvel, tomamos uma decisão: executemos várias pesquisas no site a cada hora antes das próprias entrevistas em diferentes países e em datas diferentes usando nossos testes automáticos. Assim, preencheremos o cache e os usuários terão muitas opções ... Cometemos um erro e isso mudou tudo.
Quando transferi informações deste rascunho para uma cópia limpa, esqueci o ponto sobre as pesquisas. Também não foram incluídos no documento final e durante a própria entrevista.
Resultados da entrevista e grande descoberta
Usando tudo o que foi escrito acima, realizamos uma entrevista. Eu posso dizer que você bombeia muito na entrevista, em tenacidade e atenção, mesmo depois de uma ou duas vezes. Mas coletar informações era apenas metade da batalha, agora cabia a análise. Criamos um documento em que colocamos todos os comentários / informações de todos os usuários e dividimos essas informações em etapas. Aqui, para esclarecimento, é claro, os vídeos foram muito úteis. Em seguida, identificamos pontos de dor e coletamos a frequência de sua aparência nos entrevistados. E foi aqui que ocorreu o esquecimento, graças ao qual fizemos a principal conclusão: "temos uma entrega muito curta ou sua completa ausência". Afinal, esqueci de transferir as informações sobre a necessidade de executar autotestes do rascunho para nossa versão final e, como resultado, elas não foram lançadas. E isso, por sua vez, permitiu que nossos clientes enfrentassem nossa entrega real e a equipe entendesse o quão ruim tudo é na realidade. 80% dos nossos entrevistados, de uma forma ou de outra, tiveram problemas com o problema, o motivo foi a abordagem que escolhemos inicialmente para pesquisas - procurando ofertas armazenadas no cache. Com base nos resultados da entrevista, descobrimos: é conveniente que os usuários interajam com o Jarvel, eles ficam satisfeitos e se beneficiam de questões que lhes permitem controlar a emissão e identificar sua Lista de desejos, visualização e trabalho com vários países ao mesmo tempo, permitindo-nos ver e pensar em países nos quais eu não pensava antes. No entanto, tudo isso não faz sentido se a emissão estiver vazia ou consistir em várias ofertas desinteressantes. Mas o que fazer com isso não é claro.
www.drive2.ru/l/524851876592616104Reconhecimento de fato
Nem tudo o que você encontra pode ser alterado,
mas não mude nada até ficar cara a cara com isso.
James baldwin
A partir do reconhecimento do que sem dúvida está presente, surge uma certa liberdade.
Depois desse reconhecimento, vem o conhecimento de como agir.
Gregory BatesonAs entrevistas ocorreram na segunda e terça-feira e já na quarta-feira tínhamos um analista pronto com esse fato indiscutível. Tivemos uma reunião, na qual decidimos que deveríamos nos concentrar na questão dos problemas e coletar análises técnicas até sexta-feira, elaborar soluções e colocar todos os pontos acima de i.
Como resultado, revisamos completamente todo o algoritmo de pesquisa e a ordem das perguntas de Jarvel. Percebemos que não podemos nos afastar de uma longa pesquisa, mas:
a) podemos acelerar a pesquisa eliminando países que não são relevantes para o cliente. Ou seja, construir uma comunicação entre o cliente e o Jarvel para eliminar os países que não caem sob os desejos do cliente, mesmo antes do início da pesquisa;
b) transformar o próprio processo de espera durante a pesquisa em algo que beneficie o cliente. Aqui lembramos as telas de download de Instagram, Wikipedia e jogos de computador, como Neverwinter Nights, com suas dicas de controle, ou Bayonetta, com uma zona livre para praticar hits combinados. E decidimos combinar essas idéias em uma, criando uma fita com fatos interessantes dos quais você pode gostar e, no futuro, preparar uma pessoa para outras perguntas. Por exemplo, antes de escolher uma estrela, diga-nos que duas estrelas na Turquia não são iguais a duas estrelas na Tailândia.
No final
Esta é uma história sobre uma entrevista que nós, como equipe, decidimos realizar por conta própria, e essa entrevista transformou a base definitiva de nosso recurso, embora inicialmente estivéssemos nos preparando para coletar problemas relacionados apenas ao UX. Estávamos enganados, tentando alcançar a máxima autenticidade em um aspecto, e não prestando atenção ao fato de estarmos enganando a questão dos usuários e, finalmente, nós mesmos recriados artificialmente por meio de testes automáticos.
Conclusão: entrevistas com usuários, mesmo em um formato pequeno, mesmo entre seus colegas, podem ser de grande benefício, incentivando uma equipe a compreender as pessoas e destacando pontos cegos se você as conduzir em condições o mais próximo possível das reais, e não apenas na área do aspecto que você pesquisa, mas em geral. Escolha as perguntas que deseja responder, mas não deixe que elas violem a "realidade" da experiência do usuário. Seja o mais autêntico possível, comunique-se com os usuários e os resultados podem surpreendê-lo.
Dicas e resultados do PS da entrevista
- Sabe-se que o som da digitação pode ser irritante para muitos, então concordamos que estávamos gravando com uma caneta no papel.
- Nossa pequena equipe de duas ou três pessoas compartilhou o seguinte: uma - o entrevistador, seu objetivo é focar o máximo possível no comportamento da pessoa, em suas expressões faciais, em como ele fala, em seus gestos; o segundo é o secretário, seu objetivo é anotar as palavras e ações do cliente. Ambos podem fazer anotações, ambos podem fazer perguntas, mas cada um tem seu próprio foco. O objetivo principal não é interferir ou alertar o cliente, para ver a situação o mais próximo possível da realidade.
memesmix.net/meme/rbh3d3- Durante a entrevista, a ambiguidade deve ser evitada. Por exemplo, um dos entrevistados disse: "Agora ele fala muito". Tais comentários não podem ser deixados sem explicação. Nesse caso, pedimos para revelar exatamente o que ela tinha em mente: “Bem, por exemplo, eu quero mudar o número de noites, só posso cutucar e mudar, e não esse“ agora vamos mudar o número de noites ”. Para mudar, eu já entendo o que estou fazendo. Por que preciso de mais informações sobre o que estou fazendo? O tempo está perdido, porque tudo já está claro. ”Aprendemos não apenas emoções, mas descobrimos o motivo pelo qual o cliente estava preocupado.
- Lemos sobre isso e, por experiência própria, percebemos que é extremamente importante realizar uma breve recapitulação após cada entrevista. Reunimos, discutimos o que ouvimos: todos compartilharam o que o pegou; determinados pontos de crescimento para Jarvel, dos quais sabíamos, e aqueles que nem conhecíamos. Por exemplo, eles trouxeram essas idéias: marcar no calendário não apenas os finais de semana tradicionais, mas também os feriados, ou adicionar um novo tipo de relaxamento - “deite-se na barriga e não faça nada”. Eles discutiram que em algum lugar eles não tiveram uma pausa, mas em algum momento cedo eles começaram a "devolver" a lista de desejos do cliente ou que era extremamente importante seguir os dedos do cliente durante a entrevista - a maneira como ele clica na tela, porque o monitor que transmite as ações do usuário não nos mostram cliques "vazios" quando o usuário não atinge os elementos da tela pela primeira vez.
- Apesar de termos testado a interface do Jarvel, era muito importante não parar o cliente, mesmo que ele já tivesse mudado para a compra, pois Jarvel é apenas uma maneira conveniente de inserir seus desejos ou identificá-los. O objetivo final é dar à pessoa uma impressão, vender o melhor passeio adequado para ela. E se o cliente cair em uma das etapas após o Jarvel, é extremamente importante sabermos onde e como.
Muito obrigado pela leitura. Se você tiver dúvidas - pergunte nos comentários, terei prazer em responder. E veja o Jarvel 1.0 (até agora apenas em telefones celulares).