O CEO da Rick.ai, Ilya Krasinsky, respondeu às perguntas colocadas pelos gerentes de produto no formato de perguntas e respostas na Epic Growth Conference.
Veja a descriptografia sob o corte.
Qual é uma técnica eficaz para avaliar as perspectivas de recursos?
Qualquer recurso sempre reduz as métricas. Automatizamos um cenário específico do comportamento humano. Se a porcentagem de pessoas que entendeu os benefícios do recurso e o aproveitou for praticamente nula, o valor do recurso será mínimo.
Existem desvantagens após o lançamento de um novo recurso no produto: o código do banco de dados cresce, novos bugs e defeitos aparecem, os usuários recebem uma primeira sessão mais difícil e a ativação é mais difícil.
Existe uma técnica de avaliação. Você recebe um fluxo de usuários que usarão esse recurso. Assim, você pode avaliar quanto a conversão e a receita de um usuário pago serão alteradas. Em seguida, você pode calcular que tipo de fluxo de caixa um novo recurso pode trazer para você.
Em que ponto devo dizer "basta?" Ou você precisa pular e tentar até que a falta de financiamento pare minha inicialização?
Muitas vezes, o desenvolvimento de uma empresa é dificultado pela falta de financiamento. Nesse caso, a empresa se torna para você não um ativo, mas uma mala sem alça, que é uma pena deixar cair, mas também é difícil arrastar.
Assim, nessa situação, aperte o máximo até atirar nesse "cavalo morto", porque da próxima vez você precisará de dois a cinco anos para se aproximar do seu ponto de desenvolvimento atual. Determine quais habilidades e experiências você ainda pode trazer para si mesmo e não tenha medo de se livrar do lastro.
Quando, na sua opinião, mais de 50% das empresas (pelo menos TI) mudarão para a análise robótica por analogia com o Rick.ai? Quais são as principais barreiras no momento?
Os principais problemas da análise atual:
Um grande número de empresas já possui uma divisão de Big Data. A grande maioria dessas unidades está envolvida em armazenamento de dados, quanto menor - a compilação de algoritmos. Geralmente, existe uma lacuna tecnológica entre os principais gerentes, gerentes de produto e analistas de ciência de dados. Os executivos geralmente não entendem que pergunta fazer a análise.
Basicamente, esses dados não são consistentes, ou seja, eles já contêm erros no estágio de coleta.
A análise é muito frágil, é muito fácil de quebrar. Portanto, a questão principal é se você possui um sistema de monitoramento interno para análise robótica.
A principal barreira à transição para a análise robótica é que os dados não se acumulam nos sistemas que você usa e, portanto, fornecem números incorretos. Portanto, quaisquer conclusões e decisões gerenciais também serão uma mentira.
Até que esse problema seja resolvido no nível de integração e fluxo de dados, todos provavelmente estarão vendo sua própria Estrela da Morte, acreditando que ela funcione. Eu já vi cinco desses sistemas em minha vida e cada vez que os desenvolvedores encontravam bugs e defeitos neles.
Meu conselho: duplique os dados para que você tenha sistemas de análise diferentes e possa verificar os números entre si. Um sistema é uma coisa não confiável, os erros acontecem com muita facilidade.
Quais são as perspectivas de ML em análise preditiva?
Dois tipos de aprendizado de máquina precisam ser distinguidos:
- Compilado na linguagem de programação Python.
- Composta usando uma apresentação do PowerPoint.
O último tipo é muito mais usado. Mas, infelizmente, na prática, é muito mal implementado. Essas apresentações não se traduzem bem em um produto funcional. Consequentemente, o principal problema do aprendizado de máquina é que as pessoas veem uma caixa preta na saída.
Eu acredito que por um longo tempo as pessoas não conseguem processar esses fluxos de informação. Vejo o que estamos fazendo dessa maneira: ou haverá caixas-pretas, como os modelos de atribuição que o Google faz, ou algum tipo de sistema que analisará os dados e explicará à pessoa como ela analisou o que está nesta seção (empresa , domínio, conversão).
Qual a probabilidade de ferramentas para testar hipóteses antes de implementar alterações no produto?
Você já os possui: "Google spreadsheets" ou Excel.
A maioria das hipóteses não pode alterar uma única métrica, não pode fazer nada de bom ao usuário; elas precisam ser disparadas. E das 50 hipóteses, se você deixar sete, terá uma chance de sucesso.
Em 2019, fica claro que uma pessoa ainda considera pior que uma calculadora. Mas parece que uma pessoa sabe como ter idéias fora do padrão.
Que perguntas fazer o produto na entrevista?
A maneira mais fácil: converse com dez profissionais do setor em um formato de rede na conferência. Você receberá uma lista de cinquenta perguntas. Deixe as perguntas que você gosta e obterá algum tipo de estrutura.
Como está em nossa equipe:- Uma pessoa deve ter um alto nível de energia. Se uma pessoa estiver com pouca energia, toda a equipe será tóxica.
- Uma pessoa deve ser sistêmica e com experiência de reflexão. Desenvolver uma habilidade sistemática é muito caro e consome tempo. É verificado de maneira bem simples: pergunte a uma pessoa sobre sua experiência anterior, inclusive negativa, e que conclusão ele tirou dessa experiência.
Cerca de 50% das pessoas dizem: “Obrigado, ótima pergunta! Eu vou pensar sobre isso. Isso significa que, no último ano, quando essa situação ocorreu, eles não fizeram esse trabalho. Eles não têm esse hábito.
- Um homem não deve ter medo. Durante o trabalho, é necessário tomar um grande número de decisões, provavelmente o produto estará errado. É importante que ele não tenha medo de fazer isso.
Como medir o efeito incremental do redirecionamento?
Análise de gatilho. Você pega o segmento do usuário, vê todas as sessões do usuário e a cadeia de eventos. Divida as pessoas em dois grupos: aqueles que estão redirecionando e aqueles que não estão.
Na prática, você precisa entender que nunca temos a tarefa de medir algo com precisão. Muitas vezes, isso é simplesmente inútil. Se o seu investimento em redirecionamento for menor que a quantidade de trabalho que acabei de descrever, o trabalho de analisar o redirecionamento será mais caro do que apenas fazê-lo.
Você precisa de um modelo de atribuição preciso. Vejamos os conceitos: não é necessário atribuir com precisão essa ou aquela receita a qualquer campanha publicitária. Temos apenas quatro decisões de gerenciamento:
- desabilite o processo, não converja nada; gastamos demais, não recebemos quase nada;
- pode ser ligeiramente modificado;
- não toque;
- fortalecer.
Por que você dispararia o produto?
- Se o seu modelo de mundo não corresponde muito à realidade.
- Se suas hipóteses são fracas e pouco correlacionadas com nossos usuários.
- Se você não gosta de se comunicar com os usuários.
- Se você não gosta de fazer corredores, casas personalizadas.
- Se você não testar suas hipóteses.
- Se estiver usando um kit de ferramentas irrelevante.
- Isso significa que ele ficará muito enganado nas conclusões, não quer aprender a fazer corretamente e simplesmente não segue as estruturas mais recentes que ocorrem no setor, o que significa que ficou para trás.
Você realiza experimentos, 95% das falhas, poucos sucessos, constantemente perecíveis e dor de cabeça. Como ser
O agravamento ocorre no final do ano. No final do ano, as pessoas se lembram da meta que estabeleceram para si mesmas.
O significado é - você precisa ser capaz de perder. Preciso me repetir: houve muitas experiências, então simplesmente não levei em conta e não entendi alguma coisa. Mudamos a economia unitária, mudamos a abordagem, aumentamos a conversão, mas isso não significa que o projeto ficará bem.
Incentive o apoio e o cuidado dentro da equipe. Uma das habilidades que estou desenvolvendo em mim mesmo agora: como explicar ao gerente de produto, designer, comerciante, analista que eles fizeram tudo errado, mas ao mesmo tempo para que não desistam e vão trabalhar no dia seguinte com as palavras: "Ok, na sétima vez, refazeremos tudo e teremos sucesso."
As melhores equipes de comida da Rússia?
Eu acredito que existem muitos deles. Por exemplo, Ultimate Guitar, Skyeng, RealtimeBoard. Por trás do sucesso de tais empresas, não estão apenas as primeiras pessoas que estão à vista do público, mas também os artistas que estão fazendo um tremendo trabalho todos os dias.
É legal ser amigo deles. É apenas um trem gratuito, onde você obtém novas idéias, livros e estruturas. Portanto, me cercar dessa lista de pessoas, parece-me, é uma das tarefas importantes.
Mais práticas de habilidades de produtos de perfil restrito no
Epic Workshop Day .