Experimentos
As partes e o todo
Last updated
Was this helpful?
As partes e o todo
Last updated
Was this helpful?
Configurar experimentos é uma atividade-chave no nosso dia-a-dia. Um bom time de produto e design escreve seus experimentos de forma clara.
Quanto mais tempo aplicamos no racional e escrita do experimento, menos tempo passamos:
Defendendo a ideia com outros stakeholders;
Explicando a importância do experimento para o time tech;
Construindo o experimento.
Essa pergunta é importante no alinhamento com outras áreas e times, para não perdermos o foco quando formos discutir o experimento.
Antes de tudo, garanta que todas as pessoas envolvidas concordam com a pergunta. Só depois apresente o experimento.
Ao formular uma pergunta-chave, tenha em mente que experimentos geralmente não respondem perguntas que começam com Como
e Por que
. Essas perguntas acabam sendo muito genéricas e são melhor respondidas em uma abordagem mais qualitativa.
Por isso, evite perguntas como:
Como vamos vender este produto dentro do Marketplace?
Prefira:
Qual é a demanda por terceirização dentro do produto?
Agora, chegou o momento de decidir qual tipo de experimento vamos fazer. Vale teste A/B, concierge, mágico de oz, fake door, entre outros. Escolher o método certo não é fácil, por isso dê preferência por fazer as coisas mais manualmente no começo e só depois automatizá-las.
Agora, vamos entender o que esse monte de nomes significa.
O que é Exibir versões diferentes de uma interface para o público, geralmente dividindo a audiência em 50/50.
Para o que serve Otimizar a conversão. Conseguimos entender se as alterações que propusemos fizeram as pessoas utilizarem mais ou não o produto.
Ferramentas Google Optimize. Se não rolar por lá, é só pedir ajuda para o time de tech.
O que você realmente já sabe e o que você apenas supõe sobre o problema que você identificou?
Liste dados e fatos sobre o que você já sabe sobre o problema ou comportamento da pessoa usuária. Trazer um baseline (uma métrica já existente) deixa sua assumption mais robusta e já fornece um ponto de vista. Depois, também traga pra cá o que você supõe que seja verdade e o porquê.
Não faça:
Talentos da Revelo não sabem que trabalhamos com empresas e vagas nos EUA (ReveloTalent).
Faça:
Em campanha anterior do Google Ads, a LP do ReveloTalent converteu 0,38%. Acreditamos que dentro do produto teremos mais demanda do que fora.
Qual ação vai gerar qual resultado?
Formato: fazer (tal coisa) vai gerar (tal resultado)
Importante termos apenas uma hipótese por experimento
O resultado deve se conectar com o que você quer aprender com o experimento
Clareza: evite expressões ambíguas e subjetivas
Use poucas palavras
Não faça:
Apresentar o ReveloTalent para empresas após elas enviarem um primeiro convite de entrevista para um talento da Revelo vai fazer essas empresas gostarem do serviço.
O exemplo acima é ruim, pois usa uma métrica muito subjetiva. Como vamos medir que a empresa gostou? Isso é muito subjetivo. Faça:
Apresentar o ReveloTalent para empresas após elas enviarem um primeiro convite de entrevista para um talento da Revelo vai fazer essas empresas ficarem interessadas em saber mais sobre o serviço.
Qual é o resultado quantificável esperado? Defina o que é sucesso com o time.
Evite ter várias métricas de sucesso para um experimento. Idealmente, use um baseline (uma métrica já existente) para embasar o critério. No caso de produtos novos, sem baseline, vale pensar em uma métrica de tração (Ex.: vender para 20 pessoas). Não faça:
Empresas interessadas
Faça:
2 empresas interessadas (>%1 de conversão)
Entenda quantas pessoas usuárias passam pelo fluxo atual, a ser analisado, e por quanto tempo o teste ficará no ar para você ter um resultado estatisticamente válido.
Volte na sua hipótese para constatar se ela foi validada ou não.
Lembre-se de sempre documentar o aprendizado. Atualmente, estamos trabalhando em um repositório de pesquisas, onde você vai poder documentar seus experimentos e suas pesquisas. Enquanto ele não fica pronto, você pode documentar seu experimento com esse lindão que usamos aqui na Revelo. É só duplicar o arquivo!