Experimentos

As partes e o todo

Escrever antes de fazer

Configurar experimentos é uma atividade-chave no nosso dia-a-dia. Um bom time de produto e design escreve seus experimentos de forma clara.

Quanto mais tempo aplicamos no racional e escrita do experimento, menos tempo passamos:

• Defendendo a ideia com outros stakeholders;

• Explicando a importância do experimento para o time tech;

• Construindo o experimento.

Pergunta-chave

Essa pergunta é importante no alinhamento com outras áreas e times, para não perdermos o foco quando formos discutir o experimento.

Antes de tudo, garanta que todas as pessoas envolvidas concordam com a pergunta. Só depois apresente o experimento. Ao formular uma pergunta-chave, tenha em mente que experimentos geralmente não respondem perguntas que começam com Como e Por que. Essas perguntas acabam sendo muito genéricas e são melhor respondidas em uma abordagem mais qualitativa. Por isso, evite perguntas como:

Como vamos vender este produto dentro do Marketplace?

Prefira:

Qual é a demanda por terceirização dentro do produto?

Método

Agora, chegou o momento de decidir qual tipo de experimento vamos fazer. Vale teste A/B, concierge, mágico de oz, fake door, entre outros. Escolher o método certo não é fácil, por isso dê preferência por fazer as coisas mais manualmente no começo e só depois automatizá-las.

Agora, vamos entender o que esse monte de nomes significa.

Teste A/B

O que é Exibir versões diferentes de uma interface para o público, geralmente dividindo a audiência em 50/50.

Para o que serve Otimizar a conversão. Conseguimos entender se as alterações que propusemos fizeram as pessoas utilizarem mais ou não o produto.

Ferramentas Google Optimize. Se não rolar por lá, é só pedir ajuda para o time de tech.

Concierge

O que é Antes de fazermos uma melhoria ou desenharmos um serviço dentro do produto, utilizando código, rodamos ele como um serviço manual. Para que serve Validar valor. Se entendermos que as pessoas ficaram satisfeitas com o serviço, aí podemos partir para o uso da tecnologia, o que vai aumentar ainda mais a percepção desse valor.

Ferramentas Geralmente é bem manual: Whatsapp, planilhas, e-mail e etc.

Mágico de Oz

O que é Similar ao concierge, mas com um plot twist: aqui usamos ferramentas para a pessoa usuária sentir que está usando algo automatizado. Sim, igual no final do filme O Mágico de Oz.E não, isso não é spoiler, o filme tem mais de 80 anos!

Para que serve Assim como o concierge, serve para validar valor.

Ferramentas Zapier, Webflow, Google Forms, Whatsapp, E-mail. O céu é o limite.

Fake door

O que é Dentro do nosso produto, criamos um banner (ou qualquer coisa do tipo) anunciando a feature, como se ela já estivesse pronta. A pessoa clica e - tcharam -, avisamos que ainda não está pronta.

Para que serve Validar demanda. Aqui queremos saber se tem gente interessada no produto ou feature que ainda vamos criar.

Ferramentas Google Optimize. Se não rolar por lá, é só pedir ajuda para o time tech.

Assumption (fatos + suposições)

O que você realmente já sabe e o que você apenas supõe sobre o problema que você identificou?

Liste dados e fatos sobre o que você já sabe sobre o problema ou comportamento da pessoa usuária. Trazer um baseline (uma métrica já existente) deixa sua assumption mais robusta e já fornece um ponto de vista. Depois, também traga pra cá o que você supõe que seja verdade e o porquê.

Não faça:

Talentos da Revelo não sabem que trabalhamos com empresas e vagas nos EUA (ReveloTalent).

Faça:

Em campanha anterior do Google Ads, a LP do ReveloTalent converteu 0,38%. Acreditamos que dentro do produto teremos mais demanda do que fora.

Hipótese

Qual ação vai gerar qual resultado?

• Formato: fazer (tal coisa) vai gerar (tal resultado)

• Importante termos apenas uma hipótese por experimento

• O resultado deve se conectar com o que você quer aprender com o experimento

• Clareza: evite expressões ambíguas e subjetivas

• Use poucas palavras

Não faça:

Apresentar o ReveloTalent para empresas após elas enviarem um primeiro convite de entrevista para um talento da Revelo vai fazer essas empresas gostarem do serviço.

O exemplo acima é ruim, pois usa uma métrica muito subjetiva. Como vamos medir que a empresa gostou? Isso é muito subjetivo. Faça:

Apresentar o ReveloTalent para empresas após elas enviarem um primeiro convite de entrevista para um talento da Revelo vai fazer essas empresas ficarem interessadas em saber mais sobre o serviço.

Critério de sucesso

Qual é o resultado quantificável esperado? Defina o que é sucesso com o time.

Evite ter várias métricas de sucesso para um experimento. Idealmente, use um baseline (uma métrica já existente) para embasar o critério. No caso de produtos novos, sem baseline, vale pensar em uma métrica de tração (Ex.: vender para 20 pessoas). Não faça:

Empresas interessadas

Faça:

2 empresas interessadas (>%1 de conversão)

Distribuição e período

Entenda quantas pessoas usuárias passam pelo fluxo atual, a ser analisado, e por quanto tempo o teste ficará no ar para você ter um resultado estatisticamente válido.

30 empresas enviam convites para entrevistas por semana. Vamos trabalhar com 100% do tráfego por 14 dias. Ou seja, mostraremos o teste para 60 empresas.

Depois do experimento...

• Lembre-se de sempre documentar o aprendizado. Atualmente, estamos trabalhando em um repositório de pesquisas, onde você vai poder documentar seus experimentos e suas pesquisas. Enquanto ele não fica pronto, você pode documentar seu experimento com esse template lindão que usamos aqui na Revelo. É só duplicar o arquivo!

• Volte na sua hipótese para constatar se ela foi validada ou não.

Template para documentar experimentos