Por Eduardo L´Hotellier

Vivemos em um tempo em que cada produto ou conteúdo disputa a atenção do cliente com mais centenas de ofertas, abas e aplicativos. A cada notificação que o usuário recebe no celular, por exemplo, você pode estar perdendo cliques e conversões de consumidores que vão simplesmente esquecer da sua marca.

Pensando nisso, para entender as preferências do seu público e assim engajá-lo, podemos usar os Testes A/B. Esse recurso serve para compreender a resposta a diferentes hipóteses dentro de um mesmo cenário. O grau de dificuldade para essa avaliação varia de acordo com o volume do site, a ferramenta utilizada para análise, hipóteses a serem testadas, assim como a complexidade de mensuração da hipótese.

O objetivo básico é encontrar a melhor forma de aumentar a conversão de sua meta – que pode ser um clique, a visualização de vídeo, interação, contato, compras e muitos outros, dependendo do cenário com o qual você está trabalhando.

É importante ressaltar ainda que ele não serve somente para descobrir falhas, mas também para aperfeiçoar o que já está bom. Por isso, vamos entender melhor o Teste A/B.

Ele é configurado da seguinte forma: formula-se uma hipótese B, considerando que tanto A quanto B têm variações que as tornam diversas o suficiente para serem testadas. É claro que quanto mais mudanças houver entre as duas opções, mais difícil será saber qual componente específico teve alteração. Contudo, nem sempre o propósito é saber qual é esse componente, mas sim o conceito e a hipótese levantada.

Para ficar mais claro, seguem alguns exemplos de elementos que são testados comumente:

  • Texto;
  • Disposição de produtos em prateleiras;
  • Rótulo;
  • Inclusão de depoimentos de consumidores;
  • Texto e botão Call to Action;
  • Imagens;
  • Links e widgets de redes sociais.

Testes mais avançados podem incluir também UX, trials gratuitos, maneiras em que o preço é colocado, vídeo e muito mais.

É possível também avaliar features inteiras: esse processo se chama painted door e pode ser usado para mensurar a reação dos usuários a uma ferramenta ou página que ainda não existe. Colocar um botão em um site para ver o número de pessoas que clicam nele pode ser um exemplo.

Você não precisa – e nem deve – reinventar a roda a cada novo teste A/B, mas pequenas mudanças podem trazer resultados muito significativos. Porém, lembre-se que quando o teste é feito sem se considerar os efeitos desejados, pode se tornar irrelevante e até contraproducente, levando a resultados falsos estatisticamente.

Em um site com baixa visitação, por exemplo, é irrelevante estatisticamente testar diferenças sutis, porque um clique ou interação podem ser meramente frutos do acaso. É necessário definir, antes de se começar o teste, um número mínimo significativo de visitas e interações – que serão a sua amostra -, com base nas estatísticas do site, para que ele possa ser considerado válido. Quanto mais dados, mais realísticos e confiáveis serão os resultados. Quanto menos dados, maior o risco.

A Amazon é um bom caso para ilustrar esse modelo: como seu volume de acessos é imenso, eles conseguem testar constantemente mesmo features pequenas, porque até as diferenças sutis conseguem gerar impactos significativos na base pesquisada.

Além da aplicação estatística, é importante também saber de fato o que medir. Qual parte do funil será avaliada? Qual o objetivo do teste? Como medir o impacto no funil inteiro? Essas são algumas questões que precisam ser levadas em consideração na hora de definir o teste mais adequado às necessidades da empresa.

Na tabela abaixo você encontra algumas ferramentas que podem ajudá-lo com os Testes A/B, organizadas na ordem das mais simples para as mais sofisticadas.

artigo-getninjas

Por exemplo, aqui no GetNinjas realizamos um teste A/B para encontrar a melhor página para conversão de pessoas que precisavam de serviços de pedreiros. Essas eram as hipóteses que criamos:

getninjas2 getninjas3

A ideia nesse caso era tornar nossa página mais focada no assunto pedreiro, algo como um hotsite. Testamos ter então opções de tipo de serviço abertas e elementos mais visuais (os cards com imagens diretamente relacionadas aos tipos de serviços e todos como call-to-action). A hipótese era a de que isso incentivaria o usuário a ter mais confiança e se sentir mais motivado a fazer o pedido.

Ao realizarmos o teste, nossa hipótese ficou provada. Confira no gráfico o desempenho das páginas (a linha azul é a hipótese A, e a linha verde a hipótese B):

getninjas4-copia

artigo-3_superior

A hipótese B, que era a alternativa, obteve mais sucesso dentro do período e da amostra que fixamos como a ideal para o nosso experimento.

É importante lembrar: não existe mágica. Um feature que deu certo em um site pode não ter sucesso em outro. Cada público em cada momento irá reagir de maneira diferente. O que funciona hoje pode não funcionar daqui a seis meses ou um ano. Quem não testa, não avalia seus resultados e não gera insights estratégicos. Por isso, não conte com a sorte, desconfie, teste, adeque sua estratégia para ter dados mais confiáveis e validar ou declinar hipóteses.


20150917-getninjas-baixa-05Eduardo L’Hotellier é CEO e fundador da GetNinjas, uma plataforma que conecta clientes a prestadores de serviços com mais de 150 mil profissionais cadastrados em mais de 100 categorias em todo o Brasil. A empresa já captou mais de R$ 47 milhões de investimento da Monashees Capital, Kaszek Ventures e Tiger Global desde seu início, em 2011.