Pular para o conteúdo

VSL na prática

Teste A/B de VSL: o que testar primeiro, quanto tráfego usar e como escolher o vencedor

Um teste A/B de VSL divide os visitantes entre duas versões e mede qual rende mais por visitante. Aqui está a ordem do que testar, a calculadora de amostra com um exemplo, por que parar cedo encontra vencedores falsos e como dividir o tráfego sem bagunçar a medição.

Pela equipe RevvyScalesPublicado em 11 min de leitura

Nesta página
  1. O que testar primeiro num teste A/B de VSL
  2. Por que testar uma variável por vez
  3. Quantos visitantes cada versão precisa?
  4. Por que parar o teste cedo engana
  5. Teste pelo RPV, não só pela conversão
  6. Divisão por peso e grudenta: como dividir o tráfego
  7. O teste A/B de VSL do começo ao fim
  8. Checklist antes de declarar um vencedor
  9. Perguntas frequentes

Um teste A/B de VSL manda parte dos visitantes para a versão atual (o controle) e parte para uma versão com uma única mudança, sempre a mesma versão para o mesmo visitante. Você define antes quantos visitantes cada versão precisa, espera esse número e escolhe pela receita por visitante (RPV), não só pela conversão. Comece pelo que todo visitante vê: o hook, a headline e o poster.

O que testar primeiro num teste A/B de VSL

A ordem vem de uma conta simples: um teste termina mais rápido onde passa mais gente, e uma mudança no começo do funil se multiplica por todas as etapas seguintes. O hook é visto por todo mundo que ativa o som; a oferta, só por quem chega ao pitch.

Veja o que cada tipo de teste mexe e o que medir em cada um:

O que testar, em ordem

Os primeiros segundos e o título acima do vídeo

Todo visitante vê. Mexe na taxa de ativação do som, na retenção do primeiro minuto e, por multiplicação, em tudo o que vem depois.

  • Métrica de apoio: ativação do som e retenção em 1 minuto
  • Decide: RPV

O primeiro teste para quase toda VSL.

A imagem antes do play ou do som

Decide se a pessoa toca no vídeo. Rosto, texto curto e o convite para ativar o som são as variáveis comuns.

  • Métrica de apoio: play rate ou ativação do som
  • Decide: RPV

Barato de produzir: teste várias ideias em sequência.

Preço, pacotes, garantia, bônus

Só quem chega ao pitch vê, então o teste demora mais. Em compensação, mexe direto no ticket médio.

  • Métrica de apoio: CTR do botão e ticket médio
  • Decide: RPV, nunca só a conversão

Uma mudança de oferta por teste.

Um roteiro novo contra o atual

Outro mecanismo, outra big idea, outra estrutura. Diz qual vende mais, não o porquê.

  • Métrica de apoio: retenção até o pitch
  • Decide: RPV

Vale quando os roteiros são bem diferentes.

Uma regra para escolher entre eles: olhe as métricas da VSL e teste na etapa que mais caiu contra a sua própria média. Se a taxa de ativação do som está estável e a retenção despenca no minuto 6, testar outro poster é gastar tráfego no lugar errado.

Por que testar uma variável por vez

Se a versão B tem headline nova, poster novo e preço novo, e rende mais, você não sabe qual das três mudanças fez a diferença. Pior: uma delas pode ter ajudado e outra atrapalhado, e o resultado esconde as duas. Na próxima VSL, você vai repetir o pacote inteiro sem saber o que funciona.

Uma variável por vez não quer dizer uma palavra por vez. "Hook de história contra hook de pergunta" é uma variável, mesmo que mude 40 segundos de vídeo. O que não pode é misturar coisas de etapas diferentes no mesmo teste.

A exceção é o teste de VSL inteira contra VSL inteira: um roteiro novo, com outro mecanismo ou outra big idea, contra o atual. É legítimo e às vezes é o teste que mais rende, mas ele responde só "qual das duas vende mais", nunca o porquê. Faça quando a diferença entre os roteiros for grande o bastante para valer o tráfego.

Quantos visitantes cada versão precisa?

O tamanho da amostra depende de três coisas: a conversão atual, a menor melhora que vale a pena encontrar e o nível de certeza. Quanto menor a melhora que você quer detectar, mais visitantes precisa, e a relação não é linear: para enxergar metade da melhora, você precisa de bem mais que o dobro de visitantes.

Exemplo: a VSL converte 2% dos visitantes, você recebe 1.500 visitantes por dia e só quer saber de uma melhora de pelo menos 20% (de 2% para 2,4%). A calculadora usa 95% de confiança e 80% de poder, os padrões usuais para comparar duas taxas de conversão:

Calculadora

Calculadora de amostra para teste A/B

Quantos visitantes cada versão precisa antes que uma diferença na conversão signifique alguma coisa.

Visitantes por versão21.109
Visitantes no total
42.218
Dias com o seu tráfego
28,1
Pedidos por versão na taxa atual
422

95% de confiança e 80% de poder, os padrões usuais para comparar duas taxas de conversão. Defina a amostra antes de começar e leia o resultado quando ela for atingida: parar no momento em que uma versão passa na frente encontra vencedores que não existem. Com mais de duas versões, cada uma é comparada com o controle e precisa desse número de visitantes.

São 21.109 visitantes por versão, 42.218 no total: cerca de 28 dias com o seu tráfego, e uns 422 pedidos em cada versão. Se o teste for de uma mudança grande, em que só uma melhora de 30% interessaria, a conta cai bastante. Se for um ajuste fino, em que 10% já valeria, ela explode:

Visitantes por versão, conforme a melhora que você quer detectar

Exemplo com conversão de 2%, 95% de confiança e 80% de poder

Melhora de 30% (2% → 2,6%)9.798
Melhora de 20% (2% → 2,4%)21.109
Melhora de 10% (2% → 2,2%)80.682
Calculado com a mesma fórmula da calculadora acima. Com 1.500 visitantes por dia e duas versões: cerca de 13, 28 e 108 dias.

Três consequências práticas:

  • Com pouco tráfego, teste coisas grandes. Trocar uma palavra da headline pede uma amostra que você talvez nunca junte. Trocar o hook inteiro, não.
  • Cada versão a mais custa uma amostra inteira. Com três versões (o controle e duas novas), cada uma precisa dos mesmos 21.109 visitantes: 63.327 no total, uns 42 dias a 1.500 por dia.
  • Rode semanas completas. Mesmo que a amostra feche no dia 10, espere completar a segunda semana. O público de sábado não é o de terça.

Por que parar o teste cedo engana

A confiança de 95% só vale se você olhar o resultado uma vez, no fim. Quem abre o painel todo dia e para assim que uma versão aparece na frente está fazendo vários testes seguidos, e cada olhada é uma nova chance de pegar um acaso.

Evan Miller mostra o tamanho do problema num exemplo que ele mesmo chama de quase o pior caso: uma mudança que não faz diferença nenhuma, num teste checado depois de cada visitante e encerrado no primeiro resultado "significativo" ou aos 150 visitantes, é declarada vencedora em 26,1% das vezes, mais de cinco vezes os 5% que a pessoa acha que está aceitando. A recomendação dele é direta: decidir o tamanho da amostra antes e esperar o fim do experimento (How Not To Run an A/B Test, em inglês).

Na prática de VSL, isso aparece assim: no terceiro dia, a versão B está 50% na frente, com 9 pedidos contra 6. Parece óbvio, mas é uma diferença de 3 pedidos, e ela pode sumir ou inverter muito antes dos 21 mil visitantes por versão. Pedidos são poucos e chegam em grupos; o começo de qualquer teste é barulho.

Teste pelo RPV, não só pela conversão

A conversão conta pedidos; o RPV conta dinheiro. Numa VSL com pacotes de 1, 3 e 6 potes, as duas métricas podem apontar para lados opostos.

Imagine um teste de oferta com 10.000 visitantes em cada versão. A versão B coloca o pote único em destaque e vende mais pedidos, mas de ticket menor:

A versão que converte mais nem sempre rende mais

Números ilustrativos, 10.000 visitantes por versão

Rende mais por visitanteVersão A (controle)

  • 200 pedidos: conversão de 2,0%
  • Ticket médio de US$ 120
  • Receita de US$ 24.000
  • RPV de US$ 2,40

Mais pedidos de 3 e 6 potes.

Converte mais, rende menosVersão B (pote único em destaque)

  • 230 pedidos: conversão de 2,3%
  • Ticket médio de US$ 95
  • Receita de US$ 21.850
  • RPV de US$ 2,19

15% mais pedidos, 9% menos receita por visitante.

A versão B converteu 15% mais e rendeu 9% menos por visitante. Se você escolhesse pela conversão, trocaria uma VSL que rende US$ 2,40 por visitante por outra que rende US$ 2,19, e veria o ROAS cair sem entender por quê. Compare o RPV de cada versão com o seu custo por visitante e com o seu ROAS de equilíbrio.

Um cuidado honesto: o RPV varia mais que a conversão, porque cada pedido tem um valor diferente. A calculadora acima dimensiona o teste pela conversão; para decidir pelo RPV, trate esse número como o mínimo e prefira esperar mais.

Divisão por peso e grudenta: como dividir o tráfego

Dois detalhes técnicos decidem se o teste mede alguma coisa:

Por peso. Cada versão recebe uma parte do tráfego: 50/50 é o mais rápido para chegar à amostra. Uma divisão 80/20 protege a receita quando a versão nova é arriscada, mas custa tempo: a versão com 20% precisa dos mesmos 21.109 visitantes, então o teste pede 105.545 visitantes no total, uns 70 dias a 1.500 por dia.

Grudenta por visitante. Quem viu a versão A na segunda-feira e volta na quarta precisa ver a versão A de novo. Se o visitante cai cada vez numa versão, as duas recebem crédito pela mesma venda, a pessoa que voltou para comprar não acha a oferta que viu e a medição se mistura. A divisão grudenta guarda a versão de cada visitante novo e repete nas visitas seguintes.

Na RevvyScales, as pastas dividem o tráfego entre VSLs inteiras por peso, com a atribuição grudenta por visitante novo, em todos os planos (pastas e testes A/B, em inglês). Dentro de uma mesma VSL, os testes de headline, poster, oferta e velocidade de reprodução também são por peso e grudentos, a partir do plano Growth (teste de oferta, em inglês). A tabela da pasta mostra o RPV de cada versão ao lado da parte do tráfego:

Tabela de uma pasta na RevvyScales com duas VSLs: sessões, play rate, retenção até o pitch, conversão do botão, pedidos, receita, RPV e a parte do tráfego de cada uma
  1. RPVa receita por visitante de cada versão
  2. Tráfegoo peso de cada VSL na divisão
Duas VSLs numa pasta da RevvyScales, 50% do tráfego para cada uma (dados de teste, painel em inglês nesta captura).

Existe ainda a divisão inteligente (plano Growth e acima), que move o tráfego da pasta para as VSLs que rendem mais por espectador, julgando dias completos. Ela serve para ganhar mais enquanto o tráfego roda; para aprender qual versão é melhor, com uma leitura limpa, um teste de pesos fixos é mais simples de interpretar.

O teste A/B de VSL do começo ao fim

Cada etapa abaixo traz o que fazer, por que importa e o que costuma dar errado. Abra uma por vez:

Um teste A/B de VSL, etapa por etapa

1Escreva o que vai mudar e por quê

O que acontece: Uma frase: "trocar o hook de pergunta por um hook de história vai segurar mais gente no primeiro minuto".

Por que importa: Uma hipótese diz qual métrica de apoio olhar e o que aprender se perder.

O que dá errado:

  • Testar "algo novo" sem saber o que se espera
  • Mudar várias coisas de uma vez

Leia mais: Hook de VSL: os 6 tipos de lead e como testar

2Calcule os visitantes e a data mínima

O que acontece: Na calculadora: conversão atual, menor melhora que vale encontrar, tráfego diário e número de versões.

Por que importa: É o que impede parar cedo e chamar acaso de vitória.

O que dá errado:

  • Querer detectar melhoras pequenas com pouco tráfego
  • Esquecer que cada versão a mais pede outra amostra

3Configure os pesos e a atribuição grudenta

O que acontece: Pesos iguais para chegar à amostra mais rápido; o mesmo visitante sempre na mesma versão.

Por que importa: Sem divisão grudenta, a mesma pessoa vê as duas versões e a medição se mistura.

O que dá errado:

  • Mandar fontes de tráfego diferentes para cada versão
  • Mudar os pesos no meio do teste

4Deixe rodar sem mexer

O que acontece: Mesma campanha, mesmo orçamento, mesmo checkout. Olhe só se está tudo funcionando: vídeo tocando, vendas chegando.

Por que importa: Qualquer mudança no meio vale para as duas versões de jeitos diferentes.

O que dá errado:

  • Trocar o criativo do anúncio durante o teste
  • Pausar uma versão porque "está perdendo" no terceiro dia

5Leia o resultado na data marcada

O que acontece: Compare o RPV das versões, confira as métricas de apoio e veja se a amostra e as semanas completas foram atingidas.

Por que importa: O RPV junta conversão e ticket; as métricas de apoio explicam o porquê.

O que dá errado:

  • Escolher pela conversão quando o ticket mudou
  • Declarar vencedor sem a amostra

Leia mais: Métricas de VSL: fórmulas e onde está o vazamento

6Anote e comece o próximo

O que acontece: Hipótese, datas, amostra, resultado e o que se aprendeu. O vencedor vira o novo controle.

Por que importa: Um registro evita repetir testes e mostra o que move o seu público.

O que dá errado:

  • Não registrar os empates

Um teste que empata também ensina: aquela variável não move o seu público, e o próximo teste deve mirar outra etapa. Anote os empates junto com as vitórias. O guia de testes A/B de VSL (em inglês) mostra o que registrar em cada teste e os erros mais comuns em detalhe.

Checklist antes de declarar um vencedor

Marque cada item antes de mudar o tráfego para a versão nova:

Antes de declarar um vencedor

0 de 9 feitos

Depois que um vencedor é declarado, ele vira o novo controle, e o próximo teste começa dele. Uma sequência de testes pequenos e honestos, um por vez, é o que separa uma VSL que melhora mês a mês de uma que só troca de versão. Comece pelo hook da VSL, que é visto por todo mundo.

Perguntas frequentes

Quanto tempo deve durar um teste A/B de VSL?

O tempo que levar para cada versão atingir a amostra calculada antes do teste, arredondado para semanas completas. Com conversão de 2%, uma melhora mínima de 20% e 1.500 visitantes por dia divididos entre duas versões, são cerca de 28 dias. Com menos tráfego, ou buscando melhoras menores, o teste fica mais longo; parar antes da amostra encontra vencedores falsos.

Posso testar mais de duas versões ao mesmo tempo?

Pode, mas cada versão precisa da amostra inteira, porque cada uma é comparada com o controle. Três versões pedem 50% mais tráfego que duas; quatro, o dobro. Com muito tráfego, testar várias ideias de hook ao mesmo tempo economiza semanas. Com pouco tráfego, faça um teste de duas versões por vez, começando pela mudança maior.

O que é divisão de tráfego grudenta?

É quando cada visitante novo recebe uma versão e continua vendo essa mesma versão nas visitas seguintes. Sem isso, quem volta para comprar pode cair na outra versão, não encontrar a oferta que viu, e a venda fica dividida entre as duas na medição. A divisão grudenta mantém cada pessoa numa versão só, e o resultado descreve o que cada versão fez.

Dá para fazer teste A/B de VSL com pouco tráfego?

Dá, mas só para mudanças grandes. Com poucos visitantes por dia, a amostra para detectar uma melhora pequena pode levar meses. Teste coisas que tendem a mudar muito o resultado, como um hook completamente diferente ou uma oferta nova, e aceite que ajustes finos de palavra não vão ter resposta confiável. Uma melhora de 30% pede menos da metade dos visitantes de uma de 20%.

Devo escolher o vencedor pela conversão ou pelo RPV?

Pelo RPV, a receita por visitante. A conversão conta pedidos, mas não o valor deles. Uma versão que vende mais potes únicos pode converter mais e render menos, porque o ticket médio cai. O RPV junta conversão e ticket num número só e se compara direto com o custo por visitante. Use a conversão e as outras etapas para entender por que o RPV mudou.

Fontes

  1. How Not To Run an A/B Test — Evan Miller