Incrementalidade sem orçamento gigante: teste de holdout para PMEs

Incrementalidade é a parte das vendas que só aconteceu porque o anúncio rodou. Dá para medir sem orçamento de grande marca: você desliga o anúncio em um grupo parecido com o que continua anunciando e compara o resultado dos dois. Em uma conta pequena, a forma mais simples é um holdout geográfico, em que uma região fica sem anúncio durante o teste.

Atribuição conta quem clicou; incrementalidade conta quem não compraria sem o anúncio

Atribuição distribui o crédito entre pontos de contato. Ela não sabe o que teria acontecido sem o anúncio. Quem já ia comprar, mas clicou antes no seu anúncio de remarketing, aparece como conversão no relatório e como venda que você teria de qualquer jeito.

Por isso as duas perguntas são diferentes:

• Atribuição: a quais anúncios essas vendas foram creditadas?
• Incrementalidade: quantas dessas vendas deixariam de existir se eu desligasse o anúncio?

A segunda só se responde com um grupo de comparação, isto é, gente (ou lugares) que não viu o anúncio. A ideia é a mesma de qualquer experimento: um grupo de teste recebe o anúncio, um grupo de controle, também chamado de holdout, não recebe, e a diferença entre os dois é o efeito.

As plataformas medem lift, mas nem sempre para o tamanho da sua conta

Antes de montar algo manual, vale saber o que existe pronto. Conferido hoje na documentação oficial.

• Google Ads

  O que a documentação diz

  O Conversion Lift por geografia faz a divisão em regiões e serve para mensurar também conversões offline e outros canais. Está disponível para vários tipos de campanha, mas o acesso exige falar com um representante do Google. A página diz que o requisito de orçamento tende a ser maior que o dos estudos por usuários e que o resultado é mais ruidoso e não vem fatiado por demografia.

• Meta

  O que a documentação diz

  O estudo de lift cria um grupo de teste aleatório de contas do Accounts Center e um grupo de controle que não vê anúncios; treatment_percentage e control_percentage somam 100. O acesso é limitado e a documentação manda falar com o representante da Meta. Depois que o estudo começa, não dá para mudar o treatment_percentage nem os objetivos.

Duas consequências práticas. Primeiro, para quem investe pouco, esses testes podem simplesmente não estar disponíveis. Segundo, mesmo disponíveis, eles medem uma plataforma por vez; a documentação do Google destaca justamente que o formato por geografia permite olhar vários canais.

Se você não tem acesso, o desenho abaixo responde a mesma pergunta com mais esforço manual e menos precisão.

Um holdout geográfico manual cabe em uma conta pequena

O desenho mínimo tem quatro peças. Ele é um método estatístico geral, não uma ferramenta de plataforma, então os cuidados abaixo são julgamento nosso, não regra oficial.

1. 1.Duas regiões comparáveis. Escolha áreas (estados, regiões metropolitanas) com volume de vendas na mesma ordem de grandeza e comportamento parecido. Chame de A a que continua com anúncio e de B a que fica sem.
2. 2.Um período anterior. Antes de desligar qualquer coisa, olhe semana a semana quanto B vende em relação a A. Se a razão B/A é estável, A serve de régua para B. Se ela oscila muito, a comparação não vai te dar nada confiável.
3. 3.Um período de teste que cubra o ciclo de compra. Se o cliente leva duas semanas entre o primeiro clique e a compra, um teste de uma semana mede quase nada. Use pelo menos o ciclo completo e semanas inteiras, para não misturar fim de semana com dia útil.
4. 4.Uma região de controle de verdade. Em B, exclua a região do direcionamento de todas as campanhas pagas que você controla, não só de uma.

A leitura vem em três passos: calcule a razão B/A do período anterior, aplique essa razão às vendas de A no teste para estimar quanto B venderia com anúncio e compare com o que B vendeu de fato.

Um exemplo com a conta feita

Os números abaixo são hipotéticos. Uma loja online anuncia em duas regiões. Em 4 semanas antes do teste, A fez 200 pedidos e B fez 180, logo B/A = 180 ÷ 200 = 0,9. Depois, por 4 semanas, o anúncio ficou ligado só em A, com R$ 12.000 de investimento. A plataforma atribuiu 120 conversões a esse investimento.

• Razão B/A antes

  Valor

  0,9

  Conta

  180 ÷ 200

• Pedidos em A no teste

  Valor

  260

  Conta

  observado

• Pedidos esperados em B com anúncio

  Valor

  234

  Conta

  0,9 × 260

• Pedidos em B no teste (sem anúncio)

  Valor

  198

  Conta

  observado

• Pedidos perdidos em B

  Valor

  36

  Conta

  234 − 198

• Pedidos incrementais em A

  Valor

  40

  Conta

  36 ÷ 0,9

• Parcela incremental das vendas de A

  Valor

  15,4%

  Conta

  40 ÷ 260

• CPA pelo relatório

  Valor

  R$ 100

  Conta

  12.000 ÷ 120

• CPA incremental

  Valor

  R$ 300

  Conta

  12.000 ÷ 40

O relatório diz que cada venda custou R$ 100. O teste diz que o anúncio gerou 40 vendas que não existiriam sem ele, uma em cada três das 120 atribuídas, e que cada venda extra custou R$ 300.

Isso não significa que o anúncio não vale a pena. Depende da margem: se o lucro de cada pedido cobre R$ 300, ele continua pagando a conta. O que muda é a decisão, que passa a se basear no custo da venda que só existiu por causa dele.

Onde o teste engana

Um holdout manual tem limites que você precisa ter em mente antes de agir sobre o resultado.

• Oscilação normal. Se a razão B/A varia, por exemplo, entre 0,85 e 0,95 de semana para semana antes do teste, uma diferença de poucos pontos no teste não prova nada. Compare o efeito com essa oscilação histórica; só confie quando ele for claramente maior.
• Poucas conversões. Com poucos pedidos por região, uma única venda grande muda o resultado. O desenho funciona melhor quando cada região tem volume razoável por semana.
• Vazamento entre regiões. Gente viaja, e mídia nacional (TV, influenciadores, e-mail) chega às duas regiões. O efeito do canal testado fica diluído.
• Eventos no meio do teste. Promoção, feriado ou queda do site em só uma das regiões invalida a comparação. Anote tudo o que acontecer.
• Efeito de longo prazo. Quatro semanas sem anúncio dizem pouco sobre o que acontece em seis meses, como o efeito sobre marca e recompra.

Como aplicar

1. 1.Escolha uma pergunta só, por exemplo: "o remarketing paga a própria conta?".
2. 2.Liste candidatas a A e B e calcule a razão B/A semana a semana nas últimas 8 a 12 semanas; fique com o par de razão mais estável.
3. 3.Defina a duração antes de começar, cobrindo pelo menos um ciclo de compra completo, e não encerre o teste antes só porque o resultado parece bom.
4. 4.Exclua B de todas as campanhas pagas relevantes e registre a data.
5. 5.Ao final, refaça a tabela do exemplo com os seus números e compare o efeito com a oscilação histórica da razão.
6. 6.Decida com a margem na mão: o CPA incremental cabe no lucro por pedido?
7. 7.Se o resultado for ambíguo, diga isso ao cliente e repita com período mais longo ou outro par de regiões, em vez de forçar uma conclusão.

Fontes

• Google Ads Ajuda: Comparing lift types
• Meta for Developers, Marketing API: Lift studies