Quando se trata de técnicas de pesquisa, há um exemplo que gosto de compartilhar. Em 23 de abril de 1985, a Coca-Cola lançou uma nova versão de seu refrigerante clássico chamado New Coke. Esta fórmula foi testada exaustivamente antes do lançamento. Até 200.000 pessoas experimentaram o novo refrigerante. A maioria concordou que o sabor era melhor. Após seu lançamento, houve indignação global. No final das contas, a Coca-Cola deixou de levar em conta outros motivos pelos quais os consumidores compravam seu refrigerante. A Coca-Cola compartilhou essa história em seu site. Eu recomendo a leitura.
Você pode estar se perguntando por que compartilhei essa história e como ela se relaciona com os testes A / B. A lição principal é quando você está conduzindo uma pesquisa, você não quer apressar o processo. Reserve um tempo antes de iniciar os testes para encontrar todas as variáveis possíveis e como deseja testar cada uma.
Então, o que é o teste A / B?
Se você não estiver familiarizado, o teste A / B é um método de pesquisa em que duas versões de um item são testadas para descobrir qual atinge os melhores resultados. Receio que não seja tão simples quanto parece. É necessário um processo de análise estatística para ajudar a interpretar seus resultados e garantir que as decisões de negócios tomadas, mesmo as pequenas, tenham impacto.
Comece sua jornada para o mundo estimulante da análise estatística com os conceitos abaixo:
Média, variância e amostragem
Significado estatístico
Valores P
Poder estatístico
Intervalos de confiança e margem de erros
Regressão à média
Segmentando
Variáveis de confusão e fatores externos
Esses tópicos e links são todos de um artigo muito bem escrito intitulado “Estatísticas de teste A / B: um guia fácil de entender”. Eu prometo que não estou tentando te dar lição de casa. Esses tópicos são simplesmente a base para uma análise estatística adequada. Sem eles, você pode muito bem não realizar os testes A / B.
Com essa base em mente, agora quero analisar como você abordaria o teste A / B. Se você já ocupou ou está atualmente em uma posição de vendas, tenho certeza de que já experimentou os testes A / B de pequenas maneiras. O teste é conduzido enviando o mesmo e-mail com assuntos de e-mail diferentes ou alterando aspectos de seu script de chamada fria para ver qual versão tem os melhores resultados. O problema dessa abordagem é que ela é imprecisa. Múltiplas variáveis podem ser alteradas, o tamanho da amostra pode ser muito pequeno ou o título da empresa de quem recebe a chamada ou e-mail pode ser diferente.
O problema mais comum geralmente é o primeiro que mencionei. É comum modificar várias variáveis não intencionalmente. Com o teste A / B, você se concentrará em apenas uma variável para testar, com todo o resto sendo constante. Se você gostaria de alterar várias variáveis em um teste, você poderia ir com o processo estatístico multivariado, mas essa é uma conversa que é melhor salvar para um dia diferente. Eu recomendaria a leitura do blog de Analytics-Toolkit.com se você estiver interessado.
Gosto de dividir o processo de teste A / B em três etapas: Pesquisa, Teste e Análise.
Etapa 1: Pesquisa e Definição do Teste
A pesquisa inicial em seus processos de vendas existentes é uma parte vital do processo de teste. Nesta etapa, você desejará testar todas as variáveis relacionadas aos testes A / B. O teste pode incluir a taxa de resposta atual de modelos de e-mail existentes, a taxa de fechamento para scripts de chamadas telefônicas e até mesmo a hora do dia em que o vendedor entra em contato com os clientes em potencial.
Após o teste inicial, você precisará reunir todas as informações relevantes do cliente potencial disponíveis no momento. Esses dados geralmente incluem seu setor, sua função atual, a localização dos clientes em potencial e qualquer outra informação que você queira testar.
Gastar tempo agora para realizar essa pesquisa e coletar os resultados pode economizar muito tempo no futuro. Esta pesquisa também o ajudará a enquadrar adequadamente os testes A / B que você planeja realizar.
A partir daqui, você vai querer escolher se deseja criar um teste unicaudal ou bicaudal. Um teste unilateral testará apenas as mudanças em uma direção, enquanto um teste bicaudal testará as mudanças nas direções positivas e negativas.
Tem havido uma discussão contínua sobre qual é o melhor, mas eu prefiro testes unilaterais para testes A / B. Ainda recomendo ler mais sobre cada um. Você deve começar com este blog intitulado “Testes de uma cauda vs. Testes de duas caudas (isso importa?)” .
Depois que tivermos nosso tipo de teste escolhido, agora você pode criar as hipóteses nula e alternativa.
Acho que um exemplo funciona melhor aqui, então digamos que você deseja testar a taxa de abertura entre uma linha de assunto de email existente e uma nova versão mais curta que você e sua equipe escreveram. Acreditamos que a linha de assunto mais curta do e-mail fará com que mais e-mails sejam abertos. Nossas hipóteses nula e alternativa estão abaixo.
Hipótese nula (H0): Não há diferença significativa nas taxas de abertura de email entre as linhas de assunto de email longas e curtas.
Hipótese alternativa: a linha de assunto curta do email tinha mais emails abertos do que a linha de assunto mais longa.
Agora você pode consolidar sua amostra. Amostragem é outro tópico que à primeira vista parece simples, mas encontrar o tamanho de amostra perfeito requer uma compreensão do nível de confiança exigido, da margem de erro e do tamanho da população. Quanto maior o nível de confiança e menor a margem de erro, mais tempo demorará o teste. É bom abordar esses tópicos com seu orçamento e limite de tempo em mente.
A Qualtrics tem um artigo e uma ferramenta incríveis disponíveis para ajudar a determinar o tamanho da amostra de que você precisa.
Agora, você pode reunir os clientes em potencial que formarão sua amostra com a qual você planeja executar o teste.
Vamos pegar nosso exemplo anterior de que você deseja testar a taxa de abertura entre uma linha de assunto de email existente e uma nova versão mais curta que você e sua equipe escreveram.
Você sabe que deseja um nível de confiança de 95% (o escore Z é 1,96) com uma taxa de erro de 5% (os valores padrão que muitos estatísticos usam para esta análise). Para o tamanho da população, você planeja enviá-lo a todos os executivos C-Suite que lidam com vendas Business to Business nos Estados Unidos em empresas com 1.000 funcionários ou mais.
Não há um censo disponível para o número de executivos C-Suite nos Estados Unidos, mas podemos fazer uma boa estimativa. Geralmente, as empresas contêm no máximo dois executivos C-suite que ajudam nas vendas. Existem estatísticas disponíveis afirmando que existem 23.533 empresas nos Estados Unidos com 1.000 funcionários ou mais. Podemos pegar esse número e multiplicá-lo por 2 para o número de executivos C-suite. Isso nos dá uma população de 47.066.
A Qualtrics oferece uma calculadora de tamanho de amostra ideal gratuita . Usar isso nos dá um tamanho de amostra ideal de 382.
Etapa 2: Teste
A etapa de teste é aquela que considero a mais empolgante. Aqui você poderá criar e começar seu teste totalmente.
Dependendo do que você está testando, certifique-se de ter as ferramentas necessárias para rastrear os resultados. Isso geralmente inclui recursos como rastreamento de engajamento de e-mail , rastreamento e gravação de chamadas telefônicas e software de análise ou relatório.
Com as ferramentas necessárias em mãos, vamos voltar ao exemplo que dei anteriormente. Temos nosso tamanho de amostra de 382 clientes potenciais e nossos dois e-mails criados.
Agora você pode enviar um dos e-mails para 191 contatos e o segundo e-mail para outros 191 contatos. Depois que os e-mails são enviados, não há mais nada a fazer a não ser esperar. Recomendo escolher um período de tempo com antecedência que dará aos contatos tempo suficiente para abrir o e-mail. Para este exemplo, vamos dar a eles uma semana.
Após o fim da semana, temos nossos resultados. Eu criei os resultados para o exemplo abaixo.
Linha de assunto longa (variável de controle): 191 e-mails enviados
Emails abertos: 92
Emails não abertos: 99
Linha de assunto curta: 191 e-mails enviados
Emails abertos: 121
Emails não abertos: 70
Com nossos resultados, já pode ser visto que a linha de assunto curta resultou em um maior número de e-mails sendo abertos. Ainda recomendo prosseguir com a terceira etapa, a análise.
Passo 3: Análise
A análise de um teste A / B é mais definida como testar a nova mudança contra a hipótese nula ou a variável de controle. O que você está procurando é se os resultados são estatisticamente significativos.
Existem muitas fórmulas envolvidas na análise completa. Se você deseja fazer todos os cálculos manualmente, recomendo a leitura do artigo “Testes unicaudais x bicaudais - tudo o que você possivelmente precisa saber Teste A / B unicaudal x bicaudal”. Tenho certeza de que existem muitos estatísticos que lidam com os cálculos manualmente. No nosso caso, existem muitos recursos online gratuitos e pagos que podemos usar para os cálculos.
Eu recomendo a calculadora de teste A / B disponível no AB Testguide.
Usando esta calculadora, podemos inserir nossos resultados e descobrir que os resultados são estatisticamente significativos. Agora podemos dizer que estamos 95% confiantes de que a linha de assunto mais curta do e-mail aumentou a taxa de abertura de e-mail.
Próximas etapas
Espero que agora você possa começar a formular totalmente seus próprios testes A / B que podem melhorar a geração de leads, o número de conversas e o número de negócios fechados.
Os testes A / B podem ser criados para quase todos os aspectos do seu ciclo de vendas. Eu recomendo começar pequeno, como com seu script de vendas. Divirta-se com isso!