Customer engagement

A/B Testing para encontrar la mejor manera de comunicarnos con tus usuarios

Martina Dighero
Retention Analyst

La única receta para el éxito es experimentar constantemente

Son muchos los gurús que bimestralmente nos presentan la receta del éxito. Pareciera ser que a la hora de comunicar, existen fórmulas que siempre deberían funcionar. ¿Es así? ¿Cómo un mensaje podría impactar a todos por igual?

No todas las marcas tienen exclusivamente un tipo de usuario, y aunque el servicio o los productos que se ofrezcan puedan ser los mismos, son diferentes las razones por las cuales diferentes grupos de clientes nos pueden elegir. Entonces, ¿qué podemos hacer para encontrar la mejor manera de comunicarnos con nuestros usuarios? ¿Qué nos garantizará el éxito? Aplicar uno de los mandamientos del trabajo en la Retention Agency en Product Minds: Experimentarás como forma de trabajo (y también de vida).

La experimentación nos permite como individuos, equipos y empresas generar cambios cuidados en las experiencias y comunicaciones que enviamos, mientras recolectamos información sobre el impacto que tienen estos ajustes. Nos permiten construir hipótesis y aprender qué cambios están mejorando nuestros resultados, e impactando positivamente en nuestros usuarios.

Experimenta con Braze

Braze, como plataforma de Customer Engagement, nos ofrece diferentes componentes a la hora de crear Canvas. No se trata únicamente de enviar mensajes, sino de poder orquestrarlos de tal manera que impacten al usuario ideal en el momento correcto. A la hora de experimentar, nos ofrece 5 elementos en particular que nos van a facilitar esta tarea.

1. Variantes + Control Group

Tanto en las campañas como en los Canvas tenemos la posibilidad de crear diferentes variables y aplicar un Control Group. El Control Group es un imprescindible a la hora de experimentar: nos tenemos que asegurar de apartar un grupo, de cualquier tipo de comunicación para verdaderamente medir si el envío de nuestros mensajes tiene un impacto por sobre no enviar mensajes, y a su vez, si ese impacto es positivo o negativo. 

Hay algunas situaciones donde crear Variantes es altamente fructífero: 

  • Cuando deseamos probar un formato nuevo por primera vez. ¿Nunca enviaste un mensaje in-app? Realiza una prueba viendo el impacto que tiene enviarla contra no hacerlo a un determinado grupo de usuarios.
  • En campañas/canvas que están constantemente enviándose. Este podría ser el caso de la campaña de Onboarding, donde todos los días tus usuarios recién registrados ingresan. Es muy importante experimentar sobre momentos claves del Customer Journey.
  • Cuando tienes más de una idea sobre qué creatividad podría funcionar. No te quedes con la duda, compruébalo.
  • Cuando deseas investigar a qué tipo de mensajes responder mejor tus usuarios. Muchas veces nuestros usuarios priorizan el tono cercano por sobre el tono comercial. Realiza una prueba y mide los resultados.

Extra - Intelligent Selection: ¿Deseas primero realizar una prueba, y luego elegir a tu ganador en base a tus resultados? ¿O dejar a la tecnología optimizar la distribución de los públicos? En la configuración de tu campaña/canvas puedes elegir cómo distribuir a tus usuarios entre las diferentes variables. También puedes seleccionar la opción de “Intelligent Selection” para que un algoritmo, cada 12 hs, tome los resultados preliminares y ajuste la distribución en base las conversiones de los usuarios.

2. Experiment Path

El componente de “Experiment Path” nos permitirá generar diferentes variables dentro de un Customer Journey. En pocas palabras, es una variable dentro de un camino. Por ejemplo, en un Canvas donde ya se envió el anuncio de una promoción a través de un Email, podríamos crear un Experiment Path para testear cuál es el mejor canal para enviar un recordatorio. En este componente también tendremos la opción de incluir un Control Group.

El éxito de una de las variables dentro del Experiment Path se mide a partir del Evento de Conversion establecido a nivel Canvas. Además, dentro del Experimento podremos configurar la cantidad de días que deseamos que se trackeen las conversiones para ser asignadas a una variable del Experimento en particular. 

Al igual que en las Variantes, podemos elegir cómo distribuir porcentualmente a nuestros usuarios y elegir si deseamos que automáticamente se defina la variante ganadora, o Winning Path. 

3. Action Path

Los Action Path son elementos que se utilizan para crear, definir y triggerear diferentes caminos en base a las acciones que los usuarios toman durante un determinado tiempo. De esta forma, si tenemos un Canvas enviado cada vez que un usuario se registra podremos poner un Action Path para enviar a los usuarios por diferentes caminos en base a la acción que realizan posteriormente, como por ejemplo, navegar una sección específica de la app, realizar su primera compra, ver las promociones disponibles. Para cada una de estas acciones podremos crear un camino único.

Extra - Ranking: Por default, el ranking está desactivado (off). Cuando un usuario ingresa a un Action Path y realiza alguno de los eventos seleccionados en ese Path, avanzará inmediatamente a través del camino que se desprende del mismo. Si un usuario no realiza ninguna de esas acciones, avanzará a través del camino “Everyone Else” luego del período de evaluación establecido en el componente. En caso de que el ranking esté activado (on or enabled), se registrarán todas las acciones que realice el usuario durante el tiempo de evaluación. Una vez terminado el mismo, se enviará al usuario por el camino de la acción que haya sido configurada primero. Es decir, el orden en el que se eligieron las acciones para ese Action Path funciona como un ranking. 

4. Audience Path

A través de un Audience Path podrás enviar a tus clientes por el camino más relevante a partir de la definición de hasta 8 grupos creados a partir de filtros y segmentos. Al igual que el Action Path, estos grupos tienen un orden de prioridad. Si un usuario clasifica en 2 grupos establecidos, seguirá el camino del grupo que esté primero en el Ranking. 

¡Importante! Si deseas hacer una distribución al azar de tus usuarios y tu Canvas tiene configurado un “Rate Limit”, no utilices el Audience Path sino el Experiment Path. En caso de usar el Audience Path la distribución no será pareja entre los grupos. 

5. Decision Split

Este componente permite crear caminos con una lógica simple de sí/no. De esta forma se podrán crear caminos alternativos para los usuarios en base a una acción o un atributo. Un caso típico es utilizar un Decision Split para evaluar si un usuario abrió el último mail enviado, o si dió click en la In-App del último step. A su vez, nos puede permitir separar a los usuarios en base a atributos más específicos como si cuentan o no con un método de pago, o si realizaron una compra en los últimos 30 días.

Todos estos elementos te permitirán experimentar, crear diferentes caminos y desbloquear tu potencial digital a la hora de crear Customer Journeys en Braze. Son muchas las ideas y aplicaciones para todos estos componentes, y en el entusiasmo, puedes querer aplicarlos todos a la vez. Sin embargo, para realizar un buen experimento hay algunos pasos que sugerimos que sigas.

No es la herramienta, sino cómo la usas. 

Veamos paso a paso cómo crear un Experimento de la forma correcta, en sólo 6 pasos.

  1. Determina qué testear

Antes de comenzar debes decidir qué evaluarás y qué esperas que suceda tras realizar ese experimento. La realidad es que decidir qué testear casi siempre comienza con preguntas. 

¿Un compañero propuso una nueva creatividad y jura que funcionará mejor? Realiza una prueba. ¿No sabes qué oferta funcionará mejor para un segmento específico? Corre un experimento. 

  1. Establece una hipótesis

La clave para una prueba efectiva es contar con una hipótesis clara. Al final del experimento sabremos sobre qué hemos medido el éxito, y qué hemos aprendido. 

¿Crees que enviar mensajes con un tono emocional por sobre comercial llevará a mejores tasas de conversión? ¿Crees que nombrando el producto olvidado del carrito el usuario será más propenso a abrir la app nuevamente? Sea cual sea tu teoría, una hipótesis es el primer paso para realizar una prueba exitosa. 

  1. Ten en cuenta la significancia estadística

Cuando realizas un experimento, generalmente obtienes un resultado. Si el mismo no es estadísticamente significativo, es posible que el resultado se deba a probabilidad aleatoria. Sin significación estadística, se corre el riesgo de tomar decisiones basadas en errores o datos no concluyentes, lo que conduce a estrategias de marketing pobres y recursos desperdiciados.

  1. Considera el período de prueba

El tiempo elegido para realizar un período de prueba puede afectar la precisión y confiabilidad de los resultados de su prueba. Si bien tener una venta de prueba corta puede parecer lo más eficiente, a menudo produce resultados engañosos ya que pueden verse afectados por la estacionalidad, otras campañas o el contexto del momento de esa ventana. Piensa cuánto tiempo necesitas para obtener un resultado significativo y asegúrate de cumplir ese período de prueba. 

  1. Utiliza Control Groups

Los grupos de control son esenciales en las pruebas porque proporcionan una base contra la cual medir el impacto de las variaciones que se prueban. Al comparar el desempeño del grupo de control con el del grupo de prueba, puede determinar si una variación en particular realmente está impulsando el resultado deseado o si solo se debe al azar o a factores externos.

  1. Reporta e Itera

Una vez realizado el experimento llega la hora de medir los resultados. ¿Qué variante funcionó mejor? ¿Se comprobó o desmintió la hipótesis? Además del evento de conversión que hayamos decidido para nuestro Canvas, podemos tomar otras variables en consideración como, por ejemplo, el Open Rate, Clicks, CTR. No te olvides de registrar estas métricas en un reporte, y ¡a seguir experimentando! Con resultados concluyentes sobre tu experimentación puedes mantener la variable ganadora, duplicarla y probar otro elemento. Por ejemplo, si tras un experimento dimos con que el tono emocional funciona mejor, en una segunda instancia podemos crear 2 variables con tono emocional y probar qué combinación de canales funciona mejor.

¿Qué testearás hoy?

Te comparto 7 elementos que puedes elegir a la hora de testear. Siempre realiza de a una prueba a la vez para poder saber con certeza la razón por la cual una variante o un mensaje fue más exitoso que otro.

  • 💬 Mensaje <> Audiencia: Puedes probar enviar el mismo mensaje a diferentes segmentos, o elegir un segmento y probar qué mensaje puede funcionar mejor. Por ejemplo, puedes probar qué sucede dentro de tu audiencia perteneciente a la Gen Z si en vez de destacar un descuento sobre un producto, destacas el impacto positivo que tiene el mismo sobre el ambiente.
  • ⏰ Timing: El tiempo de envío puede ser una excelente herramienta para enviar mensajes efectivos. Testea si enviar un mensaje a una determinada hora del día es más efectivo o si utilizar la función de Intelligent Timing funciona mejor. 
  • ✏️ Contenido: Prueba diferentes elementos de sus mensajes, como el copy en sí, ya sea para incluir un tono diferente de comunicación, una oferta o personalización, o para exhibir emojis o creatividades ricas como imágenes, GIF o videos. Una vez que encuentres un ganador, ese se convierte en tu nuevo control para que puedas seguir optimizando.
  • 📌Ofertas/Beneficios: Comprende qué ofertas son más relevantes para tu audiencia enviando diferentes beneficios disponibles a tus usuarios. ¿Qué prefieren tus usuarios: un descuento sobre la compra o envío gratis? Ponlo a prueba.
  • 🕔 Delay entre steps: Al probar el tiempo entre los mensajes o los journey steps, puedes estructurar más fácilmente tus campañas para que tu marca permanezca en la mente de los clientes sin agobiarlos.
  • 💯 Cadencia: Experimenta hasta encontrar la cantidad óptima de mensajes que se necesitan para que tus usuarios realicen una acción determinada, como registrarse, suscribirse o comprar. 
  • 🌀 Combinación de Canales: Diferentes canales sirven para diferentes propósitos. Prueba qué combinación de canales es adecuada para tus diferentes grupos de usuarios. ¿Los millennials necesitan un In-App para reforzar el mensaje de una push? ¿Los boomers prefieren recibir emails? Es hora de experimentar.

Mantén el espíritu de experimentación dentro de tu equipo y los resultados llegarán por sí solos. En el camino aprenderás sobre tus usuarios, tu producto y las tendencias que impactan en tu marca. Si tienes alguna pregunta, no dudes en contactar a la Retention Agency de Product Minds. Será un placer compartir una reunión de Brainstorming con tu equipo.

//Facebook Pixel