Product Analytics

Guía para escalar la experimentación product-led, por Amplitude y Reforge

Eve Salvatore
Marketing Lead
En el contexto competitivo de hoy en día, la experimentación product-led es más que una buena idea, es una necesitad para los equipos de producto e ingeniería para cuantificar su impacto. Pero es necesario que cultiven una cultura de experimentación y que la infundan en cada fase del proceso de desarrollo de producto para construir confianza.

Así comienza el playbook Build with Confidence: Your Guide to Scaling Product-Led Experimentation (Construye con confianza: Tu guía para escalar la experimentación product-led), una guía creada por expertos, co-escrita por Amplitude, la solución líder en Product Analytics, y Reforge, la academia líder en Producto y Growth.

La guía fue creada para ayudar a transformar la forma en que las empresas innovan, mediante la creación de un sólido programa de experimentación directamente relacionado con los procesos de desarrollo de productos, y en este artículo vamos a repasar algunos puntos clave para que tengas en cuenta.

Si quieres leer el playbook completo (en inglés) puedes descargarlo aquí.

La experimentación product-led es una necesidad para los equipos de producto, datos e ingeniería para cuantificar su impacto y reducir el riesgo de sus inversiones.

¿Por qué es importante construir una cultura de experimentación?

Los mejores equipos de producto saben que lo que realmente importa no es solamente entregar outputs, sino los resultados que generan. Una cultura de experimentación permite quitar el riesgo en proyectos que generan valor al desglosar metas de negocio grandes en pequeñas hipótesis a testear.

Pero la cultura no es solo técnica. Es el producto de las personas, los procesos integrados, la comunicación y la tecnología.

Personas:

Es indispensable contar con un equipo capacitado y data-driven que tome la responsabilidad para resolver los problemas.

Procesos integrados y comunicación:

La experimentación debe estar integrada en el proceso de desarrollo de un producto desde el minuto cero, y la comunicación entre equipos es vital, desde comunicar las victorias hasta los fracasos, compartiendo insights y discutiendo ideas.

Tecnología:

Un gran equipo necesita contar con herramientas que permitan que se realice un mejor trabajo.

Si bien las personas, los procesos, la comunicación y la tecnología son los componentes fundamentales para una cultura de experimentación fuerte, hay otros elementos esenciales.

  • Un Champion ejecutivo: una persona que provee recursos, genera momentum y alienta a aprender de los errores.
  • Generación de hipótesis tempranas y rigurosas: la experimentación no es algo en lo que piensas al final, es importante determinar hipótesis y sus métricas de éxito antes de comenzar.
  • Abrazar el fracaso: utiliza los errores para aprender de ellos. Si no te equivocas, quizás no estás impulsando tantas nuevas ideas…
  • Desglosa grandes desafíos en pequeñas hipótesis: no pongas todos los huevos en una misma canasta, testea features y pequeños componentes uno por vez, analiza qué funciona y qué no. Descubre qué componentes validan tus datos e itera más rápidamente.
  • Cultiva la curiosidad: enfócate en los resultados y haz que el equipo se entusiasme con ellos. Comienza por lo que ya está, que será más sencillo de medir.
  • Construye un sistema de experimentación confiable.

La importancia de la experimentación y cómo comenzar

La experimentación hace posible evaluar rápidamente el impacto de las decisiones de producto antes de comprometerte a ellas, lo que reduce el riesgo de pérdidas de dinero con lanzamientos fallidos.

Pero solo funciona si se hace bien… 

La importancia de un buen diseño de experimentación

Planificación (previo al experimento)

  • Documenta las razones por las que realizas el experimento.
  • Investiga para validar tus observaciones. La investigación puede ser cuantitativa, cualitativa, insights de la competencia y mucho más.
  • Crea una hipótesis con métricas y KPI’s de producto claras.
  • Crea una alineación de los próximos pasos en función de cada resultado posible: tanto si cada variante es un éxito o si el test no alcanza la significancia estadística.
  • Otras consideraciones clave pueden ser la duración del test, la audiencia si es un test dirigido, la división del tráfico, el umbral crítico, etc.
  • Articula de forma clara que está siendo testeado y modificado. Podría ser una modificación en el diseño, una nueva feature o experiencia, y más.
  • Confirma que el experimento puede ser medido usando herramientas de analytics.

Durante el experimento

  • Crea dashboards de análisis para el monitoreo constante.

Luego del experimento

  • Analiza los resultados
  • Articula el resultado del experimento y avanza con los siguientes pasos que determinaste previamente.

Medir el éxito del A/B Testing

Como cualquier programa de trabajo, el A/B Testing necesita su propio método para medir el éxito.

  • Velocidad: empresas que apenas comienzan deberían medir la cantidad de test hechos, ya que son un buen indicador de si la compañía a podido crear una cultura de experimentación o no.
  • Proceso: a medida que el programa evoluciona, el foco debería virar hacia la calidad de los experimentos. Es importante que se rijan por métodos científicos, creando hipótesis a partir de investigaciones basadas en evidencia. También es vital que el flujo esté documentado y optimizado.
  • Ratio de éxito: es crucial también medir el éxito de los experimentos, en promedio el ratio debería ser de 1 éxito por cada 5 tests. Pero no hay que perder de vista que los fracasos también nos sirven.
  • Hitos de experimentación: en última instancia una empresa debería apuntar a la democratización de la experimentación dentro de todos los equipos.

Algunas buenas prácticas:

  • Genera una cadencia regular de experimentación
  • Comienza con tests de bajo riesgo
  • No te obsesiones con una cantidad de test arbitraria, es cuestión de prueba y error

Ideación de un experimento y Roadmap Development

Saber qué y cuándo testear es crucial tanto para el experimento como para el programa de experimentación. Un test equivocado puede hacer que la confianza en el programa se pierda por completo, lo que desembocaría en la toma de malas decisiones y perjudicaría la cultura data-driven de una organización.

Es importante entender cada elemento de una plataforma o producto y como se alinean con los objetivos del negocio. Una recomendación es armar un Metrics Tree para mostrar cómo distintas features o productos se relacionan entre sí y con los indicadores de Growth. 

Otra forma de ideación es un Sun Diagram, donde el “sol” es la meta y los “rayos” son los flujos de trabajo. Cada flujo está organizado según un framework, y a su vez, podemos dividirlo en columnas para sub-categorizar los flujos por tipo de experimento.

¿Cómo validar conceptos de experimentación?

  • Painted door test (Test de la puerta pintada): Consiste en ofrecer un botón o link para atraer el interés de los clientes en una nueva feature o producto. La desventaja es que puede tener consecuencias como decepción o alienamiento de los usuarios, pero nos provee de muchos datos e insights para investigar.
  • Sign-ups: Consiste en pedirle a los usuarios que hagan sign-up para estar informados sobre una feature o producto.
  • Investigación: Implica observar que están haciendo otras empresas y estudios publicados que haya sobre test que hayan hecho en el mismo tipo de feature.
  • Experimentos similares: Mirar experimentos anteriores de la misma envergadura y área del producto para usar como guia.
  • Salto de fe: A veces la única forma de validar un experimento es dar un salto de fe y avanzar. El A/B testing es una gran herramienta para tomar decisiones, pero a veces es necesario simplemente tomarlas.

¿Cuándo hacer tests?

  • Cuando tu hipótesis se alinea con la estrategia del negocio
  • Cuando tienes suficiente tráfico
  • Cuando tus datos informan la toma de decisiones
  • Cuando el costo de un test es menor a su potencial impacto.

Feature Management y experimentación

A diferencia de un producto físico, los productos digitales pueden modificarse tan rápido como surgen las ideas. Podemos utilizar técnicas como feature flags que permite activar o desactivar ciertas features que quieres que tus usuarios experimenten.

Normalmente, nuevas features se envian a cohorts específicos, no la base de usuarios completa, así un equipo de desarrollo puede recopilar feedback de los usuarios antes de lanzar nuevas features. 

Es vital que la plataforma de experimentación tenga Identity Resolution, es decir, que pueda reconocer al mismo usuario incluso si está accediendo desde diferentes dispositivos o contextos, para no correr el riesgo de identificar erróneamente a los usuarios, lo que desembocaría en una experimentación con fallas y malos datos.

Cuando combinas Feature Management e Identity Resolution, tienes la habilidad de hacer experiencias a los cohortes de usuarios correctos, pudiendo crear reglas que te permitan controlar quien recibe qué features y cuándo.

Si tu plataforma de experimentación tiene un enfoque sólido de Identity Resolution y entrega, los equipos de producto pueden realizar experimentos y lanzamientos de nuevas features más a medida usando los mismos procesos y tecnologías que potencian el resto de tu desarrollo de producto.

Herramientas como Amplitude Experiment ponen el poder del Feature Management y la experimentación en las manos de empresas de todos los tamaños.

Construir o comprar… ¿cómo elijo una plataforma de experimentación?

Las plataformas de experimentación exitosas permiten innovar más rápidamente, crear una cultura data-driven y una mejor alineación de los stakeholders. Los equipos de Producto e Ingeniería deberían tener en cuenta estos cinco factores:

  • Costo: ¿cuánto cuesta una herramienta externa vs construir una in-house?
  • Tiempo: ¿cuánto tiempo demora implementar una herramienta externa vs desarrollar una interna?
  • Expertiz: ¿el equipo actual cuenta con el know-how técnico para construir y mantener un software de experimentación?
  • Personalización: ¿las soluciones externas cuentan con las capacidades que la empresa necesita?
  • Ventaja competitiva: evalúa con qué opción tendrás las features que te ayuden a hacer mejores productos que tus competidores.

¿Quieres saber más sobre experimentación o sobre cómo Amplitude Experiment puede ayudarte a escalar la experimentación en tu empresa? ¡Escríbenos!

//Facebook Pixel