Prueba de hipótesis sobre el impacto de cupones en las ventas de un ecommerce (caso real)

Las pruebas de hipótesis pueden ser una ayuda muy útil para la toma de decisiones en digital. Se trata de un método estadístico que nos permite saber si una suposición que tenemos sobre algo es válida o no, o mejor dicho probablemente cierta.

Un cliente, en cuyo ecommerce hacemos uso frecuente de cupones para animar las ventas en periodos de peor rendimiento, me preguntó si era una táctica efectiva. Quise responder sin caer en generalidades (“la tasa de conversión es mejor…”) y recordé que en un examen de Estadística Aplicada de la carrera de Investigación de Mercados justo me cayó el test de Kruskal-Wallis para un análisis similar sobre el impacto de campañas promocionales. Con RStudio todo es mucho más fácil y no tengo que saberme las fórmulas de memoria ni hacer los cálculos a mano, así que procedo.

He decidido empezar con un análisis sencillo y ver la relación de ventas con cupones. Pero después de este ejercicio voy a realizar otros para incluir más variables de influencia, así como determinar qué porcentaje de descuento es más interesante aplicar para el beneficio.

1º PASO: PREPARO LA FUENTE DE DATOS

Antes de empezar el análisis, empleo un buen rato en la tarea que considero más tediosa: limpiar y preparar mi fuente de datos. Realizo las siguientes operaciones:

• Extraigo todas las ventas desglosadas por fecha de los últimos 5 meses y medio, periodo en el que hemos lanzado 5 cupones de índole general (para todos los usuarios), con distintos porcentajes de descuento, de entre 10 y 20%.

• Elimino ventas duplicadas, así como ventas no completadas, y todos los campos que no son imprescindibles para este análisis o similares.

• Excluyo cupones de carácter permanente ligados a usuarios o canales concretos (como los proporcionados desde campañas de paid o asociados a primera compra bajo suscripción) dado que no tienen un carácter de temporalidad y no quiero que distorsionen el resultado.

• Creo algunos campos nuevos: entre ellos, uno de valor numérico que indica las ventas totales y otro categórico que indica SI o NO en función de si el usuario usó cupón o no.

Una vez cargada mi fuente de datos en RStudio, le doy a cada campo el formato necesario para que se interprete bien la info (date, numérico, factor) y genero una agrupación de datos para que me agrupe el total de ventas por día diferenciando si se ha usado cupón o no. El resultado de mi agrupación es el siguiente, pasando de 144 a 109 observaciones (filas):

ventas_por_fecha <- cupones %>%
group_by(Fecha.del.pedido, Cupón) %>%
summarise(Ventas = sum(Ventas), .groups = «drop»)

2º PASO: COMPRUEBO SI LOS GRUPOS SIGUEN UNA DISTRIBUCIÓN NORMAL (SAPHIRO WILK) CON VARIANZA HOMOGÉNEA (LEVENE)

Para seleccionar la prueba de hipótesis adecuada para este análisis, primero tenemos que:

1 – Saber si los datos del grupo de control y del grupo experimental siguen una distribución normal (requerirá una prueba paramétrica) o no (requerirá una prueba no paramétrica). Para evaluar la distribución de dichos datos usaré la prueba de Shapiro Wilk sobre las ventas totales. Mi grupo de control serán los casos de venta sin promoción y mi grupo experimental serán los casos de venta con promoción. Para ello, antes comenté que había creado una columna en mi fuente de datos a la que llamo “Cupón” con dos valores posibles: SI/NO. No obstante, creo que no me interesa tanto la normalidad en todo el conjunto de datos, sino de cada grupo por separado, dado que los días con cupón suele ser un volumen pequeño de días del mes, y aplico la siguiente función:

by(ventas_por_fecha$Ventas, ventas_por_fecha$Cupón, shapiro.test)

Obtengo el siguiente resultado:

Grupo sin cupón: W = 0.51033; p-value = 3.656e-16  Grupo con cupón: W = 0.57272; p-value = 1.446e-05

El valor del estadístico de Saphiro-Wilk (W) es bajo en ambos grupos (está lejos de 1), lo cual sugiere que las ventas sin cupón y con cupón no siguen una distribución normal. Además esto se ve reforzado por el histograma que genero, donde vemos como la curva no se parece a una campana de Gauss y está sesgada a la derecha (muchos valores bajos, pocos altos) con varios picos.

Por otro lado, el p-valor es extremadamente pequeño (prácticamente 0 y muy por debajo de 0,05, el valor de significación estadística) por lo que rechazamos la hipótesis nula de normalidad (H0= las ventas siguen una distribución normal) a favor de la hipótesis alternativa (H1= las ventas no siguen una distribución normal)

2 – Verificar la homogeneidad de las varianzas, también llamada homocedasticidad (la varianza es constante entre ambos grupos) Para ello se pueden utilizar las pruebas de Bartlett y Levene. En mi caso, como concluyo que los datos no siguen una distribución normal, aplico la prueba de Levene.

leveneTest(Ventas ~ Cupón, data = ventas_por_fecha)

Obtengo el siguiente resultado:

Conclusión: Cómo no se cumple la primera condición y los datos no siguen una distribución normal, aplicaremos una prueba no paramétrica para probar nuestra hipótesis principal (que los cupones influyen en el crecimiento de ventas de la web) 

3º PASO: APLICACIÓN DE UNA PRUEBA NO PARAMÉTRICA (MANN-WHITNEY U) PARA LA HIPÓTESIS PRINCIPAL

Formulo mi hipótesis:

Hipótesis nula (H0): “El uso de cupones no ha incrementado las ventas diarias”

Hipótesis Alternativa (H1) “El uso de cupones ha incrementado las ventas diarias”

Para probar mi hipótesis, hay varias pruebas no paramétricas como la Kruskal-Wallis, Mann-Whitney U, Friedman u otras. Hay que tener en cuenta que estas pruebas no paramétricas no se centran en las medias, sino que comparan las posiciones relativas de los datos, a menudo usando la mediana como la medida de tendencia central. Aunque la media de ventas en el grupo CON cupón es mayor (1.66 vs 1.22), la mediana es una medida menos sensible a los valores atípicos o extremos y por tanto más adecuada. En este caso aplicaremos la prueba de Mann-Whitney U, ya que sirve para comparar si hay diferencias significativas entre dos grupos independientes (CON o SIN cupón) cuando no se puede asumir distribución normal de los datos (ventas). La función es la siguiente:

wilcox.test(Ventas ~ Cupón, data = ventas_por_fecha)

Y obtengo el siguiente resultado:

W = 604, p-value = 0.2211. El p-valor es 0.2211 es mayor que 0.05, por lo que no podemos rechazar la hipótesis nula, es decir, no hay evidencia suficiente para concluir que hay un impacto significativo de las ventas según esta prueba.

4º PASO: OBSERVACIONES DE LA PRUEBA DE HIPÓTESIS

No hay evidencia suficiente de que los cupones contribuyen al crecimiento de las ventas, pero hay factores que pueden estar afectando a este resultado:

1. Tamaño de la muestra: he trabajado con una muestra de 144 observaciones, asociado a un histórico de 5 meses y medio. Sería conveniente repetir el análisis con un mayor histórico. 
2. Nº de observaciones por grupos descompensado (cantidad limitada de días con cupones): El número de observaciones del grupo experimental (con cupón general) es muy pequeño en comparación con el grupo de control, porque el cupón general suele funcionar pocos días al mes (7/31 días aprox.) En una repetición del ejercicio, podría agrupar los datos por semanas, en lugar de por días.
3. Producto con pocas ventas diarias: este ejercicio está realizado sobre una web que registra un número de ventas diario normalmente muy pequeño porque se trata de un producto muy novedoso y poco popular (siendo el máximo diario de ventas de 6) Las pruebas estadísticas suelen requerir que los efectos sean grandes.
4. Otros efectos: durante el periodo de análisis pudieron influir otros factores que no están teniéndose en cuenta (como estacionalidades, eventos de marketing, etc)

5º REPLANTEO ANÁLISIS EN BASE A RESULTADOS

A raíz del resultado obtenido en el test de Mann-Whitney U, que me impide confirmar mi hipótesis de que los cupones influyen en las ventas, decido repetir la prueba agrupando los datos por semana, pues hay que tener en cuenta que los cupones temporales suelen tener duración de una semana al mes, aprovechando algún acontecimiento importante (San Valentín, Black Friday, etc) y no vuelven a lanzarse hasta el mes siguiente. El desglose semanal evita que haya mucha diferencia en el número de observaciones de cada grupo.

De entrada, en el test de Saphiro-Wilk vemos que la distribución de los datos de ventas que NO usa cupón sí sigue ahora una distribución normal, mientras que las del grupo que SÍ usa cupón, no sigue una distribución normal. Se asume igualdad de varianzas entre grupos, pero como no se cumple la normalidad en uno de los grupos, tenemos que proceder con una prueba no paramétrica. Veamos el histograma de la distribución:

En este caso, vuelvo a aplicar la prueba de Mann-Whitney U. Y el resultado que obtengo es el siguiente:

W = 342.5; p-value = 0.006499. El valor p = 0.006499 es menor que 0.05, por lo que rechazamos la hipótesis nula. Esto indica que existe una diferencia estadísticamente significativa entre las ventas con y sin cupón. La presencia del cupón parece tener un impacto en las ventas.

• Me sale un aviso junto con el resultado del contraste de hipótesis (cannot compute exact p-value with ties”). Al parecer el test encontró valores idénticos (“ventas exactamente iguales entre observaciones), y por eso no puede calcular el p-valor exacto. Esto es totalmente aceptable en la práctica, sobre todo cuando se agrupan datos por semana. Y aunque el p-valor no sea totalmente preciso, y sea una aproximación, sigue siendo confiable.

Espero que os haya gustado este artículo. Como he comentado al principio del post, ampliaré este ejercicio con algunos análisis posteriores, por lo que puedes suscribirte a mi blog y estar al tanto de actualizaciones al respecto. Tengo en mente:

• Realizar un análisis que analice la influencia de más variables (como el día de la semana, la tasa de conversión, etc)
• Realizar un análisis que me permita descubrir qué porcentaje de descuento es más óptimo para el beneficio, dado que en algunos ecommerce un porcentaje de descuento alto recorta mucho el margen y puede no compensar el volumen de ingresos aportado.