En “simple”, el valor p (p-value) es como una señal que nos dice si los resultados de un experimento AB son significativos o no, básicamente es quien nos dice si esa confianza estadística obtenida es confiable o no.
Cuando realizamos un experimento AB, estamos probando dos o más versiones diferentes de algo, para ver cuál funciona mejor. Medimos métricas importantes, como las tasas de conversión, progresion, etc.. para determinar cuál de las dos versiones es la ganadora.
El valor p es como una medida de incertidumbre. Nos dice cuán probable es que los resultados que estamos viendo sean simplemente el resultado del azar en lugar de una diferencia real entre las dos versiones que estamos probando.
- Valor p bajo (pequeño): Si el valor p es bajo, generalmente menor que 0.05 (aunque este umbral puede variar), significa que hay una alta probabilidad de que las diferencias que estamos viendo sean reales y no simplemente un accidente o azar. En otras palabras, si el valor p es bajo, es más probable que la versión que estamos probando sea realmente mejor.
- Valor p alto (grande): Si el valor p es alto, generalmente mayor que 0.05, significa que las diferencias que estamos viendo podrían ser solo el resultado del azar. En este caso, no podemos estar seguros de que una versión sea realmente mejor que la otra.
Así que, en resumen, el valor p nos ayuda a tomar decisiones informadas sobre si una versión de un sitio web o aplicación es realmente mejor que la otra. Si el valor p es bajo, podemos tener más confianza en nuestros resultados y tomar decisiones basadas en ellos.
Sin embargo, es importante recordar que el valor p no nos dice cuán grande es la diferencia entre las dos versiones, solo nos dice si la diferencia es probablemente real o simplemente el resultado del azar. Por lo tanto, es esencial combinar el valor p con otros datos y consideraciones para tomar decisiones informadas en un experimento AB.