p-valor, intervalo de confianza y tamaño del efecto explicados con un mismo ejemplo

El p-valor, el intervalo de confianza y el tamaño del efecto suelen estudiarse por separado. Eso hace que muchos estudiantes los memoricen sin entender cómo se complementan.

Vamos a explicarlos con un mismo ejemplo.

El ejemplo

Queremos evaluar si un programa de estudio reduce la ansiedad antes de un examen. Medimos ansiedad antes y después en el mismo grupo. Calculamos la diferencia:

Si $d_i>0$, la ansiedad ha bajado. Supongamos que la diferencia media observada es:

Es decir, de media, el grupo baja 4.2 puntos en ansiedad.

Qué pregunta responde el p-valor

El p-valor responde a una pregunta condicional:

Si en realidad el programa no tuviera efecto, ¿sería raro observar una diferencia como la encontrada o más extrema?

No es la probabilidad de que la hipótesis nula sea cierta. Tampoco es la probabilidad de que el resultado sea casual en lenguaje cotidiano.

Si planteamos:

y obtenemos $p=0.03$, diríamos que, bajo $H_0$, el resultado observado sería poco compatible con una diferencia media nula al nivel del 5%.

Qué aporta el intervalo de confianza

Un intervalo de confianza da un rango plausible para el efecto. Por ejemplo:

Esto indica que la reducción media compatible con los datos podría estar entre 0.6 y 7.8 puntos, bajo el procedimiento usado.

El intervalo aporta algo que el p-valor no da: magnitud e incertidumbre.

Qué aporta el tamaño del efecto

El tamaño del efecto intenta responder:

¿La diferencia es pequeña, moderada o grande en términos prácticos?

Una medida frecuente es:

donde $s_d$ es la desviación típica de las diferencias. Si $\bar{d}=4.2$ y $s_d=8.4$:

Podríamos interpretarlo como un efecto moderado, aunque siempre depende del contexto y del área.

Cómo se complementan

Los tres indicadores responden a preguntas distintas:

• p-valor: evidencia contra la hipótesis nula.
• Intervalo de confianza: rango plausible del efecto.
• Tamaño del efecto: magnitud práctica del cambio.

Un buen informe no se queda en "p menor que 0.05". Debe explicar cuánto cambia la variable y si ese cambio importa.

Ejemplo de redacción

Una conclusión razonable sería:

El programa se asoció con una reducción media de 4.2 puntos en ansiedad. La diferencia fue estadísticamente significativa, $p=0.03$, con un intervalo de confianza del 95% entre 0.6 y 7.8 puntos. El tamaño del efecto fue moderado, $d_z=0.5$.

Esa frase informa de dirección, evidencia, incertidumbre y magnitud.

Errores frecuentes

• Decir que $p=0.03$ significa un 3% de probabilidad de que $H_0$ sea cierta.
• Informar solo "significativo" o "no significativo".
• Ignorar el tamaño del efecto.
• No mirar si el intervalo incluye valores poco relevantes.
• Confundir significación estadística con importancia clínica o práctica.

Qué mirar en un examen

Si te dan una salida de software, localiza:

1. 1.La diferencia o coeficiente estimado.
2. 2.El p-valor.
3. 3.El intervalo de confianza.
4. 4.El tamaño del efecto si aparece.
5. 5.La frase de interpretación.

Para evitar confusiones habituales, lee también errores más comunes en Inferencia Estadística y qué prueba estadística utilizar.