Comparar dos tratamientos

Ejemplo 1

El grupo A (medicamento nuevo) promedia 8 días de enfermedad menos que el grupo B (placebo). Si reordenar al azar las etiquetas de los grupos rara vez produce una diferencia tan grande como 8, entonces la diferencia observada es estadísticamente significativa.

Ejemplo 2

Se comparan dos métodos de enseñanza en 30 estudiantes, divididos al azar en 15 y 15. El método A promedia 82, el B promedia 76, una diferencia de 6 puntos. Junta los 30 resultados y vuelve a dividirlos al azar 1,000 veces. Si 180 de esas divisiones producen una diferencia de 6 o más, el valor p es 0.18 — bastante común por azar como para no poder llamar distintos a los métodos.

Ejemplo 3

Error común: leer un valor p grande como prueba de que los tratamientos son idénticos. Un valor p de 0.18 significa que los datos son compatibles con el puro azar, no que la diferencia sea cero. Un estudio pequeño a menudo no puede detectar un efecto real: la misma diferencia de 6 puntos medida en 300 estudiantes en vez de 30 podría dar un valor p cercano a 0.01. No hallar una diferencia y hallar que no hay diferencia son conclusiones distintas.