La comunidad científica y académica usualmente usa el valor-p para aceptar o descartar explicaciones sobre algún fenómeno de investigación. Por ejemplo, un valor-p menor o igual al 5% es usualmente mostrado como evidencia a favor de no rechazar la hipótesis nula de investigación y lo que es peor, como evidencia a favor de la explicación hipotética planteada. Así, en el ámbito académico, lograr que una regresión muestrevalores-p inferiores a 5% se ha convertido en el nirvana de las investigaciones aplicadas.
Académicos e investigadores nos regocijamos cuando nuestros ejercicios empíricos o los de nuestros colegas y estudiantes arrojan valores-p inferiores a 5% y nos llenamos de frustración, descontento y desconfianza sino se logra. Algunos somos incluso más exigentes o ambiciosos y esperamos valores-p inferiores al 1%. La verdad es que entre menor son los valores-p encontrados más alegría, deleite y confianza nos generan los resultados empíricos.
Obviamente nuestra obsesión con los valores-p tiene consecuencias importantes y relevantes tanto para el avance del conocimiento como para el diseño e implementación de políticas económicas, financieras y sociales. Por esto, es de vital importancia no reducir la investigación científica aplicada a encontrar valores-p en un rango determinado.
La ASA recomienda tener en cuenta lo siguiente: 1. Los valores-p pueden indicar qué tan compatible son los datos con el modelo estadístico especificado.Usualmente la hipótesis nula se plantea como la ausencia de un efecto. Entre más pequeño sea el valor-p, mayor es la incompatibilidad estadística de los datos con la hipótesis nula, asumiendo que tanto el modelo estadístico como los supuestos subyacentes a la misma son correctos.
2. Los valores-p no miden la probabilidad de que la hipótesis bajo estudio (no la relación bajo estudio) es verdadera o la probabilidad de que los datos fueron generados sólo por chance (aleatoriamente). El valor-p da cuenta de la compatibilidad entre los datos y una explicación hipotética articulada con una hipótesis nula. El valor-p no dice nada respecto a la veracidad de la explicación hipotética planteada.
3. Conclusiones científicas y decisiones de política o de negocios no deben tomarse basadas solamente en el valor-p. El análisis de datos, la interpretación de estudios empíricos, o la evaluación de la veracidad de una hipótesis no deben basarse mecánicamente en valores-p. La inferencia científica no debe reducirse al valor-p. Un valor-p no da licencia para argumentar que una inferencia científica dada es veraz o falsa.
4. La inferencia estadística requiere transparencia y revelación suficiente del proceso utilizado para llegar a las conclusiones planteadas. Algunos investigadores reportan sólo los resultados para los cuales el valor-p es halagador. Dicha selectividad debe evitarse. Evitar el P-hacking. Nunca debe utilizarse el valor-p para decidir si algo se reporta o no, o para excluir o incluir variables en el análisis. Es decir, se deben conducir ejercicios de robustez y mostrar todo lo que funciona o no funciona. No se deben esconder resultados o evitar revelarlos simplemente por los valores-p asociados.
5. Un valor-p no mide el tamaño o la importancia de un resultado en particular. La significancia estadística no es equivalente a significancia científica en ninguna área (e.g., significancia económica o financiera). Valores-p bajos no implican necesariamente la presencia de efectos más grandes o más significativos. Un valor-p grande no implica la ausencia o poca importancia de un efecto. Cualquier efecto, sin importar que tan pequeño, puede producir un valor-p pequeño si la muestra es lo suficientemente grande y la precisión en la medición es alta. Lo contrario también es cierto. Si la precisión entre dos estimadores difiere, sus valores-p asociados serán diferentes incluso si se refieren al mismo efecto estimado.
La principal recomendación de la ASA es no confundir la inferencia científica con la inferencia estadística y prestar más atención al diseño de la investigación, la calidad de su implementación, la calidad y naturaleza de los datos (ayudado de una presentación gráfica y numérica de los mismos lo suficientemente detallada), entender bien el fenómeno bajo estudio, revelación completa y suficiente. El valor-p no debe ser un sustituto de una correcta inferencia científica.
Diego A. Restrepo Tobón.
Ph.D. en Economía y Finanzas, Universidad de Binghamton, USA.
Coordinador de la Maestría en Finanzas Sc.