Una vez concediendo, como lo planteó Duhem (1962), que una hipótesis nunca puede ser puesta a prueba de manera aislada, sino que siempre es en conjunto con una serie de supuestos auxiliares, se puede proceder con un sencillo aparato teórico para representar la situación experimental:

(1)

(2)

La fórmula 1 afirma que “si la hipótesis (H) y sus auxiliares (Aux) son ciertos, entonces, se observará un determinado fenómeno (O)”. Ésta es intercambiable con la fórmula 2 para denotar más explícitamente la situación experimental, donde se plantea que “si la hipótesis (H) y sus auxiliares (Aux) son ciertos, entonces si se realiza un experimento (E), se observará determinado fenómeno (O)”. Ahora bien, el término Aux se refiere al conjunto de supuestos que acompañan a la hipótesis y que pueden entenderse de múltiples formas. Por ejemplo, se puede distinguir entre demostrados y no demostrados (la línea divisoria claramente es arbitraria), es decir, entre el supuesto de que la resonancia magnética mide de igual forma los diferentes lóbulos del cerebro (demostrado) y uno que afirma que los niños con autismo comprenden las instrucciones de una prueba (no demostrado). También pueden pensarse en términos de relevancia: entre el supuesto de que la altura de la Ciudad de México no altera la concentración en pruebas de inteligencia (irrelevante) de aquel que afirma que el estado de ayuno sí altera la concentración en pruebas de inteligencia (de nueva cuenta la relevancia también se traza de modo arbitrario). Quizás la mejor forma de caracterizar los supuestos sea distinguiendo entre aquellos que de manera explícita asume el investigador y aquellos que se encuentran implícitos; aunque sobre estos últimos deba notarse que a pesar de ser implícitos, figuran en la estructura lógica del experimento.

Con este aparato teórico se puede dar respuesta a la cuestión de si la validez (y sus amenazas) deban concebirse en términos de artefactos o de hipótesis alternativas. Un artefacto, o variable de confusión, figura en la porción Aux del conjunto, mientras que una hipótesis alternativa figura en la porción H del conjunto. En estricto sentido, lo que se pone a prueba es el conjunto, no sólo la hipótesis, siendo crítico conceder, como hizo Duhem (1962), que la falta de resultados esperados no refuta la hipótesis, sino el conjunto entero. Queda incierto si se trata de un artefacto o de falsedad de la hipótesis.

La situación se agrava cuando se consideran aquellos casos en donde los resultados observados son los esperados por la hipótesis, lo cual requiere hacer ajustes al aparato teórico, tanto en H (3) como en Aux (4 y 5):

(3) H puede ser parcialmente correcta. Por ejemplo, pueden existir variables intermitentes mediando el efecto, o una versión más compleja de H (H´).

(4) H obtiene O a pesar del factor (F) que opera en su contra.

(5) H obtiene O con un efecto mayor gracias a un factor (F) que magnifica su efecto.

Asimismo, nótese que (4) y (5) pueden pensarse términos probabilísticos como se muestra en (4´) y (5´), o en términos de tamaño del efecto (sobre este punto se volverá más adelante).

(4´) La probabilidad de O dado H y el auxiliar α (Auxα) es menor que la probabilidad de O dado H únicamente: P(O/H ∙ Auxα) < P(O/H).

(5´) La probabilidad de O dado H y el auxiliar α (Aux α) es mayor que la probabilidad de O dado H únicamente: P(O/H ∙ Aux α) > P(O/H).

Vale la pena notar que son este tipo de casos los que llevaron a Cartwright a afirmar que vale la pena sustituir el discurso sobre validez externa por uno de capacidades fijas, en donde los resultados de experimentos son interpretados en dichos términos y concede que el fracaso en la aplicación o replicación de una investigación en otra población se puede deber a factores desconocidos operando en contra (Cartwright, 2010; Cartwright y Munro, 2010); un argumento que ya ha sido aplicado a nivel teórico en el ámbito de la psiquiatría por Hubbeling (2012).

Este análisis sirve más para reconocer el papel de la incertidumbre en el diseño experimental que para la simple respuesta de la disputa entre aparatos e hipótesis alternas, toda vez que hace necesario conceder las fuentes de error tan amplias que pueden incidir en el diseño experimental. Esto se verá reforzado en el siguiente apartado.

Una revisión más detallada de la tabla A1 del anexo hace patente la creciente ambigüedad en la lista de potenciales amenazas, así como la falta de un criterio homogéneo que las unifique. Un análisis permite catalogarlas tentativamente en tres tipos de amenazas: a) aquellas que se derivan de métodos de investigación defectuosos, b) las que atañen a la estructura del modelo estadístico utilizado para la prueba de significancia de hipótesis nula (NHST en lo sucesivo, por sus siglas en inglés) y c) por último aquellas que se relacionan con hechos empíricos que se han descubierto.

Al primer tipo corresponden las supuestas amenazas derivadas del Error de tipo VII, propuesto por Onwuegbuzie (2000) para denotar la falta de verificación de supuestos estadísticos previa a la realización de análisis de varianza y covarianza; de igual modo, pertenece a esta categoría la confusión en niveles de constructo. Siguiendo esta línea argumentativa, uno podría proponer como amenazas a la validez errores tan absurdos como captura errónea de los datos o categorización errónea de variables continuas como discretas. Todos estos son casos de errores u omisiones del investigador, más que de amenazas reales a la validez, por lo que se podrían añadir cuantos errores humanos se pueda concebir.

En cuanto a la segunda categoría, a esta pertenecen las supuestas amenazas como los Errores de tipo I y II, el tamaño del efecto, entre otras. Ahora, que éstas sean fuentes de preocupación legítimas no es lo que se discute, sino más bien el considerarlas como amenazas a la validez. Todas ellas se refieren a la estructura del modelo estadístico utilizado para analizar los datos, y en última instancia son descriptivas por naturaleza. Cómo el investigador las utiliza, es un tema separado. Por ejemplo, que una prueba de hipótesis nula arroje resultados estadísticamente significativos, es sólo indicativo de algo en la medida en que el investigador toma una decisión respecto a la probabilidad de Error del tipo I asociado.

Por último, aquellas amenazas derivadas de fenómenos descubiertos incluyen casos como el efecto Hawthorne, la ansiedad de evaluación, entre otras. Respecto a este tipo de amenazas, hay dos puntos a resaltar: en primer lugar es erróneo suponer que tal lista pueda ser algún día exhaustiva; por ejemplo, considérese el caso del rango de atención de neonatos o fenómenos como la mentira o el engaño. Asimismo, ¿cómo se puede lidiar con ellas? Los intentos por controlarlas, como son incentivos para decir la verdad, o las técnicas para reducir la ansiedad de evaluación acarrean con ellas toda una serie de supuestos (Aux); más aún, nada impide que estas mismas amenazas sean manipuladas de manera funcional, por ejemplo, mediante el engaño de adolescentes de quienes se sospecha conducta rebelde en el contexto experimental. A ambas objeciones subyace el reconocimiento de que la validez siempre depende del contexto del que se trate.

Campbell (1957) fue explícito al proponer que existe una tensión inherente entre la validez interna y la externa. Propuso como norma que en casos de duda, siempre habría de ser sacrificada la validez externa en favor de la interna. Ambas tesis son intuitivamente atractivas, pues por una parte conciben a la situación experimental como una de grados de especificidad, en donde resultados aislados pero capaces de emitir juicios causales difieren de resultados amplios pero con considerable varianza de error; por la otra, considerado así el problema, es evidente que uno prefiere emitir juicios causales limitados que juicios inservibles pero amplios. Sin embargo, las implicaciones de dicha tesis son cuestionables, como se verá a continuación.

Para sostener que existe una tensión inherente entre validez interna y externa es necesario aceptar dos proposiciones como condiciones necesarias:

(6) Tesis positiva: los controles que resultan en un incremento en un tipo de validez dan lugar a un decremento en el otro tipo.

(7) Tesis negativa: ausencia de un control para un tipo de validez resulta en un incremento en el otro tipo.

Con las anteriores proposiciones en mente, considérese el caso de fenómenos empíricos como son el efecto Hawthorne o la ansiedad de evaluación. Por ejemplo, un estudio (sea experimental o correlacional) sobre las percepciones de género en donde los participantes responden un cuestionario diseñado para detectar sesgos al respecto. Conscientes de encontrarse en un experimento psicológico, los participantes buscan dar una impresión positiva de sí mismos, la cual difiere de su comportamiento regular. Los resultados, sean positivos o no respecto a una hipótesis dada, no son generalizables a la población de la que se extrajo la muestra, pues más bien constituyen el resultado de un artefacto experimental. Inversamente, si el investigador implementa controles que permitan eliminar este artefacto (y concediendo que eso logran), los resultados sí serán generalizables. En este caso, tanto (6) como (7) prueban ser falsas, toda vez que validez interna y externa aumentan o disminuyen de manera simultánea.

En segundo lugar considérese algunos casos de problemas con el uso de pruebas estadísticas (teniendo en mente que, como ya se argumentó, se trata de problemáticas diferentes en su totalidad). Un estudio realizado con una muestra pequeña de pacientes con trastorno obsesivo compulsivo encuentra diferencias estadísticamente significativas entre quienes reciben terapia cognitivo conductual y quienes reciben terapia psicoanalítica. Tal estudio está sujeto en especial a cometer Error del tipo II, así como a la posibilidad de una posterior regresión estadística a la media en cuyo caso se trataría más bien de un accidente que no se replicará en el grueso de la población. De nueva cuenta, validez externa e interna van de la mano.

En lugar de evaluar todas las posibles combinaciones y escenarios, tómese ahora un caso aún más crítico: considérese el caso de un investigador que busca poner a prueba la hipótesis de que los videojuegos violentos reducen la sensibilidad ante la agresión. El investigador utiliza un diseño de pretest/postest donde la condición experimental es el juego de tales videojuegos, y la variable dependiente es medida mediante el ritmo de EEG durante exposición a estímulos violentos. Ahora bien, si el investigador espera demasiado entre el pretest y el postest, su estudio se ve amenazado por historia y maduración, mientras que si espera poco entre una exposición y otra se ve amenazado por la instrumentación o el testeo. Con este sencillo experimento se ha logrado exponer una verdadera tensión, sólo que ésta se refiere a dos tipos de amenazas a la validez interna.

Por último, existe un caso que a primera vista pareciera justificar la tesis de una tensión inherente entre un tipo de validez y el otro: los estudios aleatorios, controlados (RCT en lo sucesivo, por sus siglas en inglés). Este tipo de estudios, considerados como el estándar en investigación clínica y medicina basada en evidencia, cuentan con la siguiente estructura: miembros de una población clínica P participan en un experimento en el que son asignados de manera aleatoria a uno de dos grupos (experimental o control), siendo los investigadores ciegos respecto a tal asignación. Después los miembros de un grupo reciben un placebo, mientras que los miembros del otro grupo reciben el tratamiento cuya eficacia se desea comprobar. Lo interesante de estos estudios, asumiendo que se realicen de manera apropiada, es que es justamente debido a las tres características descritas que logran establecer un vínculo causal entre el tratamiento y los resultados. La ceguera permite eliminar los sesgos del investigador, el placebo es elegido de tal forma que no tenga efecto causal sobre el padecimiento y la aleatorización permite homogeneizar el resto de los factores causales que podrían actuar, de tal forma que ambos grupos tienen la misma probabilidad de verse afectados por ellos. El problema radica, como lo ha expuesto Cartwright (2010), en la generalización, pues el estudio ha demostrado que el tratamiento funciona en alguna población, pero al desconocer la estructura causal que subyace a la elección de poblaciones, es incierto que los resultados se sostengan en otras. Ante esto, parece tentador suponer que sí existe una tensión entre validez interna y externa; después de todo, al homogeneizar factores de confusión entre ambos grupos, se ha perdido la posibilidad de asegurar que la población a la cual se desea generalizar tiene la misma estructura causal que la muestra experimental. Sin embargo, esta conclusión no es asegurada por la evidencia, pues la tesis negativa (7) sigue siendo falsa: eliminar la aleatorización o la ceguera no resulta en una mayor generalizabilidad. Considerados así, los RCT no deben su capacidad de emitir juicios causales a una menor generalizabilidad, sino más bien a su manejo de la incertidumbre (aquella a la cual ya se aludió al presentar el aparato teórico).

En conclusión, se ha visto cómo es discutible que exista una tensión entre la validez interna y la externa. Tal apariencia parece ser más bien el resultado de una concepción errónea sobre la situación experimental que contrapone lo específico de los vínculos causales demostrables de lo general de los vínculos no demostrables.

La investigación en el ámbito de teoría de la mente en niños con autismo comenzó con un estudio publicado por Baron-Cohen et al. (1985), en el cual los autores compararon los resultados de niños con autismo, síndrome de Down y sanos en una prueba denominada Sally-Anne. A grandes rasgos, la prueba pretende determinar si una persona tiene la capacidad de atribuir estados mentales (creencias) a otros. Para el caso de este artículo, no es relevante la validez de constructo de la prueba, ni el hecho de que se trata de un muestreo por conveniencia, más bien considérense las siguientes características de la muestra de niños con autismo: se trató de un grupo de 20 niños, con una media de edad de 11;11, una desviación estándar de 3;0, y un rango de 6;1 a 16;6. La razón de que una muestra tan pequeña y con un rango de edad tan variable sea de interés radica en la cantidad de investigaciones en torno al desarrollo cognitivo infantil y adolescente, así como en torno al tratamiento de personas con autismo. En una muestra tal existe una considerable amenaza de factores como el desarrollo cognitivo u hormonal, la exposición a tratamiento, o el simple hecho de que algunos de los niños eran adolescentes y otros niños pequeños.

Ahora bien, se podría argumentar que la muestra fue de la población con autismo en general, no sólo infantil. Sin embargo, esto pospone el problema, pues hace que la población sea causalmente inapropiada (este argumento sería equivalente a defender la aplicación de encuestas de preferencias electorales a una población de todos los ciudadanos, incluyendo niños).

Las conclusiones relevantes a extraer del presente caso son dos: por una parte este tipo de controles no serían necesarios en todos los dominios por lo que no pueden ser capturados por una lista enumerativa de amenazas, sino que más bien dependen del contexto (por ejemplo, en una investigación donde un rango de edades similar no se caracteriza por cambios cognitivos u hormonales). En segundo lugar, que tales factores, como ya se argumentó, pueden operar a favor o en contra de la hipótesis: en el presente caso se puede considerar que los adolescentes en el extremo superior de edad pasen la prueba afectando negativamente una hipótesis correcta, o puede ser que la refuten por completo en conjunción con los resultados de niños pequeños.

En un controversial estudio sobre diferencias de género, conducido por Connellan et al. (2000), se expuso a 102 bebés con una edad promedio de un día y medio a dos estímulos: un rostro humano y un objeto móvil. Los investigadores midieron el tiempo que los bebés atendían a cada estímulo para probar si había diferencias entre hombres y mujeres. La idea era que quienes dedicaban más tiempo al rostro humano, prefieren o tienen más capacidad de empatizar, mientras que el pasar mayor tiempo con el objeto móvil indica preferencia o mayor capacidad para sistematizar. Se encontró que los hombres dedicaban más tiempo al objeto y las mujeres al rostro humano. Ahora bien, tanto Fine (2010) como Nash y Grossi (2007) ya se han encargado de criticar este estudio en términos metodológicos como no haber controlado claves de género como globos de colores o juguetes en el cunero o la neutralidad de los mismos investigadores (a diferencia de otros estudios que sí han controlado estos factores). Sin embargo, y a pesar de lo fundadas de sus críticas, éstas omiten abordar los problemáticos supuestos causales respecto a las cualidades de los estímulos, ya que es por pura especulación que los investigadores asumieron la existencia de una cualidad sistematizadora inherente a los objetos móviles (cuando bien pudo haber sido el color, el tamaño, etcétera), o empatizadora correspondiente al rostro humano.

Ahora bien, es necesario reconocer una crítica de Fine (2010) que sí es acorde con la consideración de supuestos causales. La autora cuestiona el valor de aquellas investigaciones que muestran la presencia de más mujeres en posgrados en psicología (a diferencia de física por ejemplo), como evidencia a favor de esta dicotomía de género. Después de todo, argumenta, el laboratorio de psicología está igualmente cargado por estudios que se valen de diseños experimentales, análisis estadístico y una serie de elementos que sólo una conceptualización sesgada de la disciplina podría oponer a la supuesta sistematización.

Por último, considérese el caso de la teoría de simulación de amenazas (TST, por sus siglas en inglés). Revonsuo (2000) propuso la hipótesis de que los sueños cumplen la función adaptativa de ensayar respuestas a amenazas con el fin de mejorar el desempeño ante éstas. Años después, Valli et al. (2005) estudiaron varias características de los reportes de sueños (frecuencia, temas, etcétera) en dos poblaciones: una de personas traumatizadas provenientes de Irak y una de personas provenientes de un país europeo. De nuevo, se trata de un muestreo por conveniencia, toda vez que los ciudadanos de Irak tenían mayor probabilidad de ser elegidos en la muestra que los de otros países en guerra. En este caso el problema planteado consiste en asumir que es el antecedente traumático o bélico lo que determina los sueños. De modo plausible se podría asumir que la religiosidad de los sujetos iraquíes, en contraposición a la secularización de los países europeos, es la razón de dichos resultados (considerando el papel tan extenso que los sueños juegan en la religión). Lo importante de este caso es lo siguiente: el muestreo por conveniencia no es, en sí mismo, la raíz del problema, sino las variables causales que le afectan. Se puede concebir una situación en que se muestree de manera aleatoria a todos los países en guerra en un momento dado, pero si todos esos países son religiosos, la variable de riesgo seguiría operando sin ser reconocida por los investigadores. La lección a extraer de estos tres casos corresponde a la necesidad de hacer explícitos los supuestos causales a favor de un determinado diseño, muestra, o intervención en investigación.