Introducción

Las revisiones sistemáticas de ensayos clínicos aleatorizados y controlados se consideran los estudios de investigación con el más alto nivel de evidencia, que sustentan la toma de decisiones en todas las áreas clínicas^1,2. Este tipo de estudios son fundamentales dentro de la práctica de la cardiología, una de las áreas de la medicina que cuenta con mayor cantidad de ensayos clínicos, a partir de los cuales se realizan múltiples metanálisis. Estos últimos consisten en la síntesis y agregación estadística de todos las indagaciones sobre un mismo tema, siguiendo un método explícito y predeterminado^3,4.

La realización de un metanálisis permite aumentar la potencia estadística, es decir, la probabilidad de detectar un efecto estadísticamente significativo en caso de que éste realmente exista; permite aumentar la precisión, responder preguntas no planteadas en los estudios primarios, resolver controversias generadas a partir de ensayos clínicos con resultados contradictorios y generar nuevas hipótesis^2,4,5. Sin embargo, no siempre es posible realizar un metanálisis tras la realización de una revisión sistemática de la literatura, como en el caso de encontrar una alta heterogeneidad, sesgos significativos entre los estudios primarios incluidos y sesgo de publicación^1,5,6,7.

Con el término heterogeneidad se hace referencia a cualquier tipo de variabilidad entre los resultados de los estudios primarios incluidos en una revisión sistemática, que puede ser clínica, si se debe a las diferencias entre los participantes, intervenciones y desenlaces obtenidos en los estudios primarios; o metodológica, si se debe a la variabilidad de los diseños de los estudios, presencia de sesgos o diferencias entre los métodos utilizados para el análisis de la información^1,5,7,8.

La presencia de heterogeneidad es medida a través de determinadas pruebas y métodos estadísticos^5,8,9. Por ejemplo, esta se puede evaluar gráficamente mediante la visualización del forest plot, observando la superposición de los intervalos de confianza de los resultados, y por medio de pruebas estadísticas como Q de Cochrane, el índice de inconsistencia o de Higgins (I²) y el índice H. (definido como la Q de Cochrane sobre el número total de artículos menos uno (Q/df)^5,6,7,9.

En caso de encontrar homogeneidad entre los estudios primarios (I². menor del 25%), para la realización del metanálisis se puede emplear el modelo estadístico de efectos fijos, el cual se basa en el supuesto de que un efecto verdadero e idéntico del tratamiento es común para todos los estudios incluidos en el metanálisis; por su parte, si se encuentra heterogeneidad moderada (I² menor del 50%), se recomienda aplicar el modelo de efectos aleatorios, basado en el supuesto de que los verdaderos efectos de un tratamiento en los estudios individuales son diferentes entre sí y estas diferencias siguen una distribución normal, con una varianza común; finalmente, en caso de una alta heterogeneidad (I² mayor del 75%), lo ideal es abstenerse de realizar un metanálisis, en caso de no poder explicar la causa de la heterogeneidad, pues sus resultados no serán confiables^2,5,9.

Por su parte, la Colaboración Cochrane divide los grados de heterogeneidad en cuatro categorías según el valor del I.: 0-40%, heterogeneidad sin importancia; 30%-60%, moderada; 50%-90%, sustancial; y 75%-100%, heterogeneidad considerable. Estos intervalos se sobreponen pues la interpretación varía según otros parámetros estadísticos⁷.

Adicionalmente, se pueden realizar análisis por subgrupos, como una forma de investigar los resultados heterogéneos o responder preguntas específicas acerca de dichos subgrupos de pacientes, tipos de intervención o tipos de estudios particulares; y análisis de sensibilidad, excluyendo algunos estudios, con base en ciertas características que pueden explicar la variabilidad y disparidad de los resultados^5,7.

Es común encontrar en la literatura revisiones sistemáticas con alta heterogeneidad, a las cuales se les realizan metanálisis que arrojan falsas conclusiones^2,7. La tendencia actual entre los grupos de trabajo de la colaboración Cochrane es la implementación del modelo de efectos aleatorios para el análisis de revisiones con moderada heterogeneidad^2,5.

El objetivo del presente artículo es describir y comparar las medidas de asociación, modelos estadísticos y grado de heterogeneidad presentados en los metanálisis de revisiones sistemáticas de intervenciones farmacológicas en cardiología, publicadas entre los periodos 2000 a 2005 y 2011 a 2016, con el fin de caracterizar los cambios y las diferencias que se han producido en lo metodológico, especialmente en la identificación y control de la heterogeneidad en dos momentos de la historia diferentes.

Metodología

Estudio observacional, analítico, de tipo crossectional, basado en la descripción y comparación de revisiones sistemáticas de ensayos clínicos controlados y aleatorizados, de intervenciones farmacológicas en el área de cardiología, disponibles en la base de datos del grupo de Cardiología de la biblioteca Cochrane. La búsqueda de la información se llevó a cabo durante el mes de diciembre de 2016; no se emplearon descriptores, pues fueron seleccionados todos aquellos artículos publicados en la plataforma virtual, entre los años 2000 a 2005 y 2011 a 2016. Se determinaron como criterios de inclusión la especificación del tipo de intervención farmacológica evaluada en el título del estudio, sin importar el tipo de ensayos clínicos incluidos; que hubieran sido publicados únicamente durante el periodo de tiempo descrito y que contaran con disponibilidad del texto completo en formato PDF. Fueron excluidas aquellas revisiones sistemáticas de intervenciones homeopáticas.

En cada uno de los artículos seleccionados se evaluó la información correspondiente al autor principal, año de publicación, número de pacientes incluidos en la revisión, número de ensayos clínicos incluidos, grupos de comparación, tipo de variables empleadas para el desenlace primario, medida de asociación utilizada, significancia estadística de los resultados, valor de la Q de Cochrane, índice H², índice de Higgins (I²), modelo y método estadístico utilizados y, finalmente, realización o no de análisis por subgrupos.

Esta información fue almacenada en una base de datos diseñada por los investigadores en Microsoft Excel, para luego ser analizada a través del programa estadístico EPIDAT versión 4.2. Para las variables cualitativas se estimaron frecuencias absolutas y relativas, mientras que para las cuantitativas se determinaron medias y desviaciones estándar, o medianas y rangos intercuartílicos, según su distribución. Por último, para establecer la diferencia de medias se realizó la prueba t de Student y para la diferencia de proporciones el Chi cuadrado.

Resultados

De los 184 artículos publicados en la base de datos del grupo de Cardiología de Cochrane hasta diciembre del año 2016, fueron seleccionadas 54 revisiones sistemáticas de intervenciones farmacológicas, en las cuales no se identificaron metanálisis en red. Entre 2000 y 2005 fueron publicadas seis revisiones de este tipo, con un total de 240 metanálisis, y entre los años 2011 y 2016 fueron publicadas 48 revisiones, con 813 metanálisis en total (véase Tabla 1). En el Anexo en el artículo aparecen las referencias de los artículos usados en este estudio.

Tabla 1

Número de metanálisis por año de publicación según los periodos de estudio 2000‑2005 y 2011‑2016

El total de pacientes incluidos en las revisiones sistemáticas fue de 5 548 231, de los cuales el 21.2% corresponde al periodo comprendido entre 2000 y 2005 y el 78.8% entre 2011 y 2016. En promedio, por cada revisión sistemática se incluyeron 40 ± 35.3 metanálisis en el primer periodo evaluado y 17 ± 17 en el segundo, con una diferencia de 23 (IC 95% 20.6-25.4, valor p <0.01).

Por cada metanálisis realizado entre los años 2000 a 2005 se incluyeron 5377 ± 9280 pacientes y en los años 2011 a 2016, 4 904 ±10 959, con una diferencia de 473 (IC 95% 461‑485, valor p<0.01). En la Tabla 2 se presenta por periodo de tiempo evaluado el total de revisiones sistemáticas, metanálisis analizados, número de pacientes incluidos, tipo de grupo control, tipos de variables, medidas de asociación y la significancia estadística de los estimados puntuales. A su vez, se muestra la comparación entre ambos periodos de tiempo, con su intervalo de confianza y respectivo valor p (véase Tabla 2).

Tabla 2

Descripción de las revisiones sistemáticas por periodos de tiempo 2011‑2016 y 2000‑2005

En ambos periodos se empleó con mayor frecuencia el modelo de efectos fijos, estando presente en 63.3% de los metanálisis del primer periodo, y 56.2% del segundo. La prueba estadística más aplicada fue la de Mantel Hanzel, utilizada en 85.8% y 66.2% de los metanálisis del primer y segundo periodo, respectivamente. En el primer periodo se reportó la evaluación de sesgos en los estudios incluidos en el 82.5% y en el segundo, en 84.1%.

En la Tabla 3 se presentan los modelos y pruebas estadísticas utilizadas para el análisis de la información, la realización o no de análisis por subgrupos, y los valores Q de Cochrane e índice de Higgins, que describen la heterogeneidad de los estudios incluidos en cada metanálisis.

Tabla 3

Métodos estadísticos y descripción de la heterogeneidad estadística de las revisiones sistemáticas por periodos de tiempo 2011‑2016 y 2000‑2005

* Grados de libertad número de artículos 1

En la Tabla 4 se discriminan algunas variables como número de estudios primarios incluidos, tipo de variables del desenlace primario, modelo estadístico utilizado, entre otras, según el grado de heterogeneidad reportado en cada metanálisis y periodo de estudio. Para efectos prácticos se clasificó el grado heterogeneidad según el índice de Higgins como baja: I² 0-24.9%, moderada: I² 25%-49.9%, alta: I² 50-74.9% y muy alta: I² 75%-100%. En ambos periodos de tiempo se encontró que los metanálisis con baja heterogeneidad más frecuentes fueron los que analizaron estudios de desenlaces cualitativos nominales (37.1% y 59.2%), emplearon modelos de efectos fijos (29.2% y 41.5%) y no realizaron análisis por subgrupos (39.6% y 48.0% en primer y segundo periodo, respectivamente). El índice de Higgins fue consistente con el resultado índice H², presentando una relación directamente proporcional a mayor heterogeneidad.

Tabla 4

Comparación de los métodos estadísticos según el grado de heterogeneidad y periodos de tiempo 2011‑2016 y 2000‑2005

* Según el índice de Higgins baja I2 0%249% moderada I2 25%499% alta I2 50%749% muy alta I2 75%100% **Los porcentajes presentados corresponden a la proporción dentro del periodo de tiempo analizado No todos los metanálisis presentaron el Índice de Higgins por lo que los porcentajes no suman 100%

Discusión

Tras la revisión de los artículos del grupo de Cardiología de la biblioteca Cochrane se encontró un aumento del 78% (p<0.05) en el número de revisiones sistemáticas publicadas entre 2011‑2016, con respecto a los años 2000‑2005, y por ende, en el número total de metanálisis, con una diferencia estadísticamente significativa entre ambos periodos de tiempo (0.54, IC95%: 0.50-0.58, p<0.05). Sin embargo, entre 2011-2016, cada revisión sistemática incluyó en promedio 23 metanálisis menos (IC95%: 20.63-25.37, p<0.05), lo cual puede ser explicado por la mayor rigurosidad estadística al momento de definir cuándo realizar o no un metanálisis.

El análisis de la cantidad de ensayos clínicos incluidos por cada metanálisis es fundamental al momento de evaluar su heterogeneidad, pues entre mayor sea el número de estudios, existe mayor probabilidad de encontrar diferencias que se traduzcan en valores de I² más altos^6,7; pero, las exploraciones de la heterogeneidad, cuando se cuenta con muy pocos estudios, presentan un valor estadístico cuestionable⁵.

En nuestro estudio no se evidenció una relación directamente proporcional entre el grado de heterogeneidad y el número de estudios primarios incluidos por cada metanálisis; sin embargo, entre 2011 y 2016 sí se encontró un promedio menor del número de estudios incluidos en metanálisis de baja heterogeneidad, posiblemente asociado a mayor rigurosidad en la selección de los estudios primarios que iban a ser analizados.

En cuanto a los grupos de comparación utilizados en los estudios primarios, en ambos periodos de tiempo, el tratamiento estándar se presentó con mayor frecuencia y fue el más utilizado en el primer periodo (0.47, IC95%:0.42-0.51, p<0.05). Por otra parte, los metanálisis del periodo de tiempo comprendido entre 2011‑2016 compararon más la intervención frente al placebo que en el periodo 2000‑2005 (p<0.05), y no se realizaron comparaciones con grupos de “placebo o no intervención” ni con “placebo y tratamiento estándar” en ninguno de los estudios incluidos en las revisiones publicadas durante el primer periodo.

Rhodes y colaboradores encontraron en su estudio de 6672 metanálisis de desenlaces continuos, que aquellos en los que se comparan dos intervenciones farmacológicas, como en el caso de comparar una nueva intervención versus el tratamiento estándar, son los que presentan menor heterogeneidad estadística, hallazgo que podría explicar la baja heterogeneidad evidenciada en el presente estudio⁸.

Además, no se hallaron diferencias estadísticamente significativas entre los tipos de variables utilizadas para analizar los desenlaces primarios (p=0.41), siendo las de tipo cualitativa-nominal las empleadas con mayor frecuencia en ambos periodos de tiempo. Los resultados continuos tienen mayor poder estadístico que los resultados cualitativos nominales o binarios, por lo que diferencias importantes pueden ofrecer intervalos de confianza más estrechos y valores de I² más altos, que se puede malinterpretar como mayor heterogenidad⁷.

Alba y otros publicaron en 2016 un estudio de 671 metanálisis en los que se encontró una mayor frecuencia de I² de 60-100% en los estudios con desenlaces cuantitativos (39%), en comparación con aquellos metanálisis con desenlaces binarios (14%). Esto sugiere que la interpretación de la heterogeneidad con base en el I² de los estudios cuantitativos debería tener consideraciones especiales⁷.

Esta tendencia no se evidenció claramente en nuestro estudio, pues en ambos periodos de tiempo, tanto los metanálisis con desenlaces primarios cuantitativos como binarios presentaron con mayor frecuencia valores de I² entre 0 a 24.9%. Pero, en general sí se encontró un mayor porcentaje de metanálisis con baja heterogeneidad entre aquellos con desenlaces cualitativos nominales, en comparación con los de desenlaces cuantitativos (37.1% vs. 5.8% y 59.2% vs. 7.5%, en primer y segundo periodo, respectivamente). Lo anterior se explica por la variación entre los resultados en los aspectos cuantitativos, donde las posibilidades de la variable pueden ser infinitas⁹.

Por otra parte, la medida de asociación utilizada con más frecuencia en ambos periodos de tiempo fue el riesgo relativo; la cual se usó en un 30% más en el primer periodo (IC95%: 0.24-0.35, p<0.05). Cuando se comparó el Odds ratio, este fue más utilizado en el segundo periodo, con una diferencia estadísticamente importante (0.26, IC95%: 0.23-0.30, p<0.05).

Con respecto a los modelos estadísticos para el análisis de la información, el modelo de efectos fijos se aplicó en la mayoría de metanálisis de ambos periodos, siendo 7% más frecuente entre 2000‑2005, mientras que el modelo de efectos aleatorios fue 7% más frecuente en el periodo 2011‑2016, ambos con IC95%: 0.00‑0.14 y valor p de 0.05. En el último periodo de tiempo, a pesar de contar con datos más homogéneos, se implementó con gran frecuencia el modelo de efectos aleatorios, el cual genera intervalos de confianza más amplios, que pueden llegar a cruzar la línea de efecto nulo, mientras que con el modelo efectos fijos no la cruzarían y mostrarían resultados significativos^5,10,11.

Esto se debe a que el modelo de efectos fijos funciona bajo el supuesto de que el efecto verdadero de una determinada intervención es el mismo para todos los estudios incluidos, y que las diferencias observadas entre los resultados de los estudios se deben solamente al azar, sin tener en cuenta la heterogeneidad^5,11. En nuestro estudio se evidenció una mayor frecuencia de estudios de baja heterogeneidad entre aquellos metanálisis en los que se implementó el modelo de efectos fijos, con una diferencia estadísticamente significativa entre los periodos de tiempo analizados.

En cuanto al análisis de la heterogeneidad estadística, se observó en general una heterogeneidad baja a moderada en ambos periodos de tiempo, siendo mayor en las revisiones publicadas entre 2000‑2005, evidenciada por la diferencia de medias del valor Q de Cochrane, que fue 19.9 menor que en el segundo periodo (p=0.05), y por la diferencia de medias del Índice de Higgins, que fue 17.5 mayor, con una diferencia significativa (p<0.05).

Cuando el valor p de la prueba Q de Cochrane es <0.10, se dice que existe heterogeneidad, sin conocer exactamente el grado de esta; cuando no es <0.10 se puede evaluar índice H², definido como la Q de Cochrane sobre el número total de artículos menos 1 (Q/df). Si esta división da un resultado mayor de 1, indica que existe posibilidad de presentar heterogeneidad, y si da menor a 1, indica poca probabilidad de heterogeneidad.

Entre los metanálisis incluidos en nuestro estudio se evidenció una relación directamente proporcional entre el grado de heterogeneidad y el índice H² en ambos periodos, lo que sugiere que puede emplearse como otra herramienta válida para evaluar posibilidad de heterogeneidad en los metanálisis. También se encontró que las revisiones sistemáticas publicadas entre 2011‑2016 realizaron menor cantidad de análisis por subgrupos (-0.58, IC95%: -0.63 a -0.53, p<0.05). Clark y colaboradores, además de los métodos estadísticos diseñados para el análisis de la heterogeneidad, implementados normalmente, sugieren que todas las revisiones sistemáticas deberían analizar inicialmente si existen diferencias significativas entre las características basales de los grupos de intervención y control de todos los estudios primarios incluidos, como un predictor de heterogeneidad y criterio para evaluar la validez de los resultados obtenidos en el metanálisis¹. Así por ejemplo, aquellos metanálisis de ensayos clínicos que presentan diferencias estadísticamente significativas entre la edad del grupo de intervención y el grupo control, presentan I² más altos¹. Este tipo de análisis no se tuvo en cuenta en el presente estudio, pues las revisiones sistemáticas no presentaban las características basales de los estudios primarios incluidos.

A pesar de los cambios evidenciados en los métodos de análisis estadístico de los ensayos clínicos incluidos en estas revisiones sistemáticas, no se encontró diferencia en la obtención o no de resultados estadísticamente importantes entre ambos periodos de tiempo (p=0.99 y p=0.60, respectivamente).

Como fortaleza del presente estudio se resalta que se incluyeron solo revisiones sistemáticas de la Colaboración Cochrane, la cual constituye uno de los principales instrumentos de la medicina basada en la evidencia, gracias a las revisiones sistemáticas realizadas con gran rigurosidad metodológica¹², tal como se señala en el presente estudio.

Al comparar en el tiempo los cambios metodológicos de estas revisiones sistemáticas, se logró identificar una disminución de la heterogeneidad estadística, con un aumento en la implementación de modelos de efectos aleatorios, lo que da cuenta de una mayor exigencia a la hora de demostrar resultados verdaderamente significativos, cada vez más libres de sesgos.

Por su parte, como limitaciones se reconoce la inclusión de dos periodos de tiempo de forma arbitraria, con el fin de buscar un cambio en la rigurosidad del análisis y en la forma de manejar la heterogeneidad estadística. Además, se incluyeron exclusivamente revisiones sistemáticas de intervenciones farmacológicas en el área de cardiología, no pudiéndose hacer inferencias en otras áreas del conocimiento o en intervenciones no farmacológicas.

En los últimos 30 años, la cardiología ha presentado múltiples cambios en el manejo farmacológico de las enfermedades, debido al alto volumen de investigaciones científicas con nuevas metodologías que cada vez exigen más altos estándares de calidad, para garantizar la mejor evidencia científica que pueda sustentar la toma de decisiones clínicas y el manejo de sus pacientes¹³.

Una vez se publican los nuevos estudios clínicos, es necesario su análisis y revisión sistemática, con el fin de evaluar la calidad y aplicabilidad de los resultados, siendo los metanálisis los estudios con más alto nivel de evidencia en la actualidad; empero, se deben reconocer las posibles falencias o fortalezas de la metodología y análisis estadístico ejecutado, los cuales deben ser tenidos en cuenta por el lector, antes de tomar una decisión clínica en los pacientes.

Referencias

1. Clark L, Fairhurst C, Hewitt CE, Birks Y, Brabyn S, Cockayne S, et al. A methodological review of recent meta-analyses has found significant heterogeneity in age between randomized groups. J Clin Epidemiol. 2014; 67(9):1016-24.

2. Doi SA, Barendregt JJ, Khan S, Thalib L, Williams GM. Advances in the meta-analysis of heterogeneous clinical trials I: The inverse variance heterogeneity model. Contemp Clin Trials. 2015; 45(Pt A):130-8.

3. Giménez A. ¿Qué es un meta-análisis? y ¿cómo leerlo? Biomed. 2012; 7(1):16-27.

4. de Sousa MR, Ribeiro ALP. Revisión Sistemática y Metanálisis de Estudios de Diagnóstico y Pronóstico: una Guía. Arq Bras Cardiol. 2009; 92(3):235-45.

5. Higgins JPT, Green S. Análisis de los datos y realización de los metanálisis. En: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0. The Cochrane Collaboration; 2011. p. 256-300.

6. Rucker G, Schwarzer G, Carpente JR, Schimacher M. Undue reliance on I2 in assessing heterogeneity may mislead. BMC Medical Research Methodology 2008;8:79.

7. Alba AC, Alexander PE, Chang J, MacIsaac J, DeFry S, Guyatt GH. High statistical heterogeneity is more frequent in meta-analysis of continuous than binary outcomes. J Clin Epidemiol. 2016;70:129-35.

8. Rhodes KM, Turner RM, Higgins JP. Predictive distributions were developed for the extent of heterogeneity in meta-analyses of continuous outcome data. J Clin Epidemiol. 2015;68(1):52-60.

9. Fletcher J. What is heterogeneity and is it important? BMJ. 2007; 334(7584):94-96.

10. Huedo-Medina T, Sánchez-Meca J, Marín-Martínez F, Botella J. Assessing heterogeneity in meta-analysis: Q statistic or I² index? Psychological Methods. 2006;11(2):193-206.

11. Higgins JPT, Thompson SG, Deeks JJ, Altman DG. Measuring inconsistency in meta−analyses. BMJ. 2003;327:557-60.

12. Bonfilla X, Gabriel R, Cabello J. La medicina basada en la evidencia. Rev Esp Cardiol. 1997;50:819-25.

13. Sandoya E. Ensayos clínicos que cambiaron la práctica de la cardiología: fortalezas y debilidades. Rev Urug Cardiol. 2007;22(1):53-71.

Notas de autor

andres.aranzazu@hotmail.com

Información adicional

Conflictos de intereses: Los autores declaran no tener ningún conflicto de intereses.