Fiabilidad y Validez de la Batería TGMD-2 en Población Española

Reliability and Validity of the TGMD-2 Battery in a Spanish Population

Carlos Ayán
Universidad de Vigo, España
José Cancela
Universidad de Vigo, España
Miguel Sánchez-Lastr
Universidad de Vigo, España
Ana Carballo-Roales
España
Francisco Domínguez-Meis
España
Laura Redondo-Gutiérrez
Universidad de Vigo, España

Fiabilidad y Validez de la Batería TGMD-2 en Población Española

Revista Iberoamericana de Diagnóstico y Evaluación - e Avaliação Psicológica, vol. 1, núm. 50, pp. 21-33, 2019

Associação Iberoamericana de Diagnóstico e Avaliação Psicológica

Resumen: Este estudió analizó la fiabilidad y la validez de una versión en castellano de la batería de evaluación del desarrollo motor TGMD-2. Un total de 84 niños cumplimentaron la batería en dos ocasiones, con un intervalo de dos semanas para computar su fiabilidad test-retest. Dos evaluadores valoraron independientemente los resultados y se analizó fiabilidad inter-evaluador. Se estudió la validez de constructo siguiendo las indicaciones del manual de la batería y se valoró la condición física de los participantes para determinar la validez concurrente. Se obtuvo un elevado grado de fiabilidad test-retest y de fiabilidad inter-evaluador. La validez de constructo obtenida fue similar y la validez concurrente inferior a la reportada en otros estudios de adaptación transcultural. La TGMD-2 es fiable al objeto de valorar el desarrollo motor cuando se administra en niños españoles. Futuros estudios con muestras más amplias son necesarios para aportar información más sólida sobre su validez.

Palabras clave: validez, batería, niños, desarrollo motor.

Abstract: This study aimed at analysing the reliability and validity of a Spanish version of the TGMD-2, once it was observed the lack of studies in this regard. A total of 84 children performed the battery twice, with a two-week interval in order to identify its test-retest reliability. Two evaluators assessed the results obtained in the test phase, in order to analyse its intra-observer reliability. The construct validity was assessed following the official manual of the battery and the fitness level of the participants was also measured as a way to identify the concurrent validity. High levels of test-retest and intra-observer reliability were found. The construct validity was similar and the concurrent validity was lower than in other cultural adaptation studies. The obtained results show that the TGMD-2 is a reliable tool when administered to Spanish children. Future studies with greater samples are needed to confirm the degree of validity.

Keywords: validity, battery, children, motor development.

Introducción

El desarrollo motor se define como un proceso por el que el ser humano experimenta una serie de cambios progresivos en su habilidad para interactuar con el medio a través del movimiento (Payne & Isaacs, 2017). En las etapas iniciales de dicho proceso, los niños comienzan a aprender una serie de habilidades motrices, conocidas como habilidades motrices básicas, que les permiten desplazarse y manipular objetos (Stodden et al., 2008). Ambas habilidades, son fundamentales porque en base a las mismas el niño edificará conductas motrices sobre las que se asentará su actividad física futura (Clarck and Metcalfe, 2002).

La promoción y mantenimiento de actividad física en los niños es un objetivo global de las políticas de salud (Robinson et al., 2015). A este respecto, Robinson et al. (2015), indicaron que aquellos niños que presentan una baja competencia motora son los que menores niveles de adherencia hacia la práctica de actividad física demuestran. En esta línea, Stodden et al. (2008) señalaron una serie de posibles causas por las cuales no se está consiguiendo avanzar en el cumplimiento del mencionado objetivo. En primer lugar, destacan la falta de un enfoque multidisciplinar a la hora de examinar los hábitos de actividad física. En segundo lugar, remarcan la falta de consideración del desarrollo motor del niño, que juega un papel fundamental en el mantenimiento de los mismos. En tercer lugar, añaden la falta de comprensión sobre cómo la competencia motora percibida, una condición física saludable y la obesidad, como variables mediadoras, establecen diferentes asociaciones con la actividad física a lo largo de las diferentes etapas de desarrollo. Por último, señalan la importancia de realizar una adecuada evaluación del desarrollo y competencia motora.

Precisamente, la valoración del desarrollo motor puede ser considerada como una estrategia de salud de gran interés en la población infantil, pues permite detectar la existencia de problemas psicomotrices que pueden dificultar la calidad de la vida adulta del individuo a la vez que facilita la intervención temprana sobre los mismos (Cools, 2009). Por lo general, el desarrollo motor se valora mediante el empleo de baterías de pruebas de campo que demandan la realización de determinadas habilidades y destrezas, y que permiten situar la condición motriz del evaluado en función de unos valores de referencia (Wiart, 2001). Previa aceptación de su utilidad, estas pruebas deben presentar unas buenas propiedades psicométricas, especialmente de fiabilidad y validez, que permitan dar solidez a los resultados que se extraigan de su administración (Slater, 2010). A este respecto, es destacable el hecho de que apenas existe información sobre las propiedades psicométricas de las principales baterías más empleadas para este fin presentan cuando son administradas en población española. Esta ausencia de evidencia científica es aplicable, tanto en lo que se refiere a las baterías de corte más tradicional, como la Bruininks-Oseretsky Test of Motor Proficiency (Bruininks, 2005), la McCarron Assessment of Neuromuscular Development (McCarron, 1997) o la Peabody Developmental Motor Scale (Folio & Fewell, 2000), como a las de nueva creación, como son la Canadian Agility and Movement Skill Assessment (Longmuir et al., 2015), o la Motorische Basiskompetenzen (Hermann & Seelig, 2017), cuando son administradas en población española. De este modo, tras una revisión de los principales estudios publicados al respecto, parece que son únicamente dos las baterías de este tipo sobre las que se puede encontrar información sobre su aplicabilidad en niños españoles. Por un lado, Ruiz Pérez et al. (2015) y Torralba et al. (2016), administraron la batería de Kiphard y Schilling (conocida también como KTK) a un grupo de alumnos de educación secundaria y primaria respectivamente, pero en ninguna de las dos investigaciones se analizaron sus propiedades psicométricas. Por otro lado, también existe evidencia sobre la aplicabilidad de la batería MABC-2 en población española, siendo la única cuyas características psicométricas han sido analizadas en alumnos de educación primaria (Ruiz, 2012). A este respecto se hace necesario mencionar que recientemente se han diseñado y validado otros test de utilidad para valorar la coordinación motriz en primaria, como el Grami-2 (Ruiz-Pérez, 2015) o el test 3SJ (Cenizo, 2016), las cuáles, de momento, no tienen el estatus internacional ni la aceptación mundial de las baterías anteriormente comentadas. Ante esta escasez de estudios que hayan informado sobre la fiabilidad y la validez de baterías internacionalmente aceptadas como herramientas de valoración de desarrollo motor en población española, parece necesario realizar más investigaciones sobre esta temática.

En la valoración del desarrollo motor se considera fundamental identificar el grado de eficacia con el que se observa a los niños ejecutar las habilidades motrices básicas, puesto que éstas se edifican sobre los mismos patrones motores de mayor complejidad que facilitarán a posteriori la práctica de actividad física y/o deportiva (Morley, Van Rossum, Richardson, & Foweather, 2018). A este respecto, una de las baterías de valoración del desarrollo motor que se centra en la evaluación de las habilidades básicas, es el Test of Gross Motor Development (TGMD-2) (Urlich, 2000), que destaca por su facilidad de administración, y por las buenas propiedades psicométricas que presenta (Slater, Hillier & Civetta, 2010). En una reciente revisión sobre este tipo de baterías, Luz, Almeida, Rodrigues y Cordovil (2017) destacaron que la TGMD-2 era frecuentemente empleada, y la consideraban como la única herramienta cualitativa con un protocolo estandarizado.

Dada la gran utilidad de esta batería, y habida cuenta de que se ha sugerido que la aplicabilidad de la misma pudiera variar en función del contexto cultural, puesto que originalmente fue validada en población norteamericana (Cools, 2009), diversos autores han analizado e informado positivamente sobre las propiedades psicométricas de la batería TGMD-2 cuando es administrada en otros países (Valentini, 2012; Simons, 2008; Wong, 2010). Sin embargo, y a pesar de que esta batería ha sido empleada en el contexto educativo español con anterioridad (Cenizo et al., 2017), la información existente sobre su fiabilidad y su validez puede ser considerada cuando menos como escasa. Es más, tras revisar la literatura científica actual al respecto, no parece existir una versión de la bateríaTGMD-2 que haya sido oficialmente adaptada y validada con población española. Por lo tanto, se pone de manifiesto la necesidad de investigaciones que contribuyan a consolidar su empleo en España.

Paradójicamente, sí que se han analizado la fiabilidad y la validez de la nueva versión, de reciente creación, de esta batería (TGMD-3) en niños españoles (Estevan et al., 2017). Sin embargo, se debe tener en cuenta que de momento no se han publicado valores normativos sobre la misma (Maeng, Webster, Pitchford, & Ulrich, 2017). A esto hay que añadir que la batería TGMD-2 se sigue empleando (Ré et al., 2017; Mukherjee, LyeChingTing, & Leong, 2017) y puesto que es la que mayor número de valores medios para posibles comparaciones aporta, sigue siendo de interés documentar la fiabilidad y validez de la misma en población española.

Bajo estas circunstancias, el propósito del presente estudio es informar sobre el grado de fiabilidad y validez que ha mostrado una versión adaptada al castellano de la batería TGMD-2 tras ser administrada a un grupo de niños españoles.

Material y Métodos

Participantes

Los participantes de este estudio fueron reclutados a través de las escuelas deportivas municipales de dos capitales de provincia del norte de España, con una población estimada de entre ochenta mil y ciento cinco mil habitantes para cada una de ellas. Los criterios de inclusión fueron tener entre 7 y 10 años de edad y presentar un desarrollo psicomotor normal. Los datos de aquellos niños con problemas neurológicos, ortopédicos y/o dificultades en el aprendizaje fueron excluidos de la investigación. Previamente a su participación, se solicitó por escrito consentimiento informado a todos los participantes, a sus respectivos progenitores o tutores legales y al director del centro educativo. El estudio se realizó en cumplimiento de las normas de la Declaración de Helsinki (World Medical Associaton, 2013) y siguiendo las directrices de la Comunidad Europea para la Buena Práctica Clínica (111/3976/88 de julio de 1990), así como el marco legal español para la investigación clínica en los seres humanos (Real Decreto 561/1993 sobre ensayos clínicos). Para realizar el cálculo muestral, se tuvo en cuenta el tamaño poblacional estimado de las escuelas municipales incluidas en las que se centró el estudio (n=2121 niños e 7 a 10 años). El cálculo del tamaño muestral se llevó a cabo con un nivel de confianza/seguridad del 95%, una precisión del 5% y una proporción del 5% (que maximiza la muestra) lo que supuso un tamaño muestral de 71 niños. Debido a que se esperaba una perdida del 15%, la muestra ajustada a perdidas fue de 84 niños, que fue el tamaño muestral empleado.

Test of Gross Motor Development-2

La batería TGMD-2 incluye doce pruebas que valoran distintas destrezas en niños de 3 a 10 años, y que se agrupan en dos subtest: habilidades de locomoción (carrera, galope, salto a un pie, brinco, salto horizontal, y paso lateral) y habilidades de control de objetos (golpeo, bote, recepción, pateo, lanzamiento por encima del hombro y lanzamiento por debajo de la cadera). La ejecución de cada prueba se valora atendiendo a criterios cualitativos que se puntúan como 0 o1 en función de si los mismos se cumplen o no. En cada una de las pruebas de locomoción se aplican cuatro criterios, a excepción del salto a un pie y del brinco, en los que se aplican 5 y 3 criterios respectivamente. Igualmente en cada una de las pruebas de control de objetos se aplican cuatro criterios, con excepción de las pruebas de golpeo y recepción, en las que se aplican cinco y tres criterios respectivamente. Cada subtest incluye 24 criterios, lo que permite una puntuación bruta de hasta 48 puntos. Las puntuaciones de los subtest pueden ser transformada en una puntuación estándar (M=10.0; DE= 3.0) y posteriormente en un cociente de motricidad gruesa (M=100.0; DE=15.0). En el manual de la batería se pueden encontrar listas de percentiles que permiten situar al evaluado en función de unos valores normativos respecto a su población de referencia.

Procedimiento

Al objeto de crear una versión en lengua castellana de la TGMD-2, el manual original de la batería fue traducido por un Licenciado en Filología Inglesa. La versión resultante fue retro-traducida por una persona bilingüe cuya lengua materna era el inglés. Finalmente, ambas versiones en inglés fueron cotejadas y se constató que la versión adaptada al castellano reflejaba el contenido y el significado de la TGMD-2 en su versión original, dándose por aceptada su adaptación cultural. Para el estudio de la fiabilidad y validez de esta batería, los niños fueron testados en grupos de 10 integrantes, a lo largo de cuatro semanas, durante las sesiones de actividades deportivas organizadas por las escuelas municipales. Durante la primera semana se realizaron las valoraciones antropométricas (altura, peso e índice de masa corporal “IMC”) se explicó la batería y se permitió a los niños ensayar las pruebas. La segunda se consideró como fase de test, en la que los niños realizaron las pruebas que fueron administradas y puntuadas por un Graduado en Educación Primaria especialista en Educación Física, previamente entrenado en el uso y administración de la batería. Durante la tercera semana se realizó una breve valoración de la condición física a través de cuatro pruebas de campo (Arnheim y Sinclair, 1976): “V sit and reach” (flexibilidad), “Salto horizontal” (fuerza explosiva miembros inferiores), “Flexiones en banco” (fuerza-resistencia miembro superior) y “Carrera de obstáculos” (agilidad-velocidad). La cuarta semana sirvió como fase de re-test, repitiéndose el procedimiento de la segunda semana. La ejecución de las pruebas realizadas en la fase de test fue grabada en vídeo y posteriormente visionada y puntuada por un segundo evaluador, un Graduado en Ciencias de la Actividad Física y el Deporte, con experiencia previa en la administración de la batería. La comparación de los resultados obtenidos por los niños en la segunda y cuarta semana sirvió para determinar la fiabilidad test-retest de la batería TGMD-2, mientras que la fiabilidad inter-evaluador fue analizada a través de la comparación de las puntuaciones otorgadas por ambos evaluadores tras observar la ejecución de las pruebas realizadas en la fase de test. Los valores obtenidos en las pruebas de condición física fueron contrastados con la puntuación obtenida en la batería en la fase de cumplimentación del test, con el propósito de analizar la validez concurrente de la misma (Kim, 2014).

Análisis estadístico

Se llevó a cabo un análisis descriptivo a través de medidas de tendencia central y dispersión (media y desviación estándar), con el objetivo de definir los parámetros más importantes de la muestra. Se comprobó la normalidad de la muestra a través del test Kolmogorov-smirnov (p>.05). Para analizar la fiabilidad de la batería TGMD-2 se emplearon tres procedimientos: (a) Consistencia interna, mediante el cálculo del cociente de Alpha de Cronbach, (b) Fiabilidad test-retest, a través del cociente de correlación de Pearson y (c) Fiabilidad inter-evaluador, para lo cual se empleó el cociente de correlación de Pearson y el Cociente de Correlación Intraclase (CCI). La consistencia interna fue clasificada en base a los valores del Alpha de Cronbach como “Excelente” (α≥.9); “Buena” (α≥.8); “Aceptable” (α≥.7), “Cuestionable” (α≥.6), “Pobre” (α≥.5) e “Inaceptable” (α<.5) (George and Mallery, 2003). Para el CCI se consideraron los siguientes grados de fiabilidad: Elevada (.99-.90), Buena (.89-.80), Aceptable (.79-.70) y Pobre (toda puntuación igual o inferior a .69) (Shrout y Fleiss, 1979). El análisis gráfico de la fiabilidad fue llevado a cabo mediante los plots de Bland-Altman. Se estudió la validez de la batería TGMD-2 a través del análisis de constructo y concurrencia. Para determinar la validez de constructo se efectuó un análisis correlacional siguiendo dos procedimientos (Ulrich, 2000). En primer lugar, se estableció el grado de asociación entre la edad de los participantes y la puntuación obtenida en cada una de las pruebas de la batería. En segundo lugar, se calculó el grado de asociación entre la puntuación de cada subtest (locomoción y control de objetos) y la puntuación de las respectivas pruebas incluidas en cada uno de ellos. La validez concurrente fue determinada a través del análisis correlacional entre la puntuación estándar de la batería (PE) y la de cada subtest, con respecto a cuatro pruebas de la condición física (V sit and reach, Salto Horizontal, Flexiones en banco y Carrera de obstáculos). Para ambos análisis de validez se empleó el coeficiente de correlación de Pearson (r) que se interpretó del siguiente modo: “Elevado” (r≥.80), “Bueno” (r=.79-.60), “Aceptable” (r=.59-.30), y “Pobre” (r≤.29) (Chan, 2003). Los datos fueron analizados mediante el paquete estadísticos IBM SPSS v.21 para Windows. Se consideró significativo un valor p<.05.

Resultados

Un total de 37 y 47 niños procedentes de ambas ciudades respectivamente, iniciaron y finalizaron el estudio. La muestra final fue de 84 niños y niñas (edad media 8.35 ± 1.19 años; IMC: 17.73 ± 2.25; 45.2% niñas). En la Tabla 1 se muestran los resultados obtenidos para cada grupo de edad.

Los resultados obtenidos tras analizar la fiabilidad intra-evaluador de la batería TGMD-2 se presentan en la Tabla 2. La consistencia interna para los subtest de locomoción y de control de objetos, así como para la PE y para el cociente de motricidad gruesa fue excelente.

Tabla 1
Puntuaciones en la TGMD2 por edades
VariableMedia ± Desviación típica
7 años (n=24)8 años (n=18)9 años (n=25)10 años (n=16)
Total HL (test)31.21 ± 4.0833.67 ± 5.3736.24 ± 5.5041.94 ± 3.00
Total HL (retest)32.21 ± 4.5734.56 ± 5.3337.04 ± 5.9643.50 ± 2.45
PE HL (test)5.42 ± 1.415.83 ± 1.956.28 ± 2.538.94 ± 1.91
PE HL (retest)5.83 ± 1.745.94 ± 1.986.80 ± 2.7810.00 ± 1.71
Total HCO (test)34.04 ± 4.5333.28 ± 6.2437.56 ± 4.8740.25 ± 4.43
Total HCO (retest)34.33 ± 4.3735.28 ± 5.5838.36 ± 5.1142.31 ± 3.81
PE HCO (test)8.58 ± 1.727.39 ± 3.098.84 ± 2.449.63 ± 2.60
PE HCO (retest)8.71 ± 1.578.44 ± 2.689.28 ± 2.6710.75 ± 2.82
PE total (test)14.00 ± 2.4713.22 ± 4.3215.12 ± 3.7918.56 ± 3.03
PE total (retest)14.54 ± 2.8114.39 ± 3.8816.08 ± 4.3520.75 ± 3.28
CMG (test)82.00 ± 7.4079.67 ± 12.9685.36 ± 11.3795.69 ± 9.10
CMG (retest)83.63 ± 8.4483.17 ± 11.6588.24 ± 13.05102.25 ± 9.83
Percentil respecto al CMG (test)1281635
Percentil respecto al CMG (retest)12122150
Nota CMG: Coeficiente de Motricidad Gruesa; HL: Habilidades locomotrices; HCO: Habilidades de control de objetos; PE: Puntuación Estándar.

Tabla 2
Fiabilidad interevaluador test de la batería TGMD2
TestRetestFiabilidad intra-evaluador
Media ± Desviación típicaMedia ± Desviación típicaAlpha de Cronbach (α); Coeficiente de Correlacion Intraclase (CCI)Test- Retest Coeficiente de Pearson (r)
Habilidades de locomoción35.31 ± 5.9236.32 ± 6.22α =.975**; CCI=.951r=.952; p<.001
Carrera5.30 ± 1.555.49 ± 1.38α =.942**; CCI=.891r=.897; p<.001
Galope5.06 ± 1.935.17 ± 2.06α =.897*; CCI=.815r=.815; p<.001
Salto a un pie8.11 ± 1.668.30 ± 1.68α=.985**; CCI=.971r=.921; p<.001
Brinco5.61 ± 2.185.02 ± 1.14α=.959**; CCI=.911r=.928; p<.001
Salto horizontal4.93 ± 1.155.82 ± 2.15α=.962**; CCI=.928r=.955; p<.001
Paso lateral6.31 ± 2.056.52 ± 1.85α=.940**; CCI=.891r=.891; p<.001
Habilidades de control de objetos36.08 ± 5.5837.23 ± 5.55α=.963**; CCI=.929r=.929; p<.001
Golpeo7.58 ± 1.637.74 ± 1.55α=.905**; CCI=.826r=.827; p<.001
Bote6.46 ± 1.976.61 ± 1.96α=.976**; CCI=.953r=.953; p<.001
Recepción5.23 ± 1.115.26 ± 1.07α=.972**; CCI=.945r=.946; p<.001
Pateo5.77 ± 1.625.99 ± 1.55α=.952**; CCI=.908r=.909; p<.001
Lanzamiento por encima del hombro4.60 ± 1.934.92 ± 1.92α=.923**; CCI=.856r=.856; p<.001
Lanzamiento por debajo de la cadera6.44 ± 1.646.71 ± 1.46α=.921**; CCI=.853r=.859; p<.001
PE15.02 ± 3.4016.14 ± 3.58α=.969**; CCI=.940r=.940; p<.001
CMG83.29 ± 10.2085.42 ± 10.74α=.974**; CCI=.950r=.956; p<.001
Nota PE: Puntuación Estándar; CMG: Coeficiente de Motricidad Gruesa. **p<.001; *p<.05

Tabla 3
Fiabilidad interevaluador test de la batería TGMD2
Fiabilidad inter-evaluador
Evaluador 1Evaluador 2Coeficiente de Correlación de Pearson (r); Coeficiente de Correlación Intraclase(CCI)
Media ± Desviación típicaMedia ± Desviación típica
Habilidades de locomoción35.31 ± 5.9235.62 ± 4.67r =.947**; CCI=.976
Carrera5.30 ± 1.555.29 ± 1.52r =.972**; CCI=.946
Galope5.06 ± 1.935.04 ± 2.06r =.911**; CCI=.836
Salto a un pie8.11 ± 1.668.13 ± 1.68r =.961**; CCI=.961
Brinco5.61 ± 2.185.68 ± 2.11r =.962**; CCI=.928
Salto horizontal4.93 ± 1.154.99 ± 1.16r =.970**; CCI=.943
Paso lateral6.31 ± 2.056.49 ± 1.84r =.899**; CCI=.895
Habilidades de control de objetos36.08 ± 5.5836.39 ± 5.76r =.957**; CCI=.956
Golpeo7.58 ± 1.637.61 ± 1.61r =.905**; CCI=.904
Bote6.46 ± 1.976.55 ± 1.95r =.960**; CCI=.965
Recepción5.23 ± 1.115.20 ± 1.10r =.977**; CCI=.971
Pateo5.77 ± 1.625.80 ± 1.64r =.958**; CCI=.955
Lanzamiento por encima del hombro4.60 ± 1.934.71 ± 1.89r =.909**; CCI=.906
Lanzamiento por debajo de la cadera6.44 ± 1.646.52 ± 1.41r =.902**; CCI=.901
PE14.13 ±3.4815.91 ±4.02r =.952**; CCI=.955
CMG82.40 ±10.4684.18 ±10.83r =.991**; CCI=.985
Nota CMG: Coeficiente de Motricidad Gruesa; PE: Puntuación Estándar. **p<.001; *p<.05

La fiabilidad test-retest para todas estas variables se mostró elevada. Todas las pruebas obtuvieron coeficientes de fiabilidad superiores a .900 con la única excepción del galope (α=.897; CCI=.815; r=.815; p<.001).

La batería TGMD-2 mostró una elevada fiabilidad inter-evaluador, tanto cuando el análisis se realizó prueba por prueba como cuando se tuvieran en cuenta los subtest, la PE y el cociente de motricidad gruesa (Tabla 3).

En la Figura 1 se muestra el grado de fiabilidad de los subtest (habilidades de locomoción y habilidades de control de objetos) calculado a través del método de Bland-Altman (plots).

El análisis de la validez de constructo indicó la existencia de una correlación significativa y positiva entre la edad de los participantes y los subtest (locomoción y control de objetos), PE y coeficiente de motricidad gruesa de la batería TGMD-2 tanto en el test como en el retest, a excepción de la puntuación estándar del subtest de control de objetos (r=.172) (Tabla 4).

Representación gráfica de la fiabilidad de la batería TGMD-2
Figura 1
Representación gráfica de la fiabilidad de la batería TGMD-2

Igualmente, se observó el establecimiento de correlaciones significativas entre las pruebas integradas en cada subtest y la puntuación obtenida en los mismos.

En relación a la validez concurrente (Tabla 5), únicamente se observaron relaciones significativas con las pruebas de fuerza explosiva de miembro inferior y de agilidad-velocidad, que mostraron asociaciones en su gran mayoría aceptables (r=.316-.562) con los subtest y con la PE de la batería TGMD-2.

Tabla 4
Validez de constructo de la batería TGMD-2
VariableCoeficiente de correlación de Pearson (r) con la edad
HLtest.618**
retest.611**
PE HLtest.473**
retest.508**
HCOtest.429**
retest.514**
PE HCOtest.172
retest.275*
PE Totaltest.399**
retest.472**
CMGtest.399**
retest.472**
Nota CMG: Coeficiente de Motricidad Gruesa; HL: Habilidades locomotrices; HCO: Habilidades de control de objetos; PE: Puntuación Estándar. **p<.001; *p<.05

Tabla 5
Validez concurrente de la batería TGMD2
PruebaCoeficiente de Correlación de Pearson (r)
Habilidades de locomociónHabilidades de control de objetosTGMD-2 (PE)
V sit and reachtest-.122-.047-.098
retest-.122-.096-.123
Salto Horizontaltest.495**.431**.533**
retest.497**.391**.498**
Flexiones en bancotest.133.211.206
retest.076.174.146
Carrera de obstáculostest.562**.316**.509**
retest.561**.299**.488**
Nota PE: Puntuación Estándar. **p<.001; *p<.05

Nota. PE: Puntuación Estándar. **p<.001; *p<.05

Discusión

Dado que La evaluación sistemática del desarrollo motor es una eficaz forma de identificar la existencia de trastornos del desarrollo (Leal, Daudet, Donaire y Segovia, 2005), se hace necesario contar con instrumentos adecuados para tal fin.

Este estudio tuvo como objetivo valorar la fiabilidad inter e intra-evaluador de una versión traducida al castellano de la batería TGMD-2, así como aportar información sobre su validez, cuando es administrado a un grupo de niños y niñas españoles de Educación Primaria. Los resultados aquí presentados pueden ser considerados de utilidad y en cierto modo originales, ante la ausencia de investigaciones que se hayan centrado en identificar las propiedades psicométricas de la TGMD-2 en población española. En esta línea, tampoco abundan los estudios que hayan testado la competencia motora de niños españoles a través del empleo de la misma. Así, por ejemplo, la única investigación encontrada al respecto es la de Cenizo et al. (2017) quienes administraron la batería a un total de 982 escolares de 6-9 años de edad, y en su valoración inicial encontraron valores medios que oscilaron entre los 32,4 y 42,8 puntos, para el subtest de habilidades de locomoción, y entre 31,7 y 42,4 para el subtest de habilidades de control de objetos. Estos valores, junto con los obtenidos en la presente investigación (si bien ha de tenerse en cuenta el reducido tamaño muestral de la misma), pueden servir de referencia para profesionales de la salud y de la educación física que quieran administrar esta batería en poblaciones similares.

El análisis estadístico empleado indicó que los valores de fiabilidad encontrados para la batería TGMD-2 en su versión española fueron elevados. Los datos obtenidos están en consonancia con los reportados en otros estudios de adaptación cultural de la batería, realizados en poblaciones de similar edad, tanto para la fiabilidad intra-evaluador (CCI: .86-.91) (Valentini, 2012; Cano-Cappellacci, Leyton, & Carreño, 2016; Barnett et al., 2013; Capio, Eguia, & Simons, 2015; Farrokhi, Zadeh, Kazemnejad, & Ilbeigi, 2014; Kim, Kim, Valentini, & Clarck, 2015; Simons et al., 2007; Houwen, Hartman, Jonker, & Visscher, 2010; Ulrich, 2002), como para la consistencia interna (CCI: .91-.99) (Valentini, 2012; Farrokhi et al., 2014; Capio et al., 2015; Cano-Cappellacci et al., 2016). En el estudio de adaptación cultural en España de la batería TGMD-3 (Estevan et al., 2017), se encontró una fiabilidad similar a la reportada en la presente investigación, tanto inter (CCI=.98; 95% IC=.85-1.00) como intra-evaluador (CCI=.90; 95% IC=.66-.98), mientras que su consistencia interna se mostró levemente inferior (α=.89; 95% IC=.87-.92).

A este respecto, conviene mencionar que las personas que realizaron las labores de evaluación y puntuación en este estudio conocían la batería TGMD-2 y estaban familiarizadas con su administración, hecho que favorece la obtención de un elevado grado de correlación test-retest (Palmer, 2016).

Debido a que la competencia motora es fruto del desarrollo por naturaleza, la puntuación alcanzada en la batería TGMD-2 debería estar fuertemente correlacionada con la edad cronológica. Del mismo modo, dado que ambos subtest de la batería (habilidades de locomoción y habilidades de control de objetos) evalúan características similares, las pruebas de cada subtest deberían estar fuertemente correlacionadas con la puntuación total obtenida en el mismo (Ulrich, 2002). Basándose en esta premisa, se realizó un análisis de validez de constructo, que confirmó la existencia de un grado de asociación significativo en dichas variables, resultados que se encuentran en la línea reportada por otros estudios que emplearon una metodología similar (Simons et al., 2007; Houwen et al., 2010; Farrokhi et al., 2014; Capio et al., 2015; Kim, et al., 2015). En relación a la validez de constructo informada para la batería TGMD-3, Estevan et al. (2017), tras analizar el grado de asociación existente entre la edad de los participantes y la puntuación registrada en los subtest de la misma, se observó un grado de concordancia superior (r=.72-.83; p<.001) a los hallados en el presente trabajo.

Puesto que la batería TGMD-2 es un instrumento originalmente creado y validado para la valoración del desarrollo motor, es posible obtener evidencias de validez también a partir de las relaciones de sus factores latentes con otras variables (Pineda-Espejel, Alarcón, López-Walle, & Tomás-Marco, 2017). En relación a la validez concurrente, en el presente estudio se replicó el diseño de Kim et al. (2014), por lo que se compararon los valores obtenidos en el conjunto de las habilidades de manejo de objetos, de las de locomoción, así como la puntuación estándar y el cociente de motricidad gruesa obtenidos en la batería TGMD-2 con los resultados de una serie de pruebas de valoración de la condición física. Este procedimiento metodológico se basa en la asunción de que existe una fuerte relación entre la competencia motriz y la condición física de los niños (Haga, 2008).

Sin embargo, el grado de correlación observado entre la TGMD-2 y la condición física resultó estadísticamente significativo solo para las pruebas de valoración de la fuerza explosiva de miembro inferior y de velocidad-agilidad, mientras que no lo fue para la flexibilidad y para la fuerza-resistencia de miembro superior. En el trabajo de Kim et al. (2014) todas las pruebas físicas, a excepción de la flexibilidad, correlacionaron con las habilidades de locomoción, pero no con las manipulativas. Respecto a este estudio, es de interés mencionar que estos autores testaron la batería en población en niños de 4-6 años, quienes suelen presentar un elevado grado de correlación entre su nivel de habilidad motriz y de condición física (Haga, Gísladóttír, & Sigmundsson, 2015), mientras que en niños de entre 7-8 años de edad, las correlaciones establecidas entre estas dos dimensiones que reflejan el grado de desarrollo motor son más débiles (Krebs, Duarte, Nobre, Nazario, & Santos, 2011). También se debe considerar la idea de que fueron únicamente las pruebas de componente explosivo, las que guardaron una correlación significativa con las puntuaciones de la TGMD-2, lo que pudiera explicarse en base a que tanto la fuerza explosiva de miembros inferiores como la agilidad o velocidad, muestran una gran dependencia de la competencia neuromuscular (Read, Oliver, Mark, Myer & Lloyd, 2016; Zemková & Hamar, 2010), al igual que ocurre con las habilidades motrices (Laukkanen, Pesola, Havu, Sääkslathi, & Finni, 2014).

Estos resultados parecen indicar que la batería TGMD-2 no es de utilidad para reflejar el estado de la condición física del niño evaluado. Sin embargo, y en relación a esto, se debe tener en cuenta que, si la potencia muestral del estudio fuese mayor, quizás la validez concurrente hubiese sido más sólida. Por lo tanto, se hace necesario que futuras investigaciones, con un mayor tamaño muestral, analicen la validez de esta batería en su versión de habla hispana, contrastándola con los resultados obtenidos tras aplicar baterías de carácter similar previamente validadas en población española.

A pesar de que la originalidad y el interés del presente estudio se sustentan sobre la ausencia de investigaciones que hayan analizado las propiedades de la batería TGMD-2 en niñas y niños españoles, es necesario mencionar el estudio de Cano-Cappellaci et al. (2016), donde analizaron la fiabilidad y validez de una versión en castellano de la batería TGMD-2, en un grupo de 92 niños chilenos de entre 5 y 10 años de edad. A este respecto, cabe mencionar que para comprobar la utilidad de una batería de este tipo en una población en concreto, no sólo basta con aplicar su manual una vez traducido al idioma de la misma, sino que es necesario la realización de todo un proceso de adaptación “cross-cultural” basado en el hecho de que los niños de un país no tienen por qué comprender y ejecutar del mismo modo las pruebas incluidas en la batería, tal y cómo han observado otros autores en estudios similares (Ruiz, Graupera, Gutiérrez, & Miyahara, 2003; Kambas et al., 2012). Es decir, el hecho de que la batería haya demostrado ser fiable y válida en niños chilenos no implica que lo sea en niños españoles.

Si bien este estudio, entonces, goza de originalidad y posible utilidad, es importante reconocer ciertas debilidades metodológicas inherentes al diseño del mismo y que limitan la generalización de los resultados. Por un lado, la muestra puede ser considerada como pequeña para este tipo de investigaciones, si bien trabajos similares han sido publicados con muestras de tamaño parecido (Cano-Cappellaci et al., 2016; Estevan et al., 2017). Por otro lado, el análisis de la validez de la batería TGMD-2 hubiese sido más consistente si los resultados de la misma se hubiesen contrastado con los procedentes de la administración de una batería similar. Sin embargo, este procedimiento metodológico no es de fácil realización. Como se ha comentado anteriormente, únicamente una de las baterías mundialmente reconocidas como de utilidad para este fin, la MABC-2 ha demostrado ser fiable y válida en población escolar española. Sin embargo, esta batería no parece la más adecuada para identificar la validez de la TGMD-2, dado que se ha comentado que valoran constructos diferentes y que guardan una correlación entre moderada y baja (Valentini, 2012). Como resultado, en la presente investigación se optó por determinar la validez convergente de la batería a través de la realización de una serie de pruebas físicas. Sin embargo, y a pesar de que se ha observado una fuerte relación entre la competencia motriz y la respuesta cardiorespiratoria al ejercicio (Barnett et al., 2008), entre dichas pruebas no se incluyó un test de eficiencia cardiorespirataria, dada la ausencia de recursos materiales y disponibilidad temporal para su puesta en práctica. Es ésta otra debilidad inherente al diseño metodológico aquí desarrollado. Finalmente, se debe mencionar que el rango de edad de la población objeto de estudio fue pequeño (7-10 años) y dado que la batería TGMD-2 fue diseñada para valorar el desarrollo motor grueso de poblaciones de entre 3-10 años de edad, son necesarios más estudios que se centren en otras franjas de edad.

En conclusión, la batería TGMD-2 mostró una elevada fiabilidad test-retest, inter e intra-evaluador cuando fue administrada a niños y niñas de entre 7 y 10 años de edad españoles. La batería mostró una validez de constructo similar y una validez concurrente inferior a la reportada en otros estudios de adaptación transcultural.

Futuros estudios, con muestras más amplias y con un mayor rango de edad, deben confirmar estos resultados, aconsejándose para ello el empleo de otras herramientas de valoración del desarrollo motor, al objeto de obtener información más sólida acerca de su validez.

Referencias

Arnheim, D., & Sinclair, A. (1976). El niño torpe: Un programa de terapia motriz. Buenos Aires: Panamericana.

Barnett, L., Van Beurden, E., Morgan, P., Brooks, L., & Beard, J. (2008). Does childhood motor skill proficiency predict adolescent fitness?. Medicine+ Science in Sports+ Exercise, 40(12), 21-37. doi:10.1249/MSS.0b013e31818160d3

Bruininks, R. H. (2005). Bruininks-Oseretsky test of motor proficiency (pp. 27-28). Circle Pines, MN: AGS Publishing. doi:10.1300/J006v27n04_06

Cano-Cappellacci, M., Leyton, F. A., & Carreño, J. D. (2016). Content validity and reliability of test of gross motor development in Chilean children. Revista de Saúde Pública, 49, 97. doi:10.1590/S0034-8910.2015049005724

Chan, Y. H. (2003). Biostatistics 104: Correlational analysis. Singapore Medical Journal 44(12), 614-619.

Cenizo, J. M., López, E. S., & Truan, J. C. F. (2017). Material resources for gross motor development in schoolchildren aged 6-9. Apunts. Educació Física i Esports, 130, 58-72.

Cenizo Benjumea, J. M., Ravelo Afonso, J., Morilla Pineda, S., Ramírez Hurtado, J. M., & Fernández-Truan, J. C. (2016). Diseño y validación de instrumento para evaluar coordinación motriz en primaria. Revista Internacional de Medicina y Ciencias de la Actividad Física y el Deporte, 16(62), 203-219. doi:10.15366/rimcafd2016.62.002

Clark, J. E., & Metcalfe, J. S. (2002). The mountain of motor development: A metaphor. In J. E. Clark & J. H. Humphrey (Eds.), Motor development: Research and reviews (Vol. 2, pp. 163-190). Reston, VA: National Association of Sport and Physical Education.

Cools, W., De Martelaer, K., Samaey, C., & Andries, C. (2009). Movement skill assessment of typically developing preschool children: A review of seven movement skill assessment tools. Journal of sports science and medicine, 8(2), 154-168.

Dobbins, M., Husson, H., DeCorby, K., & LaRocca, R. L. (2013). School‐based physical activity programs for promoting physical activity and fitness in children and adolescents aged 6 to 18. The Cochrane Library, 2, CD007651. doi: 10.1002/14651858.CD007651.pub2.

Estevan, I., Molina-Garcia, J., Queralt, A., Álvarez, O., Castillo, I., & Barnett, L. (2017). Validity and reliability of the Spanish Version of the Test of Gross Motor Development-3. Journal of Motor Learning and Development, 5(1), 1-21. doi:10.1123/jmld.2016-0045

Farrokhi, A., Zadeh, Z., Kazemnejad, A., & Ilbeigi, S. (2014). Reliability and validity of test of gross motor development-2 (Ulrich, 2000) among 3-10 aged children of Tehran City. Journal of Physical Education and Sport Management, 5(2), 18-28. doi:10.5897/ JPESM12.003

Folio, M. R., & Fewell, R. R. (2000). Peabody developmental motor scales: Examiner's manual. Austin, TX: Pro-ed.

George, D., & Mallery, P. (2003). SPSS for Windows step by step: A simple guide and reference. 11.0 update. (4th ed). Boston: Allyn & Bacon.

Haga, M. (2008). The relationship between physical fitness and motor competence in children. Child: care, health and development, 34(3), 329-334. doi:10.1111/j.1365-2214.2008.00814.x

Haga, M., Gísladóttír, T., & Sigmundsson, H. (2015). The Relationship between motor competence and physical fitness is weaker in the 15-16 yr. adolescent age group than in younger age groups (4-5 Yr. and 11-12 Yr.). Perceptual and motor skills, 121(3), 900-912. doi:10.2466/10.PMS.121c24x2

Herrmann, C., & Seelig, H. (2017). Structure and profiles of basic motor competencies in the third grade-validation of the Test Instrument MOBAK-3. Perceptual and motor skills, 124(1), 5-20. doi:10.1177/0031512516679060

Houwen, S., Hartman, E., Jonker, L., & Visscher, C. (2010). Reliability and validity of the TGMD-2 in primary-school-age children with visual impairments. Adapted Physical Activity Quarterly, 27(2), 143-159.

Kambas, A., Venetsanou, F., Giannakidou, D., Fatouros, I. G., Avloniti, A., Chatzinikolaou, A., ... & Zimmer, R. (2012). The Motor-Proficiency-Test for children between 4 and 6 years of age (MOT 4–6): An investigation of its suitability in Greece. Research in developmental disabilities, 33(5), 1626-1632. doi:10.1016/j.ridd.2012.04.002

Kim, C. I., Han, D. W., & Park, I. H. (2014). Reliability and validity of the Test of Gross Motor Development-II in Korean preschool children: Applying AHP. Research in Developmental Disabilities, 35(4), 800-807. doi:10.1016/j.ridd.2014.01.019

Kim, S., Kim, M. J., Valentini, N. C., & Clark, J. E. (2015). Validity and reliability of the TGMD-2 for South Korean children. Journal of Motor Behavior, 46(5), 351-356. doi:10.1080/00222895.2014.914886

Krebs, R. J., Duarte, M. G., Nobre, G. C., Nazario, P. F., & Santos, J. O. L. D. (2011). Relationship between motor performance and physical fitness score in 7-to 8-year-old children. Revista Brasileira de Cineantropometria & Desempenho Humano, 13(2), 94-99. doi:10.5007/1980-0037.2011v13n2p94

Laukkanen, A., Pesola, A., Havu, M., Sääkslahti, A., & Finni, T. (2014). Relationship between habitual physical activity and gross motor skills is multifaceted in 5‐to 8‐year‐old children. Scandinavian Journal of Medicine & Science in sports, 24(2), e102-e110. doi:10.1111/sms.12116

Leal, F., Daudet, A., Donaire, D., & Segovia, M. (2005). Un instrumento para la evaluación desarrollo infantil con participación de los padres. Revista Iberoamericana de Diagnóstico y Evaluación – e Avaliação Psicológica, 1(19).

Longmuir, P. E., Boyer, C., Lloyd, M., Borghese, M. M., Knight, E., Saunders, T. J., Boiarskaia, E., Zhu, W., & Tremblay, M.S. (2015). Canadian Agility and Movement Skill Assessment (CAMSA): Validity, objectivity, and reliability evidence for children 8-12 years of age. Journal of sport and health science, 6(2), 231-240. doi:10.1016/j.jshs.2015.11.004

Luz, C. M. N. D., Almeida, G. S. N. D., Rodrigues, L. P., & Cordovil, R. (2017). The evaluation of motor competence in typically developing children: An integrative review. Journal of Physical Education, 28, e2857. doi:10.4025/jphyseduc.v28i1.2857

McCarron, L. T. (1997). McCarron Assessment of Neuromuscular Development (3rd ed.). Dallas, TX: McCarron-Dial Systems Inc.

Maeng, H., Webster, E. K., Pitchford, E. A., & Ulrich, D. A. (2017). Inter-and intrarater reliabilities of the Test of Gross Motor Development-Third edition among experienced TGMD-2 raters. Adapted Physical Activity Quarterly, 34(4), 442-455. doi:10.1123/apaq.2016-0026

Morley, D., Van Rossum, T., Richardson, D., & Foweather, L. (2018). Expert recommendations for the design of a children’s movement competence assessment tool for use by primary school teachers. European Physical Education Review. doi:10.1177/1356336X17751358

Mukherjee, S., LyeChingTing, J., & Leong, H. F. (2017). Fundamental motor skill proficiency of 6-to 9-year-old singaporean children. Perceptual and Motor Skills, 124(3), 584-600. doi:10.1177/0031512517703005

Palmer, K. K., & Brian, A. (2016). Test of Gross Motor Development-2 Scores Differ Between Expert and Novice Coders. Journal of Motor Learning and Development, 4(2), 142-151. doi:10.1123/jmld.2015-0035

Payne, V. G., & Isaacs, L. D. (2017). Human motor development: A lifespan approach. Routledge.

Pineda-Espejel, A., Alarcón, E. I., López-Walle, J. M., & Tomás-Marco, I. (2017). Adaptación al español de la versión corta del Inventario de Perfeccionismo Multidimensional en el Deporte en competición. Revista Iberoamericana de Diagnóstico y Evaluación – e Avaliação Psicológica, 43, 45-57. doi:10.21865/RIDEP43_45

Ré, A. H., Logan, S. W., Cattuzzo, M. T., Henrique, R. S., Tudela, M. C., & Stodden, D. F. (2017). Comparison of motor competence levels on two assessments across childhood. Journal of Sports Sciences, 36,1-6.

Read, P. J., Oliver, J. L., Mark, B. A., Myer, G. D., & Lloyd, R. S. (2016). Consistency of field-based measures of neuromuscular control using force-plate diagnostics in elite male youth soccer players. The Journal of Strength & Conditioning Research, 30(12), 3304-3311. doi:10.1519/JSC.0000000000001438

Robinson, L. E., Stodden, D. F., Barnett, L. M., Lopes, V. P., Logan, S. W., Rodrigues, L. P., & D’Hondt, E. (2015). Motor competence and its effect on positive developmental trajectories of health. Sports Medicine, 45(9), 1273-1284.

Ruiz, L. M., Gómez, M., Jiménez, P. J., Ramón, I., & Peñaloza, R. (2015). ¿Debemos preocuparnos por la coordinación corporal de los escolares de la Educación Secundaria Obligatoria?. Pediatría Atención Primaria, 17(66), e109-e116.

Ruíz, L. M., & Graupera, J. L. (2012). Adaptación española de la batería de evaluación del movimiento para niños-2 (MABC-2; Henderson, Sugden y Barnett, 2012): una herramienta científica para los profesionales de la educación física. En IV Congreso Internacional de Ciencias del Deporte y la Educación Física (VIII Seminario Nacional de Nutrición, Medicina y Rendimiento Deportivo).

Ruiz, L. M., Graupera, J. L., Gutiérrez, M., & Miyahara, M. (2003). The assessment of motor coordination in children with the Movement ABC test: A comparative study among Japan, USA and Spain. International Journal of Applied Sports Sciences, 15, 22-35.

Ruiz, L. M., Rioja, N., Graupera, J, Palomo, N., & García, V. (2015). Grami-2: Desarrollo de un test para evaluar la coordinación motriz global en la educación primaria. Revista Iberoamericana de Psicología del Ejercicio y el Deporte, 10, 103-111.

Shrout P. E., & Fleiss J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420-428. doi:10.1037/0033-2909.86.2.420

Simons, J., Daly, D., Theodorou, F., Caron, C., Simons, J., & Andoniadou, E. (2008). Validity and reliability of the TGMD-2 in 7 -10-year -old Flemish children with intellectual disability. Adapted Physical Activity Quarterly, 25, 71-82. doi: 10.1123/apaq.25.1.71

Slater, L. M., Hillier, S. L., & Civetta, L. R. (2010). The clinimetric properties of performance-based gross motor tests used for children with developmental coordination disorder: A systematic review. Pediatric Physical Therapy, 22(2), 170-179. doi:10.1097/PEP.0b013e3181dbeff0.

Stodden, D. F., Goodway, J. D., Langendorfer, S. J., Roberton, M. A., Rudisill, M. E., Garcia, C., & Garcia, L. E. (2008). A developmental perspective on the role of motor skill competence in physical activity: An emergent relationship. Quest, 60(2), 290-306. doi:10.1080/00336297.2008.10483582

Torralba, M. A., Vieira, M. B., Lleixà, T., & Gorla, J. I. (2016). Evaluación de la coordinación motora en educación primaria de Barcelona y provincia/Assessment of Motor Coordination in PrimaryEducation of Barcelona and Province. Revista Internacional de Medicina y Ciencias de la Actividad Física y del Deporte, 16(62), 11-21. doi:10.15366/rimcafd2016.62.011

Ulrich, D. A. (2000). Test of gross motor development-2. Austin: Prod-Ed.

Valentini, N. C. (2012). Validity and reliability of the TGMD-2 for Brazilian children. Journal of Motor Behavior, 44(4), 275-280. doi:10.1080/00222895.2012.700967

Wiart, L., & Darrah, J. (2001). Review of four tests of gross motor development. Developmental Medicine & Child Neurology, 43(4), 279-285. doi:10.1017/S0012162201000536

Wong, K. Y. A., & Yin Cheung, S. (2010). Confirmatory factor analysis of the Test of Gross Motor Development-2. Measurement in Physical Education and Exercise Science, 14(3), 202-209. doi:10.1080/10913671003726968

The World Medical Association (WMA) (2013). World Medical Association declaration of Helsinki: Ethical principles for medical research involving human subjects. Jama, 310(20), 2191-2194.

Zemková, E., & Hamar, D. (2010). The effect of 6-week combined agility-balance training on neuromuscular performance in basketball players. The Journal of sports medicine and physical fitness, 50(3), 262-267.

Notas de autor

Graduada en Educación Primaria. Xunqueira I, Rúa Alexandre Bóveda, s/n, 36005 Pontevedra, España. Tel: 986872150.
Graduado en Educación Primaria. Xunqueira I, Rúa Alexandre Bóveda, s/n, 36005 Pontevedra, España. Tel: 986872150.
HTML generado a partir de XML-JATS4R por