Neuropsicología y Psicología Cognitiva
Recepción: 11 Marzo 2018
Aprobación: 18 Octubre 2018
Resumen: Objetivo: Analizar las propiedades psicométricas del Test de Denominación de Boston para jóvenes adultos de Buenos Aires. Método: Se evaluó a 40 participantes entre 20 y 39 años de edad con la versión local de este test. Se calculó la dificultad y poder discriminativo de los ítems y se los comparó con los datos de la versión argentina del año 1997. Se analizó la consistencia interna de la prueba y, finalmente, se calcularon datos normativos preliminares para este grupo etario. Resultados: Se observaron diferencias respecto de los datos disponibles del año 1997 con láminas con mayor y menor porcentaje de acierto. Se obtuvo valores de α de Cronbach = .551 y el puntaje de corte se estableció en 47 puntos. Conclusiones: Las diferencias halladas entre los sujetos evaluados y los datos argentinos previos remarcan la importancia de generar actualizaciones de las propiedades psicométricas de los test en distintas poblaciones.
Palabras clave: Test de Denominación de Boston, Datos normativos, Propiedades psicométricas, Evaluación neuropsicológica.
Abstract: Aim: To analyze psychometric properties of the Naming Boston Test for young adults from Buenos Aires. Method: We assessed 40 participants between 20 and 39 years old. We calculated item difficulty and discrimination and compare them with Argentinian version from 1997. The internal consistency of the test was analyzed and, finally, preliminary normative data was calculated for this age group. Results: Differences were observed with respect to the data available from 1997 with items with higher and lower percentage of accuracy. Cronbach’s α values was = .551 and the cut off score was established in 47 points. Conclusion: The differences found between the subjects evaluated in this work and the previous Argentine data highlight the importance of generating updates of the psychometric properties of the tests in different populations.
Keywords: Boston Naming Test, Normative data, Psychometric properties, Neuropsychological assessment.
Introducción
El Test de Denominación de Boston (Kaplan, Goodglass & Weintraub, 1983) es una prueba de denominación por confrontación visual que consiste en la presentación de 60 láminas con figuras impresas, presentadas en orden de complejidad ascendente según la frecuencia de uso, las cuales deben ser nombradas por los sujetos a evaluar. Actualmente, se utiliza de manera predominante para la evaluación de algunos aspectos del lenguaje, como el acceso al léxico, pero también para la evaluación del acceso a la memoria semántica en demencias, incluyendo a la demencia tipo Alzheimer y la afasia progresiva primaria variante semántica (Montembeault et al., 2017).
Esta es una de las herramientas más frecuentemente utilizadas en la evaluación neuropsicológica y su uso se encuentra muy extendido en distintas partes del mundo incluyendo a la Argentina (Fernández, Ferreres, Morlett-Paredes, Rivera, & Arango-Lasprilla, 2016).
Los autores originales del test desarrollaron la primera versión experimental del mismo con 85 ítems que luego fue reducida a 60 en la versión estándar (Kaplan et al., 1983) pero además existe una variedad de versiones acotadas con 30 (Williams, Mack, & Henderson, 1989), 15 (Lansing, Ivnik, Cullum, & Randolph, 1999; Mack, Freed, Williams, & Henderson, 1992) y 12 láminas (Serrano et al., 2001) que han sido sugeridas para la evaluación de pacientes con deterioro cognitivo en los que la extensa longitud de la prueba puede resultar inconveniente.
Debido a que el Test de Denominación de Boston contiene una importante influencia de variables demográficas y culturales, se han realizado adaptaciones para distintos países, entre ellos España (Peña-Casanova, Comas, Quiñones-Úbeda, Böhm, & Gramunt-Fombuena, 2004; Ramiet al., 2008), Canadá (Graves, Bezeau, Fogarty, & Blair, 2004), Brasil (Miotto, Sato, Lucia, Camargo, & Scaff, 2010), Colombia (Beltran & Solis, 2012), Argentina (Allegri et al., 1997), Australia (Elkadi et al., 2006), Suecia (Tallberg, 2005), Holanda (Mariën, Mampaey, Vervaet, Saerens & De Deyn, 1998) y Estados Unidos (Zec, Burkett, Markwell, & Larsen, 2007). La importancia de contar con versiones adaptadas a cada región es un aspecto fundamental dado que las variaciones culturales pueden influir de manera santificativa en el rendimiento de un test y, por lo tanto, alterar su validez.
En el caso de las versiones disponibles en nuestro idioma, la primera versión adaptada fue realizada en España (García-Albea, Sánchez-Bernardos, del Viso-Pabón, 1996). En este trabajo fueron reemplazados 13 ítems debido a que no eran de utilidad en este idioma o tenían alta frecuencia de uso. Sin embargo, Fernández y Fulbright (2015) criticaron el hecho de que en ese trabajo varios de los ítems que fueron reemplazados de la versión original, lo habían sido sin información empírica que respalde su exclusión/inclusión. Los autores refirieron que esto pudo haber alterado las propiedades del test, convirtiendo esa versión en una de más fácil resolución que la original y generando un efecto techo en el rendimiento.
En Argentina existe una adaptación realizada en el año 1997 por Allegri et al., que incluyó un reordenamiento de las tarjetas estímulo a fin de reflejar la frecuencia decreciente de las respuestas correctas y la creación de baremos para distintas franjas etarias (entre 39 y 70 años) y para varios rangos de escolaridad (menos de 7, de 8 a 12 y más de 13 años de escolaridad). Los resultados de ese trabajo mostraron que en la población argentina había diferentes patrones de rendimiento en comparación a lo reportado en la versión original, una leve tendencia a declinar la puntuación a partir de los 60 años de edad y una importante correlación con el nivel educativo, especialmente para las últimas 20 láminas del test.
Esta versión ha sido utilizada en más de 100 investigaciones desde entonces y, en el año 2015, se llevó a cabo un análisis para evaluar la validez de la adaptación argentina para su uso clínico, particularmente en pacientes con demencia tipo Alzheimer (Fernández & Fulbright, 2015). Los resultados mostraron que debido a su muy baja sensibilidad, se producían muchos falsos negativos, es decir, que los pacientes con este tipo de demencia obtenían puntajes normales. Es por ello que los autores de dicha revisión critican el uso de este test en la población de pacientes con este tipo de demencia y desaconsejan su uso clínico con este grupo.
A pesar de que el test cuenta con varias versiones disponibles y que hay reportes de múltiples investigaciones que han usado esta herramienta de evaluación, existen pocos datos respecto a su uso y funcionamiento en población joven adulta. Si bien la versión inglesa de 60 ítems (Kaplan et al., 1983) cuenta con baremos para dicha población, la versión argentina no (Allegri et al., 1997). En la adaptación local, se incluyen datos normativos para personas menores de 39 años, pero ésta contempla solo a sujetos con un rango de 30 a 39 años, sin hacer distinciones específicas y excluyendo sujetos de menor edad. En otros países como España sí existen reportes de datos normativos para jóvenes adultos a partir de los 18 años (Aranciva et. al., 2012; Peña-Casanova et al., 2004), siendo este el primer país donde se reportaron datos normativos para jóvenes adultos en idioma castellano.
Finalmente, cabe destacar que algunos autores han criticado el hecho de que el Test de Denominación de Boston tiene propiedades psicométricas pobres, no está adecuadamente estandarizado y no tiene normas adecuadas para todas las poblaciones (Harry & Crowe, 2014). En referencia a la versión disponible para Argentina, una de las limitaciones actuales es la falta de información sobre el funcionamiento del test para la población joven y la necesidad de contar con baremos para este grupo. Esta información será de importancia, por un lado, para aquellas investigaciones que utilicen esta herramienta de evaluación en participantes jóvenes adultos y, por otro lado, contar con evidencias disponibles para esta población podría ampliar el uso del instrumento en pacientes jóvenes con alteraciones del lenguaje y /o semánticas. Es por ello que el objetivo de este trabajo fue realizar un análisis de las propiedades psicométricas del Test de Denominación de Boston para jóvenes adultos de la Ciudad de Buenos Aires, incluyendo la evaluación de la dificultad y poder discriminativo de los ítems, el análisis de la confiabilidad del test y la obtención de los valores normativos correspondientes.
Metodología
Tipo de diseño
En este trabajo se realizó un estudio cuanti-cualitativo, exploratorio y descriptivo. Se realizó un estudio instrumental destinado a estudiar las propiedades psicométricas del Test de Denominación de Boston (Montero & León, 2007).
Participantes
La muestra estuvo compuesta por 40 jóvenes adultos (20 mujeres) con una edad media de 28.3 (5.1) y con una escolaridad media en años de 16.4 (2.8).
Los criterios de inclusión/exclusión fueron: 1) edad entre 20 y 39 años; 2) escolaridad mayor o igual a 12 años; 3) lengua nativa español variedad rioplatense; 4) residentes de la Ciudad Autónoma de Buenos Aires; 5) ausencia de deterioro cognitivo (Evaluación cognitiva Montreal igual o superior a 26) y 6) ausencia de síntomas depresivos severos (Inventario de Depresión de Beck inferior a 13).
Materiales y procedimiento
Antes de comenzar, se solicitó a todos los participantes el consentimiento informado de participación voluntaria de acuerdo a la Declaración de Helsinki.
Antes de comenzar con la administración de las pruebas, se realizó una breve entrevista abierta que se utilizó para descartar fallas evidentes y severas de cognición: confusión, fallas atencionales, déficit en la comprensión, fatiga severa y problemas visuales. Luego se procedió al registro de los datos demográficos y la administración de dos pruebas iniciales para identificar los criterios de inclusión/exclusión. Se administró, en primer lugar, la Evaluación Cognitiva Montreal (MoCA, versión en español de Nasreddine et al., 2005), que consiste en un instrumento de screening para detectar disfunciones cognitivas, a través de la evaluación de habilidades como la atención, concentración, funciones ejecutivas, memoria, lenguaje, capacidades visuoconstructivas, cálculo y orientación. Por otro lado se administró el Inventario de Depresión de Beck (adaptación de Brenlla & Rodríguez, 2006) que consiste en un auto-informe que identifica síntomas típicos para detectar la presencia y severidad de depresión en adultos y adolescentes. Con ellos, se evaluó que los participantes a incluir en la muestra cumplieran con los criterios de inclusión mencionados anteriormente.
Finalmente se les aplicó el Test de Denominación de Boston, siguiendo el procedimiento de administración y puntuación de la versión argentina de Allegri et al. (1997).
La administración se realizó en un encuentro de aproximadamente 30 minutos de duración para todos los participantes.
Análisis de datos
Se calculó la cantidad de respuestas correctas para cada participante y los estadísticos descriptivos para la totalidad de la muestra así como la distribución de los datos. Luego se calculó el índice de dificultad (p) para cada una de las láminas del test como la proporción de aciertos de la totalidad de la muestra evaluada en cada ítem. Puntajes de p cercanos a 1 indican que ese ítem es fácil, mientras que valores cercanos a 0 indican mayor dificultad. Además se calculó el índice de discriminación (D) de cada lámina calculado como la diferencia entre la proporción de aciertos de los sujetos que obtuvieron puntuaciones globales en el test dentro del cuarto cuartil (Q4) y aquellos con puntuación dentro del primer cuartil (Q1). Se consideró que los ítems discriminaron adecuadamente si D>.30 (Ebel, 1965). Por otro lado, se analizó la confiabilidad del Test de Denominación de Boston en la muestra evaluada, con el método de consistencia interna estimado a partir del α de Cronbach.
Por último, se obtuvieron los datos normativos a partir del cálculo de medias y desviaciones estándar de rendimiento, así como el puntaje de corte sugerido para esta población. Se utilizó el mismo criterio que Allegri et al. (1997) (Puntaje de corte = puntaje que cae dos desviaciones estándar por debajo de la media).
Resultados
La tabla 1 muestra los estadísticos descriptivos obtenidos del rendimiento de la totalidad de la muestra en el Test de Denominación de Boston
El análisis de la distribución de la muestra, realizado con la prueba Kolmogorov-Smirnov, mostró que el rendimiento de los participantes evaluados no se ajustó a una distribución normal (z =.162, gl = 40, p =.01) y que la mayoría de los participantes obtuvo puntajes altos en la prueba, tal y como se puede observar en la figura 1.
Dificultad y poder discriminativos de los ítems
El índice de dificultad medio de las láminas del test fue de 0.88 (0.2) y la discriminación media de los ítems fue de 0.10 (0.16). En la tabla 2 se muestran los valores de la dificultad y la discriminación para cada una de las láminas.
Los resultados mostraron que 43/60 láminas (71.7%) tuvieron valores de p > .90, lo que indica que un alto porcentaje de láminas fueron de muy fácil resolución para los participantes. El resto de las láminas tuvo una dificultad media y hubo sólo un ítem muy difícil con p < .20 (lámina 60: yugo). Respecto de los índices de discriminación sólo 9/60 ítems (15%) discriminaron adecuadamente entre participantes con alto y bajo puntaje. Estas fueron las láminas 33 (zancos), 40 (magdalena), 44 (ábaco), 45 (paleta), 48 (pergamino), 50 (pelícano), 52 (espárrago), 53 (estetoscopio), y 57 (transportador). Este resultado es de esperar, dado que la mayoría de los ítems fueron de fácil resolución para la mayoría de las personas evaluadas.
Respecto de la comparación entre la dificultad de las láminas obtenidas en la muestra de jóvenes adultos evaluados para el presente trabajo con los datos reportados por Allegri et al., se hallaron algunas diferencias, como puede observarse en la tabla 3. El 41.7% de las láminas estímulo (25/60) tuvo menor porcentaje de acierto en el estudio actual, a comparación de la versión de Allegri. En 38.3% de las láminas (23/60) se observó el patrón opuesto, mejor rendimiento en los sujetos evaluados aquí que los reportados previamente. Y, finalmente, en el 20% de las láminas (12/60) no hubo diferencias
Un resultado a destacar fue que en el caso de los ítems 40 (magdalena), 48 (pergamino), 50 (pelícano), 52 (espárrago), 59 (bellota) y 60 (yugo) el desempeño de los participantes de la muestra arrojó un porcentaje de acierto muy bajo en comparación a los reportados por Allegri (ver tabla 3).
Además hubo un ítem, “Yugo” (lámina 60), que no fue respondido correctamente por ninguno de los sujetos evaluados en el presente trabajo. Esta lámina es la que tuvo más diferencias respecto a los datos reportados en la versión argentina de Allegri. Por otro lado, otras de las láminas que presentaron diferencias fueron las láminas 43 (iglú), 47 (dominó), 51 (dardo), 56 (unicornio) y 58 (castor). En esos casos, los jóvenes adultos evaluados aquí presentaron un mayor porcentaje de acierto (tabal 3). De hecho, estas láminas que están ubicadas al final del test por ser consideradas las más difíciles tuvieron un alto porcentaje de acierto. Por ejemplo, la lámina 43 (iglú) obtuvo 100% de acierto y las láminas 47 (dominó), 51 (dardo) y 56 (unicornio) tuvieron porcentajes de acierto superiores al 95%.
Dado que no se hallaron diferencias entre los grupos de edad, se reporta la media y la desviación estándar, así como también el puntaje de corte sugerido para la población de jóvenes adultos de 20 a 39 años de edad (tabla 5). Este puntaje de corte se calculó de acuerdo a los lineamientos de Allegri et al. (1997), es decir considerando dos desviaciones estándar por debajo de la media
Discusión
El objetivo de este trabajo consistió en realizar el análisis de las propiedades psicométricas del Test de Denominación de Boston, versión de Buenos Aires (Allegri et al., 1997), en jóvenes adultos de la Ciudad Autónoma de Buenos Aires. Para ello se analizó la dificultad, discriminación, confiabilidad y rendimiento de los sujetos de 20 a 39 años de edad y se lo comparó con lo ya descripto para la población adulta argentina.
En primer lugar, respecto de la dificultad de los ítems del Test de Denominación de Boston, se pudo observar que las primeras 20 láminas, exceptuando la 13 (“Regadera”) y la 16 (“Banco”), han tenido un 100% de acierto y en las primeras 39 tarjetas estímulo la dificultad no aumentó más de un 10%, manteniéndose así de fácil resolución para los jóvenes evaluados. A partir de la lámina 40 (“Magdalena”) se observó mayor complejidad. Cinco de los estímulos (40, 48, 50, 59 y 60) presentaron una dificultad igual o menor a 0.55, lo que indica que fueron de difícil resolución para los participantes. La lámina 59 (“bellota”) y la 60 (“yugo”) han resultado las de mayor dificultad y, éste último, no sólo fue el ítem más difícil para todos los evaluados, sino que en la totalidad de la muestra ningún participante obtuvo acierto. Resulta importante realizar otros estudios que repliquen este resultado, debido a que, según los datos de este trabajo, esta lámina no tiene ninguna utilidad para la población de jóvenes adultos ya que ningún sujeto pudo contestarla correctamente.
Por otro lado, algunas láminas que están ubicadas al final del test y que deberían presentar mayor dificultad, obtuvieron casi el 100% de acierto para los sujetos jóvenes (lámina 56 “Unicornio” = 97.5% acierto; lámina 51 “Dardo” = 95% acierto; lámina 47 “Dominó” = 97.5% de acierto; y lámina 43 iglú = 100% de acierto). Esto muestra una diferencia no menor ante la versión de Allegri et al. (1997) ya que, según estos datos, el orden de presentación de la láminas no es concordante con un aumento en la dificultad para jóvenes adultos.
En cuanto al poder discriminativo de los ítems, de las 60 láminas el 85% no discriminó entre sujetos con alto y bajo rendimiento, entre ellos los primeros 30 ítems considerados de fácil resolución. Este dato no es llamativo, ya que es esperable que las láminas muy sencillas lo sean tanto para los sujetos con alto como para los de bajo rendimiento. Del total de los ítems, 9 discriminaron adecuadamente. Estos fueron: “Zancos”, “Magdalena”, “Ábaco”, “Paleta”, “Pergamino”, “Pelicano”, “Espárrago”, “Estetoscopio” y “Bellota”. Estos datos, podrían ser de utilidad sobre todo cuando se toman decisiones respecto de la reducción de la longitud del test. Si bien en la evaluación neuropsicológica es necesario contar con ítems muy fáciles para que los evaluados no se sientan muy exigidos y frustrados al inicio de la evaluación, podría realizarse un re-análisis de la cantidad de ítems incluidos con estas características. Por ejemplo, para el caso de los jóvenes-adultos evaluados para el presente trabajo, se observó que 25/60 láminas tuvieron 100% de acierto. Dado que esos ítems no mostraron variabilidad entre participantes con alto y bajo rendimiento, una posibilidad de reducción de los ítems del test, podría considerar eliminar parte de ellos.
A la inversa, el caso del ítem 60 (“yugo”) resultó difícil tanto para los sujetos de bajo como los de alto rendimiento y, por lo tanto, no presentó efecto discriminativo. De hecho, como se mencionó anteriormente, ninguno de los participantes evaluados pudo dar la respuesta correcta ante esta lámina, lo cual muestra su escasa utilidad para este grupo etario.
Por otro lado, el 38.33% de las láminas estímulo tuvo mayor porcentaje de acierto en el estudio actual, a comparación de la versión de Allegri et al. (1997). Incluso algunos ítems ubicados al final del test, que deberían haber sido de mayor dificultad, fueron más fáciles de resolver para los jóvenes adultos evaluados aquí que aquellos evaluados en la versión de 1997. Se trata de los ítems 43 (iglú), 47(dominó), 51 (dardo), 55 (armónica), 56 (unicornio) y 58 (castor). Además, en el caso de seis ítems, 40, 48, 50, 52, 59 y 60 (magdalena, ábaco, pergamino, pelícano, espárrago y yugo) se obtuvo una gran diferencia de desempeño en la que los sujetos de la muestra presentaron un porcentaje de acierto muy bajo. Sin embargo, es necesario aclarar que para el cálculo de la dificultad de la versión de Allegri se incluyeron a todos los sujetos, sin hacer distinciones entre los grupos de edad o escolaridad, mientras que en el estudio actual se analizaron los datos de un grupo reducido que incluyó sólo población joven adulta y de alta escolaridad. Es posible, por lo tanto, que las diferencias observadas se deban a las diferentes características de la muestra. A pesar de ello, los datos aquí analizados permiten inferir que, probablemente, los ítems tienen un funcionamiento distinto de acuerdo a los grupos etarios evaluados. En este sentido, se espera poder realizar estudios futuros donde se analice exhaustivamente las diferencias de rendimiento en distintos grupos etarios e incluir las posibles variaciones culturales y generacionales que afecten el rendimiento.
Respecto de la confiabilidad estimada a partir del método de consistencia interna, el análisis para el Test de Denominación de Boston arrojó un valor de alfa de Cronbach de .551. Siguiendo el criterio de George y Mallery (2003), este valor es pobre y es un indicador de baja confiabilidad. A su vez, se analizó el alfa excluyendo los elementos individuales del test, y no se encontraron cambios significativos en el valor, por lo que no puede asignarse la baja confiabilidad a algún ítem en particular. A pesar de que la consistencia interna estimada mediante este método no arrojó buenos valores para este test, cabe destacar que la muestra utilizada en el presente trabajo es pequeña y pudo haber influido en los resultados obtenidos. En trabajos futuros se sugiere realizar análisis adicionales de la consistencia interna en la que se incluyan un tamaño de muestra mayor y el análisis diferenciado con sólo algunos ítems: aquellos con buena capacidad de discriminación, pocos ítems de bajo y alto nivel de dificultad e ítems con dificultad media. Además, se sugiere reevaluar la pertinencia de los ítems para esta población a través del juicio de expertos que evalúen la relevancia, claridad y suficiencia de los mismos. Ambos análisis permitirían obtener una versión experimental para la población objetivo que debería ser analizada en estudios futuros. Asimismo, se deberán obtener con otras medidas la confiabilidad estimadas con diferentes métodos como el test-retest.
Finalmente, con el fin de obtener datos normativos preliminares para sujetos de 20 a 39 años se obtuvo el rendimiento medio y un puntaje de corte sugerido. El valor de corte quedó establecido en 47 puntos. Tomando en cuenta el puntaje presentado por Allegri et al. (1997) para la muestra de nivel educativo alto (similar a la estudiada en este trabajo) y, siendo esta de 48 puntos, podemos afirmar que es comparable a la muestra de jóvenes adultos evaluados. En comparación, el puntaje de corte tuvo una pequeña disminución, quedando a un punto por debajo de aquel establecido en el año 1997.
En resumen, el presente trabajo reporta propiedades psicométricas para la población de jóvenes adultos de 20 a 39 años de edad, datos que aún no estaban disponibles para nuestro país. Y, si bien los resultados para la población joven adulta arrojaron diferencias menores en el rendimiento total, sí hubo diferencias más importantes a nivel de las láminas individuales. Los datos aquí presentados del Test de Denominación de Boston en jóvenes presentan evidencias de fiabilidad y validez poco satisfactorias por lo que no se aconseja su uso en esta población hasta tanto se obtengan mejores evidencias. Dado que otros estudios también han desaconsejado su uso en población clínica (Fernández & Fulbright, 2015), se deberán seguir desarrollando trabajos que analicen la utilidad de esta prueba en distintas poblaciones. Tal y como se ha resaltado en trabajos previos (Harry & Crowe, 2014), debido a la poca existencia de tests que puedan sustituir al Test de Denominación de Boston, es necesario generar mayores líneas de trabajo destinadas al desarrollo de nuevas pruebas de denominación y/o realizar mayores investigaciones detalladas sobre el funcionamiento del test en varias poblaciones
REFERENCIAS
Allegri, R.F., Fernández Villavicencio, A., Taragano, F.E., Rymberg, S., Mangone, C.A. & Baumann, D. (1997). Spanish Boston naming test norms. The Clinical Neuropsychologist, 11(4), 416-420. DOI: https://doi.org/10.1080/13854049708400471
Aranciva, F., Casals-Coll, M., Sánchez-Benavides, G., Quintana, M., Manero, R.M., Rognoni, T., ... & Peña-Casanova, J. (2012). Spanish normative studies in a young adult population (NEURONORMA young adults project): Norms for the Boston Naming Test and the Token Test. Neurología (English Edition), 27(7), 394-399. DOI: https://doi.org/10.1016/j.nrl.2011.12.016
Beltrán, C., & Solís, G. (2012). Evaluación neuropsicológica en adolescentes: Normas para población de Bucaramanga. Revista de Neuropsicología, Neuropsiquiatría y Neurociencias, 12(2), 77-93.
Brenlla, M.E. & Rodríguez, C.M. (2006). Adaptación argentina del Inventario de Depresión de Beck (BDI-II). En A.T. Beck, R.A. Steer & G.K. Brown (Eds.), BDI-II. Inventario de Depresión de Beck (pp. 11-37). Buenos Aires: Paidós.
Ebel, R.L. (1965). Measuring Educational Achievement. New Jersey: PrenticeHall.
Elkadi, S., Clark, M.S., Dennerstein, L., Guthrie, J.R., Bowden, S.C., & Henderson, V.W. (2006). Normative data for Australian midlife women on category fluency and a short form of the Boston Naming Test. Australian psychologist, 41(1), 37-42. DOI: https://doi.org/10.1080/00050060500421634
Fernández, A.L., & Fulbright, R.L. (2015). Construct and Concurrent Validity of the Spanish Adaptation of the Boston Naming Test. Applied Neuropsychology: Adult, 22(5), 355-362. DOI: https://doi.org/10.1080/23279095.2014.939178
Fernandez, A.L., Ferreres, A., Morlett-Paredes, A., Rivera, D., & Arango-Lasprilla, J.C. (2016). Past, present, and future of neuropsychology in Argentina. The Clinical Neuropsychologist, 30(8), 1154-1178. DOI: https://doi.org/10.1080/13854046.2016. 1197313
Garcia-Albea, J.E., Sanchez-Bernardos, M.L., del Viso-Pabon, S. (1996). Test de Boston para el diagnóstico de la afasia: adaptación española. En Goodglass, H., & Kaplan, E. La evaluación de la afasia y de trastornos relacionados, ed 2. Madrid: Editorial Medica Panamericana.
George, D., & Mallery, M. (2003).Using SPSS for Windows step by step: a simple guide and reference. Boston, MA: Allyn & Bacon.
Graves, R.E., Bezeau, S.C., Fogarty, J., & Blair, R. (2004). Boston naming test short forms: a comparison of previous forms with new item response theory based forms. Journal of Clinical and Experimental Neuropsychology, 26(7), 891-902. DOI: https://doi.org/10.1080/13803390490510716
Harry, A., & Crowe, S.F. (2014). Is the Boston Naming Test still fit for purpose?. The Clinical Neuropsychologist, 28(3), 486-504. DOI: https://doi.org/10.1080/13854046.2014.892155
Kaplan, E.F., Goodglass, H., & Weintraub, S. (1983). The Boston naming test. Philadelphia: Lippincott Williams & Wilkins.
Lansing, A.E., Ivnik, R.J., Cullum, C.M., & Randolph, C. (1999). An empirically derived short form of the Boston naming test. Archives of Clinical Neuropsychology, 14(6), 481-487. DOI: https://doi.org/10.1016/S0887-6177(98)00022-5
Mack, W.J., Freed, D.M., Williams, B.W., & Henderson, V.W. (1992). Boston Naming Test: shortened versions for use in Alzheimer’s disease. Journal of gerontology, 47(3), P154-P158. DOI: http://dx.doi.org/10.1093/geronj/47.3.P154
Mariën, P., Mampaey, E., Vervaet, A., Saerens, J., & De Deyn, P. P. (1998). Normative data for the Boston Naming Test in native Dutch-speaking Belgian elderly. Brain and language, 65(3), 447-467. DOI: http://dx.doi.org/10.1006/brln.1998.2000
Miotto, E.C., Sato, J., Lucia, M., Camargo, C.H., & Scaff, M. (2010). Development of an adapted version of the Boston Naming Test for Portuguese speakers. Revista Brasileira de Psiquiatria, 32(3), 279-282.
Montembeault, M., Brambati, S.M., Joubert, S., Boukadi, M., Chapleau, M., Laforce, R.J. & Rouleau, I. (2017). Naming unique entities in the semantic variant of primary progressive aphasia and Alzheimer disease: Towards a better understanding of the semantic impairment. Neuropsychologia, 95, 11-20. DOI: https://doi.org/10.1016/j.neuropsychologia.2016.12.009
Montero, I., & León, O.G. (2007). A guide for naming research studies in Psychology. International Journal of clinical and Health psychology, 7(3), 847-862.
Nasreddine, Z.S., Phillips, N.A., Bédirian, V., Charbonneau, S., Whitehead, V., Collin, I., & Chertkow, H. (2005). The Montreal Cognitive Assessment, MoCA: a brief screening tool for mild cognitive impairment. Journal of the American Geriatrics Society, 53(4), 695-699.
Peña-Casanova, J., Comas, L., Quiñones-Úbeda, S., Böhm, P., & Gramunt-Fombuena, N. (2004). Estudio normativo piloto de la segunda edición del Boston Naming Test en una muestra española de adultos jóvenes (20 a 49 años). Neurología, 19(5), 248-253.
Rami, L., Serradell, M., Bosch, B., Caprile, C., Sekler, A., Villar, …, R., & Molinuevo, J.L. (2008). Normative data for the Boston Naming Test and the Pyramids and Palm Trees Test in the elderly Spanish population. Journal of Clinical and Experimental Neuropsychology, 30(1), 1-6. DOI: https://doi.org/10.1080/1380 3390701743954
Serrano, C., Allegri, R., Drake, M., Butman, J., Harris, P., Nagle, C., & Ranalli, C. (2001). Versión abreviada en español del test de denominación de Boston: su utilidad en el diagnóstico diferencial de la enfermedad de Alzheimer. Revista de neurología, 33(7), 624-627.
Tallberg, I.M. (2005). The Boston Naming Test in Swedish: Normative data. Brain and Language, 94(1), 19-31. DOI: http://dx.doi.org/10.1016/j.bandl.2004.11.004.
Williams, B.W., Mack, W., & Henderson, V.W. (1989). Boston naming test in Alzheimer’s disease. Neuropsychologia, 27(8), 1073-1079. DOI: https://doi.org/10.1016/0028-3932(89)90186-3
Zec, R.F., Burkett, N.R., Markwell, S.J., & Larsen, D.L. (2007). A cross-sectional study of the effects of age, education, and gender on the Boston Naming Test. The Clinical Neuropsychologist, 21(4), 587-616. DOI: https://doi.org/10.1080/1385404 0701220028