Estudios bibliométricos y cienciométricos
Método de búsqueda para detectar si una investigación presentada como tesis fue publicada en una revista científica
Search method to find out if a research thesis was published in a scientific journal
Carlos Jesús Aragón-Ayala
Cender Udai Quispe-Juli
Método de búsqueda para detectar si una investigación presentada como tesis fue publicada en una revista científica
Revista Habanera de Ciencias Médicas, vol. 19, núm. 5, e3137, 2020
Universidad de Ciencias Médicas de La Habana
Recepción: 28 Enero 2020
Aprobación: 15 Julio 2020
RESUMEN
Introducción: La validez de los métodos utilizados para localizar tesis publicadas en revistas científicas es incierta.
Objetivo: Comparar la eficacia y eficiencia de diferentes métodos (incluida nuestra propuesta) para localizar tesis publicadas en revistas científicas indizadas.
Material y Métodos: Se realizó un estudio observacional descriptivo. Se identificaron cinco métodos (“A”, “B”, “C”, “D”, “E”) utilizados para localizar tesis publicadas; además, elaboramos una propuesta (método “F”). Se pusieron a prueba los seis métodos y sus estrategias con cinco tesis ya publicadas. Se evaluó su eficacia mediante una relación (tesis publicadas localizadas/ total de tesis), su eficiencia (tesis localizadas/ [número de pruebas] x [total de tesis]) y posición relativa en la búsqueda (orden en que se localizó la tesis / total resultados de la búsqueda).
Resultados: Los métodos con la mejor eficacia y eficiencia fueron: “F” (1 y 0,5) y “D” (1 y 0,5), seguidos del método “B” (0,8 y 0,2). Los métodos con menor eficacia y eficiencia fueron los métodos: “A” (0,6 y 0,15), “C” (0,6 y 0,12) y “E” (0,2 y 0,01). Además, la posición relativa para cada estrategia del método “F” fue menor a las estrategias del método “D”.
Conclusiones: La mayoría de métodos de búsqueda fueron poco eficaces y eficientes, siendo nuestra propuesta uno de los métodos más adecuados para localizar tesis publicadas en revistas científicas.
Palabras claves: Tesis Académicas+ Bibliometría+ Educación Médica+ estrategias.
ABSTRACT
Introduction: The validity of the methods used to locate theses published in scientific journals is uncertain.
Objective: To compare the effectiveness and efficiency of different methods (including our proposal) to locate theses published in indexed scientific journals.
Material and Methods: A descriptive observational study was made. Five methods ("A", "B", "C", "D", "E") used to locate published theses were identified and our proposal was developed (method "F"). The six methods and their strategies were tested using five theses that have already been published. Effectiveness was evaluated through the analysis of the relationship between (published theses / total of theses), efficiency (published theses / [number of tests] x [total of theses]) and relative position of the search (order in which the thesis was located / total results from the search).
Results: The most effective and efficient methods were: "F" (1 and 0.5) and "D" (1 and 0.5), followed by the "B" method (0.8 and 0.2). The methods with the lowest effectiveness and efficiency were: methods "A" (0.6 and 0.15), "C" (0.6 and 0.12) and "E" (0.2 and 0.01). In addition, the relative position for each strategy of the "F" method was lower than the strategies of the "D" method.
Conclusions: The majority of search methods were less frequent and less efficient, being our proposal one of the most specific methods to locate theses published in scientific journals.
Keywords: Academic Theses, Bibliometrics, Medical Education, strategies.
Introducción
La tesis es un documento en el que se exponen los resultados alcanzados luego de haberse concluido un trabajo de investigación, cuenta con una estructura lógica y sistematizada acorde al método científico.1,2 La tesis pasa por sustentación pública y la aprobación de un jurado. En algunos países suele ser un requisito para la obtención de un grado académico o título profesional, una vez el estudiante ha culminado su formación universitaria.1,2 Las tesis reflejan el aporte científico y la dirección de la investigación de varias universidades.
Existen plataformas virtuales (repositorios) que ayudan a promover la difusión de tesis electrónicas; sin embargo, no cuentan con el respaldo de la revisión por pares por lo que conforman parte de la “literatura gris”.2,3 Por lo que es necesario que estos trabajos y sus derivados sean publicados en revistas científicas indizadas, que respalden su calidad (mediante la revisión por pares) y garanticen su difusión.1 La publicación de las tesis contribuye a los indicadores científicos de las universidades y a su prestigio, en consecuencia algunas de ellas la promueven.
La mayoría de universidades latinoamericanas no realiza un seguimiento de sus tesis y no cuenta con registro de sus publicaciones como parte de su política o gestión científica. Esto resulta de importancia para el análisis de la producción científica tal como se ha demostrado en estudios previos.4,5,6,7,8,9 Identificar si una tesis fue publicada en alguna revista científica indizada es difícil debido a la diversidad de bases de datos, buscadores y tesauros. Además de los diferentes títulos que adoptan los trabajos de investigación (tesis) al momento de ser publicados en alguna revista.
A pesar de los diferentes métodos empleados,5,9 no existe un método estandarizado para identificar la publicación de una tesis en el área de ciencias de la salud, ni se ha demostrado su efectividad. Encontrar un método adecuado para identificar la publicación de una tesis en alguna revista es fundamental para el monitoreo de estos trabajos de investigación y una herramienta adicional para la bibliometría institucional universitaria.
El objetivo del presente estudio es determinar y comparar la eficacia y eficiencia de diferentes métodos de búsqueda de tesis publicadas en revistas, incluido uno propuesto por el presente estudio.
Material y Métodos
Realizamos una búsqueda exhaustiva de la literatura sobre estudios que tuvieran como objetivo cuantificar la publicación de tesis en revistas científicas y que hayan empleado algún método o estrategia de búsqueda a través de bases de datos para su localización. Encontramos siete estudios con estas características, la totalidad de los mismos en el área de ciencias de la salud y de facultades de Medicina.5,7,8,9,10,11,12 Dentro de estos estudios se utilizaron solo cinco métodos para la identificación de la publicación de una tesis.5,9
En la Tabla 1, se muestra la descripción de cada una, además de nuestra propuesta metodológica.
En la Tabla 2, se observan los cinco métodos traducidos a sus respectivas estrategias y ecuaciones de búsqueda, así como nuestra propuesta metodológica. Un método (ejemplo: Método A) está conformado por estrategias de búsqueda (A1, A2, A3, A4), estrategia que a su vez resulta del uso de un motor de búsqueda (para A1 es SciELO) y su ecuación correspondiente (para A1 es {título de la tesis} {primer nombre del tesista}{primer apellido del tesista}{segundo apellido del tesista}). Por lo tanto, cada método está compuesto por más de una estrategia de búsqueda.
Nuestra propuesta se basa en las siguientes conjeturas: i) Se sabe que el uso de palabras claves como “país” en la ecuación de búsqueda puede recuperar hasta seis veces más resultados de publicaciones en PubMed/MEDLINE.13 Así, asumimos que existen datos de intrínsecos a toda investigación que podrían favorecer su localización en las diferentes de datos, ya que suelen ser “constantes”, tales como: autor principal de la tesis (nombre o apellido), lugar de estudio (ciudad o país), y un filtro que solo incluía artículos publicados desde año de sustentación de tesis (probable año de envío o publicación). Por lo que establecimos estos como parte de la ecuación de búsqueda. ii) Es conocida la eficiencia de PubMed/MEDLINE en la localización de literatura en el idioma inglés dentro del área biomédica. También la elevada capacidad de localización de artículos de Google Scholar incluso superior al clásico PubMed/MEDLINE.14,15 Así, establecimos a ambos como únicos motores de búsqueda dentro de nuestra estrategia. Utilizando a PubMed/MEDLINE para la búsqueda en idioma inglés y Google Scholar para la búsqueda en español e inglés.
Se pusteron a prueba estos métodos de búsqueda (sus respectivas estrategias y ecuaciones) con un grupo de cinco tesis de Medicina, de las que conocíamos que se habían publicado en alguna revista científica. Estas tesis eran de distintas universidades y fueron sustentadas en diferentes años. (Tabla 3).
Mediante cada estrategia de búsqueda se intentó localizar la publicación de la tesis. Se verificó si esta estaba publicada en una revista científica mediante la observación del International Standard Serial Number (ISSN), ya sea en formato online o impreso. No se consideraron como publicación las versiones electrónicas de tesis en repositorios digitales.
Evaluamos la eficacia de los métodos de búsqueda mediante la relación del número de tesis que fueron localizadas por el método (m) y la totalidad de tesis evaluadas (N). También reportamos la posición relativa (p/t) expresada como la relación entre el número de orden en que se localizó el objeto de búsqueda (p) y el total de resultados para cada estrategia de búsqueda (t), donde un p=0 simboliza la no localización y t=0 significa ningún resultado en la búsqueda.
La eficiencia se evaluó mediante el ratio (Re) del número de tesis que fueron localizadas por el método (m), y el producto del número de estrategias de búsquedas usadas por el método (s) y la totalidad de tesis evaluadas (N): Re= m / . En este estudio solo se usaron cinco pruebas para todos los métodos evaluados por lo tanto N es igual a cinco. Los investigadores creamos este ratio para medir la eficiencia de la búsqueda, al entender la eficiencia como la capacidad de alcanzar un objetivo con la menor cantidad de recursos (menor cantidad de estrategias de búsqueda).
Resultados
Encontramos que solo el Método D y el Método F consiguieron localizar todos los artículos publicados derivados de las cinco tesis puestas a prueba (T1, T2, T3, T4 y T5) y que el Método E fue el que menos éxito obtuvo a pesar de que es el que más estrategias de búsqueda usó, tal como se muestra en la Tabla 4.
En relación con la eficiencia de los métodos de búsqueda, el Método D y Método F fueron los que tuvieron el ratio más elevado, en contraste con los Métodos E y C que presentaron los menores ratios. (Tabla 5).
Discusión
Los métodos de búsqueda que tuvieron mayor eficacia fueron: el Método D, Método F y el Método B; pero el Método D y el Método F tuvieron más eficiencia (Re: 0,5) por usar solo dos estrategias de búsquedas. Además, las estrategias del Método F muestran una posición relativa menor a las del Método D lo que indicaría una mayor precisión. Todos ellos utilizaron Google Scholar como parte de su estrategia de búsqueda, además Método D y el Método B utilizaron únicamente Google Scholar. Podemos inferir que este buscador es útil y suficiente para la localización de publicaciones derivadas de tesis (en el contexto peruano), por lo que debería usarse en la elaboración de nuevas estrategias de búsqueda. Su utilidad probablemente se deba su alta sensibilidad, lo que ha hecho que incluso se la considere como primera opción al realizar revisiones sistemáticas aunque no de forma independiente.14
Llama la atención que los métodos que usaron los buscadores de la Biblioteca Virtual en Salud (BVS), Scientific Electronic Library Online (SciELO), Literatura Peruana en Ciencias de la Salud (LIPECS), Literatura Latinoamericana de Información en Ciencias de la Salud (LILACS) tuvieran menor eficacia considerando que al usar un mayor número de buscadores y, por tanto, un mayor número de estrategias, debería aumentar la sensibilidad de la búsqueda y en consecuencia su eficacia. Es probable que las revistas donde se publicaron las tesis no estuvieran indizadas en sus bases de datos correspondientes y los buscadores no los localizaran, esto porque solo utilizamos cinco casos como prueba. Es también posible que los motores de búsqueda no tengan algoritmos informáticos de localización bien desarrollados por lo que su eficacia sea limitada.
Todo lo anterior hace que cuestionemos la validez de los estudios que usaron los métodos de búsqueda que mostraron poca eficacia en nuestro estudio (Método A, C y E). Por lo que recomendamos que se usen el Método D y el Método F (nuestra propuesta) para próximas investigaciones que tenga como objetivo localizar la publicación en revistas de investigaciones o tesis. Si bien reconocemos la limitación de este estudio al utilizar solo cinco pruebas (tesis) para comprobar la eficacia y eficiencia de los métodos, este es el primer estudio que explora este aspecto dentro de la literatura latinoamericana. Es necesario que se realicen más estudios con mayor cantidad de pruebas (tesis) procedentes de más universidades, e inclusive procedentes de otros países. De esta forma se podrán perfeccionar los métodos de localización de publicaciones científicas procedentes de tesis u otros manuscritos ubicados en la literatura gris. Además, resaltamos la importancia de poner a prueba los métodos de búsqueda para así demostrar su eficacia antes de ser utilizado en otros estudios. Estos métodos podrían ayudar a mejorar el estudio bibliométrico de las tesis, tener un mejor entendimiento de sus dinámicas de publicación, y servir para adoptar decisiones sobre la gestión de la investigación en las universidades.21 Futuros estudios deberían evaluar este método en nuevas herramientas digitales que podrían funcionar como motores de búsqueda como Dimensions.22
Conclusiones
Concluimos que la mayoría de métodos para localizar la publicación de investigaciones presentadas como tesis en revistas científicas son menos eficaces y eficientes comparados con el método propuesto por el presente estudio. Este método consiste en utilizar solo los datos del autor principal de la tesis, lugar de estudio (ciudad y/o país), y año de sustentación de tesis, en los buscadores de PubMed y Google Scholar.
Referencias bibliográficas
1. Echeverria M, Stuart D, Blanke T. Medical theses and derivative articles: dissemination of contents and publication patterns. Scientometrics. 2015;102(1): 559-86.
2. Larivière V, Zuccala A, Archambault E. The declining scientific impact of theses: Implications for electronic thesis and dissertation repositories and graduate studies. Scientometrics. 2008; 74(1): 109-21.
3. Vílchez C, Nakamura D. Usabilidad de un sistema de recuperación de información a texto completo: el caso del portal Cybertesis Perú. ACIMED [Internet]. 2008 [Citado 28/01/2020];17(3):1-23. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352008000300003
4. Mingers J, Leydesdorff L. A review of theory and practice in scientometrics. Eur J Oper Res. 2015;246(1): 1-19.
5. Valle R, Salvador E. Análisis bibliométrico de las tesis de pregrado de la Facultad de Medicina de la Universidad Nacional Mayor de San Marcos. An la Fac Med [Internet].2012 [Citado 28/01/2020];70(1):11 Disponible en: https://revistasinvestigacion.unmsm.edu.pe/index.php/anales/article/view/981
6. Mayta Tristán P, Mezones Holguín E. Aclaración editorial. Rev Peru Med Exp Salud Pública[Internet].2009[ Citado 28/01/2020];26(3):411-2. Disponible en: https://rpmesp.ins.gob.pe/index.php/rpmesp/article/view/1398
7. Arriola Quiroz I, Curioso WH, Cruz Encarnación M, Gayoso O. Characteristics and publication patterns of theses from a Peruvian medical school. Heal Inf Libr J. 2010;27(2):148-54.
8. Taype Rondán Á, Carbajal Castro C, Arrunategui Salas G. Limitada publicación de tesis de pregrado en una facultad de medicina de Lima, Perú, 2000-2009. An la Fac Med [Internet]. 2012 [Citado 28/01/2020];73(2):153. Disponible en: Disponible en: https://revistasinvestigacion.unmsm.edu.pe/index.php/anales/article/view/858
9. Osada J, Loyola Sosa S, Ruiz Grosso P. Publicación de Trabajo de Conclusión de Curso de Estudiantes de Medicina de una Universidad Peruana. Rev Bras Educ Med [Internet]. 2014 [Citado 28/01/2020];38(3):308-13. Disponible en: http://www.scielo.br/scielo.php?pid=S0100-55022014000300004&script=sci_abstract&tlng=es
10. Castro Maldonado B, Callirgos Lozada CC, Caicedo Písfil MK, Plasencia Dueñas EA, Díaz Vélez C. Características de las tesis de pre-grado de Medicina de una universidad pública del Perú. Horiz Med [Internet]. 2015 [Citado 28/01/2020];15(3):[Aprox. 2p.]. Disponible en: https://www.redalyc.org/articulo.oa?id=371642259006
11. Atamari Anahui N, Roque Roque JS, Robles Mendoza RA, Nina Moreno PI, Falcón Huancahuiri BM. Publicación de tesis de pregrado en una facultad de Medicina en Cusco, Perú. Rev Med Hered. 2015;26(4):217-21.
12. Purizaca Rosillo N, Ramos Cedano E, Melendres Huamán N. Prioridades de investigación en salud en las tesis de Medicina de la Universidad Nacional de Piura, 2010-2014. Horiz Med. 2016;16(2):49-53.
13. Ruiz EF, Proaño A, Proaño D, Torres Román JS, Miranda JJ. The Latin America and the Caribbean search strategy proposal. Glob Health Promot. 2018; 25(3):60-64.
14. Haddaway NR, Collins AM, Coughlin D, Kirk S. The Role of Google Scholar in Evidence Reviews and Its Applicability to Grey Literature Searching. PLoS ONE. [Internet]. 2015 [Citado 28/01/2020];10(9):e0138237. Disponible en:https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0138237
15. Bramer WM, Giustini D, Kramer BMR, Anderson PF. The comparative recall of Google Scholar versus PubMed in identical searches for biomedical systematic reviews: a review of searches used in systematic reviews. Syst Rev. 2013; 2(1):115.
16. Charca Benavente LC, Huanca Ruelas GH, Moreno Loaiza O. Accidentes biológicos en estudiantes del último año de medicina de tres hospitales de Lima, Perú. Medwave [Internet]. 2016 [Citado 28/01/2020];16(7):e6514. Disponible en: https://www.medwave.cl/link.cgi/Medwave/Estudios/Investigacion/6514.act
17. Sumari C, Suyo Prieto F, Moreno Loaiza O. Violencia contra médicos en emergencias de un hospital de tercer nivel de Arequipa, Perú 2016. Acta Med Peru. 2016;33(3):246-7.
18. Toro Huamanchumo CJ, Meza Liviapoma J, Aspajo AJ, Roque Roque JS, Novoa Sandoval P. Occupational and academic characteristics of medical graduates from three Peruvian universities. Educación Médica. 2018; 19(2): 90-7.
19. Zafra Tanaka JH, Ticona Chávez E. Estigma relacionado a VIH/SIDA asociado con adherencia al tratamiento antirretroviral en pacientes de un hospital de Lima, Perú 2014. Rev Perú Med Exp Salud Pública. 2016; 33(4): 625-32.
20. Zavaleta Reyes C, Tresierra Ayala M. Calidad metodológica del trabajo de grado de bachiller en una facultad de Medicina. Educación Médica [Internet]. 2017 [Citado 28/01/2020];18(4):233-41. Disponible en: https://www.sciencedirect.com/science/article/pii/S1575181316300936
21. Quispe Juli CU, Aragón CJ, Moreno Loaiza O. Escaso número de tesis enmarcadas en las prioridades de investigación en salud en una facultad de Medicina peruana. Rev Cuba Inf Cienc Salud. 2019;30(1):6.
22. Thelwall M. Dimensions: A competitor to Scopus and the Web of Science?. Journal of Informetrics. 2018; 12(2):430-5
Contribución de autoría
Notas de autor
*Autor para la correspondencia: carjearay.99@gmail.com
Declaración de intereses