Indicadores de evaluación de citas y referencias en tesis de maestría en educación: una muestra peruana

ResumenLa presente investigación tuvo por objetivo determinar la calidad de citas y referencias de las tesis de Maestría en Educación de universidades peruanas. Se utilizó la técnica del análisis documental y como instrumento se recurrió a la “Guía de observación” propuesta por Martín y Lafuente (2017), compuesta por cinco indicadores de calidad para la revisión bibliográfica (exhaustividad, utilización crítica de la bibliografía, calidad, relevancia y revisión de investigaciones previas); y nueve para las referencias bibliográficas (actualización, cantidad de referencias, autocitación, idioma, tipología, soporte, referencias completas, exactitud y cumplimiento con una norma o estilo). El análisis se realizó a 562 referencias bibliográficas y 1209 citas extraídas de 14 tesis, digitalizadas y publicadas en el Repositorio Nacional Digital de Perú, durante el año 2017. Se evaluaron tanto los mecanismos de citado, como las referencias bibliográficas. Después del análisis estadístico descriptivo se pudo identificar que el nivel alcanzado para ambas variables fue “suficiente”.1Correspondencia al autorE-mail: rhernandezv@usil.edu.peISSN: 2225-7136(impresa)-2304-0335(en línea) 67Palabras clave: Calidad de citas, calidad de referencias bibliográficas, tesis de maestría, investigación educativa.AbstractThis research work is aimed at determining the quality of citations and references of the Master’s thesis in Education of peruvian colleges. The documental analysis technique was used and the “Observation Guide” proposed by Martín and Lafuente (2017) was employed as an instrument, which is composed of five quality indicators for the bibliographic review (exhaustiveness, critical use of the bibliography, quality, relevance and review of previous research works); and of 9 for bibliographic references (update, number of references, self-citation, language, typology, support, complete references, accuracy and fulfillment of a standard or style). In addition, 562 bibliographic references and 1209 citations extracted from 14 theses, digitalized and published in the National Digital Repository of Peru during 2017, were analyzed. The mechanisms for citations as well as the bibliographic references were evaluated. After the descriptive- statistical analysis, it could be identified that the level achieved for both variables was “Enough”.Keywords: Quality of citations, quality of bibliographic references, Master’s thesis, educational research.IntroducciónLa literatura especializada sobre la evaluación de la calidad de las referencias y citas ha venido centrándose en el análisis de revistas científicas, dado el impacto y trascendencia que tienen estas en la divulgación del conocimiento científico (Pulido, Gonzales & Sanz, 1993; Osca-Lluch, Civera & Peñaranda, 2009; Silva, Rodríguez & Del Campo, 2012; Huamaní & Pacheco, 2009). El interés de estos estudios se enfoca sobre todo en analizar errores, inconsecuencias, realizar diagnósticos o recuentos de los procesos de referenciación y citación. Asimismo, los estudios bibliométricos (cuyo interés de estudio es el análisis de la información sobre los resultados del proceso investigador, su volumen, evolución, visibilidad y estructura) no son pocos, ya que resulta interesante realizar valoraciones de la labor científica y el impacto tanto de la investigación como de las fuentes en dichas actividades (Escorcia, 2008). Resulta pertinente mencionarlos (los estudios bibliométricos), en vista que estos necesitan medir no solo el número de distribución de las publicaciones, sino también su productividad y dispersión, además de la colaboración en las publicaciones, la vida media de la citación o su envejecimiento, las conexiones entre autores, entre otros; además, las frecuencias y tendencias de las citas que inciden en el impacto y la visibilidad, así como los canalesISSN: 2225-7136(impresa)-2304-0335(en línea) 68de información registrada. (López Piñero & Terrada, 1992; Escorcia, 2008; Peralta, Frías & Gregorio, 2015).Por otro lado, las referencias bibliográficas permiten conocer y reconocer las ideas y los hallazgos de otros investigadores; así pues, su inclusión junto con las citas es un rasgo importante en el proceso de divulgación de los resultados y en la recuperación de información (Negro, Aguinaga & González, 1996; Braga, Bernadete & Regina, 2003; Osca-Lluch & Peñaranda, 2009, Becker & Chiware, 2015; Rosenberg, 2015). La exactitud bibliográfica de las fuentes en el componente teórico (marco teórico, antecedentes de estudio y discusión de los resultados) de un trabajo de investigación respalda la información vertida en ella, además de garantizar la seriedad y el rigor puestos por el investigador en la búsqueda y uso de la información.La conformación de la bibliografía comienza a tomar forma apenas se define el tema (incluso antes) y se empieza a buscar documentación pertinente sobre el mismo. Es función del investigador ir documentando cada una de las fuentes de información utilizadas para la construcción teórica de su propuesta, siguiendo para ello un estilo único y normado. Determinar la cantidad óptima de citas, el tipo de documentos a citaro las formas de citación dentro del texto son algunas de las dudas a las que se ha de enfrentar todo investigador, y cuyas respuestas solo las hallará a medida que conozca y profundice en el tema (Martín & Lafuente, 2017). En esta misma línea se encuentran Carpintero (1981) y Ziman (1972), para quienes las citas y referencias constituyen el punto de partida de toda construcción intelectual, ya que ellas representan el camino por el que avanza el conocimiento. Asimismo, su inclusión dentro de los trabajos académicos permite traducir la naturaleza colectiva y cooperativa del argumento científico: la construcción entre todos los científicos de un cuerpo común de conocimiento.Desde otro ángulo, Kaplan (1965) considera que las citas y referencias forman parte de la creación del conocimiento y en tal virtud se constituyen en un recurso social para hacer frente a los problemas de los derechos de propiedad y pretensiones de prioridad de los científicos. El concepto de propiedad está relacionado con la publicación abierta; y el derecho del investigador a su propiedad se reduce al reconocimiento de su labor mediante la referenciación correcta de su trabajo. Por tanto, las citas y referencias bibliográficas operan dentro de un marco moral, y son utilizadas para recompensar las deudas intelectuales de la única manera en que esto puede hacerse: a través del reconocimiento explícito de ellas. Otro aporte importante es el de MitraISSN: 2225-7136(impresa)-2304-0335(en línea) 69(1970), quien considera que las citas y referencias bibliográficas representan una de las fuentes de información más importantes para los científicos, convirtiéndolas así en uno de los medios más idóneos de recuperación de datos (Torres-Salinas & Jiménez- Contreras, 2010); de manera que, su correcta aplicación en los trabajos académicos resulta imprescindible.Con respecto a las tesis de posgrado, estudios como los realizados por Braga, Bernadette y Regina (2003); Brito, Ladrón de Guevara y Peñaranda (2009); Sánchez y Ainciburo (2011); Meneses, Romero y Sesma-Muñoz (2013); Meneses, Romero & Sesma, 2013; Torres y Flores (2015) y Rodríguez y García (2016) han aportado datos interesantes sobre temas relacionados con errores, impacto, funciones retóricas, evolución e intertextualidad de las referencias en este tipo de productos académicos. Sin embargo, ninguna de ellas ha profundizado en la evaluación del proceso mismo de la referenciación y citación de una manera integral. De igual manera, y no menos importante, en el Perú están los aportes de Aiquipa, Ramos, Curay y Guizado (2017) y Chambi (2017), quienes se han centrado en analizar los factores implicados en realizar o no la tesis y en diseñar mecanismos validados para evaluar el rigor científico de las mismas.Desde otra perspectiva, Muñoz (2011) define a la tesis de maestría como el tipo de trabajo académico en el que el investigador examina, comprueba o desaprueba una teoría, ya sea de nueva creación o anteriormente analizada; además, con base en tal teoría se descubre, propone o reafirma un estudio especial dentro de su disciplina. Por ello, la elaboración de la tesis supone un proceso sistemático de producción de conocimientos nuevos, por lo que el autor está en la obligación de demostrar, con ayuda de sus fuentes, que ha organizado, analizado y presentado la literatura en el campo que abarca su tesis y que sabe cómo hacerlo académicamente. Para este fin es necesaria la revisión de teorías con solvencia cognitiva y el uso de procedimientos e instrumentos que demuestren su validez (Novoa, 2003). La tesis de maestría sustenta su calidad en la rigurosidad con la que ha sido elaborada y por la profundidad de los conocimientos sobre el tema (Vara, 2010).Ahora bien, uno de los principales problemas que se encuentra en este tipo de producto académico, sea cual fuere su nivel, es la inadecuada descripción bibliográfica, acción fundamental para que el investigador que consulte dicho trabajo identifique y cite las fuentes utilizadas, ya que, desde la introducción del trabajo, el autor debe consignar citas que refuercen o avalen sus ideas. Este proceso se amplía en el desarrolloISSN: 2225-7136(impresa)-2304-0335(en línea) 70del marco teórico y en el apartado de la discusión del resultado, en los que se somete a contraste cada una de las posturas teóricas presentes en el marco teórico y los resultados obtenidos.En el contexto peruano son pocos los estudios empíricos realizados sobre esta problemática. Por esta razón, la presente investigación se justifica teóricamente en la medida en que busca evaluar el trabajo de citación y referenciación como procesos formales y necesarios para el avance de la ciencia y el reconocimiento de la autoría de la misma; por lo tanto, su correcta aplicación en las tesis resulta imprescindible. Desde el punto de vista metodológico, este estudio realiza un análisis exhaustivo de las fuentes utilizadas para la construcción teórica de las tesis y también de sus mecanismos operativos para su registro. Finalmente, desde el punto de vista práctico, el presente estudio busca sentar las bases para la creación de lineamientos que permitan, en base a resultados objetivos, mejorar el cuidado de los procesos de citación mediante la elaboración de guías, manuales y asesorías responsables, todo esto en aras de elevar el nivel de calidad de los trabajos de los tesistas.MétodoEnfoque de estudio y diseñoLa presente investigación se inscribe dentro del corte cuantitativo; su elección responde a la naturaleza de los objetivos, los cuales buscan evaluar y presentar datos cuantificados sobre la calidad de citas y referencias de las tesis de Maestría en Educación de universidades peruanas. En general, la investigación cuantitativa tiene mucha importancia en la validez externa, debido a que con una muestra representativa de la población se puede inferir los resultados del estudio en esa muestra a la población de donde proviene (Polit & Hugler, 2010). De acuerdo a la clasificación de estos autores, el estudio está contemplado dentro del diseño de tipo transversal o transeccional, ya que la recolección de datos se hace en un solo momento o en un tiempo único.Técnicas e instrumentosPara la presente investigación se utilizó la técnica del análisis documental de fuentes secundarias, en este caso, tesis de maestría de universidades peruanas, siendo el instrumento la “Guía de observación” elaborada por Martín y Lafuente (2017) y adaptada por los autores para evaluar el género textual “Tesis de maestría”. Esta guía propone cinco indicadores de calidad para la revisión bibliográfica en el cuerpo de laISSN: 2225-7136(impresa)-2304-0335(en línea) 71obra (citas) y nueve para las referencias bibliográficas (bibliografía). Para determinar la calidad, tanto de las citas como de las referencias, se aplicó la escala de valoración con su correspondiente puntuación. La ventaja de utilizar una escala de calificación es que permite realizar una valoración objetiva de los datos obtenidos en la guía de observación; de esta manera se logra una descripción detallada que facilite el análisis y la sistematización de los datos que se obtuvieron. La valoración utilizada es 0-2, siendo siempre 0 el menor y 2 el puntaje mayor. Según el puntaje alcanzado por los indicadores, estos se ubicarán en las siguientes categorías: Deficiente, Suficiente y Excelente.Unidades de análisisSe analizaron el apartado de las referencias bibliográficas y las citas de 14 tesis para obtener el grado de Magíster en Educación, digitalizadas y publicadas en el Repositorio Nacional Digital de Perú, Acceso Libre a Información Científica para la Innovación (ALICIA), de propiedad del Consejo Nacional de Ciencia, Tecnología e Innovación Tecnológica (CONCYTEC) en el año 2017. Entre los criterios para seleccionar las tesis estuvieron: a) tener autorización de descarga; b) elegir una variable que haya sido abordada por la mayor cantidad de tesis de universidades peruanas, siendo esta la de “rendimiento académico”; y c) elegir una tesis por universidad con el fin de buscar mayor representatividad.Procedimiento de recolección de datosUna de las virtudes del instrumento utilizado para el presente estudio es que posibilita proponer indicadores que evalúen de manera integral las referencias bibliográficas y las citas que se encuentran en el texto. Para el estudio se tomaron en cuenta solo las tesis de maestría en educación provenientes de universidades peruanas— sean públicas o privadas—del año 2017, dado que en estas instituciones existen variaciones en lo relacionado tanto a las normas sobre citado y referenciación como a sus procesos de evaluación. Asimismo, se eligió el tema de “rendimiento académico” por ser esta problemática la segunda más estudiada por las maestrías en educación de las universidades peruanas. No formaron parte de la población de estudio los institutos u otros centros superiores que no son universidades. Para su registro, primero se filtraron todas aquellas tesis digitalizadas sobre el tema de rendimiento académico. Se descargó una tesis por universidad directamente de la página web de ALICIA, creada por el CONCYTEC. Las tesis fueron incluidas en una base de datos creada por losISSN: 2225-7136(impresa)-2304-0335(en línea) 72investigadores para luego someterlas a evaluación. Se contabilizó la cantidad de referencias con que contaba cada una de ellas, lo que permitió formar un corpus representativo. Los nueve criterios propuestos por la “Guía de observaciones” permiten realizar un registro exhaustivo tanto cuantitativa como cualitativamente. Para el caso de la conformación del corpus de citas, se revisaron los apartados en los que se incluye información de otros autores para sustentar la idea del investigador (introducción, antecedentes, marco teórico y discusión). Se contabilizó la cantidad de menciones a autores en el cuerpo de la tesis así estas se repitiesen. Con esto se buscó determinar la coherencia no solo en el uso de un estilo de referenciación sino también en la redacción y el origen de los mismos. Los cinco indicadores propuestos en la guía para la evaluación de las citas tienen un carácter cualitativo, ya que para su aplicación se hizo necesario leer y analizar los apartados antes mencionados de las tesis. Esto resulta beneficioso, pues permite profundizar en el tema de la inclusión de fuentes, aspecto descuidado por otros instrumentos.Análisis de datosPara el procesamiento estadístico de los datos se utilizó el programa SPSS 25.0, empleando estadística descriptiva con el fin de tener la más clara y rápida comprensión de los hechos estudiados. Con los datos se construyeron tablas estadísticas para presentar y sintetizar los valores en frecuencias y porcentajes. A partir de ellos, se extrajeron enunciados de índole teórica para obtener generalizaciones empíricas.ResultadosEn la Tabla 1 se detallan los resultados obtenidos de la evaluación de los cinco indicadores propuestos por Martín y Lafuente (2017) para determinar la calidad de las citas del texto. Los autores proponen criterios que no solo abordan la parte formal del proceso de citado (calidad de la redacción y adecuación a una norma o estilo), sino también aspectos analíticos (exhaustividad, manejo crítico, relevancia y revisión). Estos indicadores permiten una revisión integral de los mecanismos aplicados en los apartados teóricos de las tesis analizadas para el registro de las fuentes. El total de citas analizadas fue de 1,209.El indicador “Exhaustividad” se evalúa en los antecedentes y el marco teórico de la tesis. Los resultados se encuentran en el nivel Deficiente (74.1 %). Este resultado es importante porque evidencia debilidades en dos ejes fundamentales: el primero, laISSN: 2225-7136(impresa)-2304-0335(en línea) 73preferencia de los autores por citar fuentes secundarias antes que primarias. Una de las características fundamentales de la exhaustividad es la demostración del domino de la teoría y de los autores referentes al tema abordado en la tesis. Las fuentes secundarias no garantizan calidad crítica ni profundidad, ya que la mayoría de los textos que registran este tipo de información solo resumen o precisan datos relevantes sobre un tema. El segundo, se tiene un elevado porcentaje de casos de citas incluidas en el texto que no tienen su respectiva correspondencia en las referencias bibliográficas. Este hecho demuestra una falta de dominio y cuidado en el manejo de las fuentes, lo que a la larga podría ser indicador de posibles casos de plagio.Con respecto al indicador “Utilización crítica de las fuentes” (mención de las citas bibliográficas para fundamentar la información que se presenta en el texto), este se evaluó en dos ejes: inclusión de citas textuales y citas parafraseadas. Este indicador se ubica en el nivel de Excelente (71.4%). El resultado señalado evidencia competencias de los autores en la integración de las voces de otros en la construcción de su identidad discursiva. Para evaluar este punto se consideró la categorización de las citas en integrales y no integrales, propuestas por Swales (1990), y también lo propuesto por Authier-Revuz (2001) en sus “modalidades de representación del discurso ajeno”. Bajo estos dos parámetros se pudo determinar que las citas analizadas se integran exitosamente en una sola voz con el fin de concretar la interacción del lector con el texto, la cual lleva a una organización de los conceptos teóricos propios de la disciplina (representados en las voces autorizadas) con la voz del autor de la tesis.La calidad de las citas se determinó por el cumplimiento de un estilo y por la cantidad de errores en su redacción. Los resultados ubican a este indicador en el nivel Deficiente (92.9%), resultado que tiene su causa en el manejo del estilo y redacción de las citas. Este aspecto es relevante sobre todo para la recuperación de la información, esto es, para la consulta de las fuentes utilizadas por un tercero. Hay un descuido evidente en garantizar el manejo de un estilo homogéneo para la redacción de las citas. En los casos analizados se puede observar la utilización de dos estilos en paralelo y también un deficiente cumplimiento de las normas ortográficas, lo cual haría imposible cualquier intento de recuperación de la información o la identificación de las fuentes citadas en la tesis.La relevancia se define como la propiedad que tiene la fuente de información para responder o justificar la cientificidad del tema de investigación. Por ello, esISSN: 2225-7136(impresa)-2304-0335(en línea) 74pertinente verificar la diversidad de fuentes; en el caso de las tesis, la necesidad de incluir no solo fuentes primarias sino también artículos científicos, tesis o libros resulta vital, ya que son estas fuentes las que presentan información científica actualizada. Para determinar este rasgo se evaluó los siguientes componentes teóricos de las tesis: antecedentes de estudio, marco teórico y discusión. El nivel en el que se encuentra este indicador es Excelente (85.7%), resultado que evidencia un manejo sólido de fuentes relevantes. No obstante, los resultados del indicador “Calidad de las citas” evidencian falencias en el manejo metodológico de las fuentes, que si bien podrían ser pertinentes al estudio, se haría difícil todo intento de recuperar la información para los investigadores.La calidad de la revisión de investigaciones previas se determina precisando si las citas en los antecedentes corresponden a tesis o artículos, y sí estos son analizados o comentados o si guardan relación con el tema. Evaluar este indicador implica la revisión no solo descriptiva sino también crítica de los estudios anteriores que justifiquen el aporte o la continuidad en una línea de investigación de un estudio actual. La diferencia con el indicador que evalúa la relevancia radica ya no solo en el manejo de fuentes actuales y científicas sino en el análisis de las mismas y lo que aportan, además de precisar las diferencias entre uno y otro en cuestiones teóricas y metodológicas. Los resultados muestran que el nivel alcanzado por este indicador es el de Excelente (64 %); no obstante, la brecha que lo separa de los niveles Suficiente y Deficiente es de solo 35.7%, porcentaje nada despreciable. Si bien el apartado de los antecedentes incluye información actualizada que ha sido analizada, aún hay un número considerable de casos de tesis que incluyen solo resúmenes de los trabajos anteriores (antecedentes).Tabla 1Resultados agrupados por indicador de la calidad de las citas analizadas en el cuerpo teórico de las tesisFi%Fi%Fi%Exhaustividad 86371.4%17314.3%17314.3%Utilización crítica de 877.1%25921.4%86371.4%Calidad 112392.9%00.0%877.1%Relevancia 00.0%17314.3%103685.7%Importar tablaDeficiente Suficiente Excelentelas fuentesISSN: 2225-7136(impresa)-2304-0335(en línea) 75Revisión de investigaciones173 14.3% 259 21.4% 777 64.3% previas En la Tabla 2 se detallan los resultados obtenidos de la evaluación de los nueve indicadores para determinar la calidad de las referencias bibliográficas: actualización, cantidad de tesis, autocitación, idioma, tipología, soporte, referencias completas, exactitud y cumplimiento con una norma. Se evaluaron 562 referencias bibliográficas. A continuación, se da cuenta de los resultados obtenidos.El indicador “Actualización” considera la vigencia del contenido de las fuentes consultadas y referenciadas. Su evaluación dependerá del tema abordado, ya que algunos trabajos priorizan textos clásicos, cuyas ediciones no necesariamente tienen que ser actuales, en tanto que otros priorizan fuentes de los últimos años; es el caso de “rendimiento académico,” por ser la segunda más estudiada en las maestrías de educación de las universidades peruanas.La cantidad de citas se evalúa por el número de referencias bibliográficas mencionadas al final de la tesis. El nivel en el que se encuentra este indicador es Excelente (71.4%), resultado que evidencia la inclusión considerable de referencias (en promedio 30 referencias por tesis).Por otro lado, se considera “autocita” cuando el autor cita un trabajo suyo redactado previamente. La inclusión de autocitas es una práctica generalizada que no representa mayor problema, salvo cuando se abusa de ella. Entre las ventajas de la autocita tenemos que estas permiten evidenciar si el autor ha madurado en la línea de investigación seguida en su tesis, lo cual le da mayor autoridad y regularidad en el manejo del tema. La evaluación de este indicador lo ubica en la categoría de Suficiente (100 %), resultado que evidencia un equilibrio en su uso.El indicador “Idiomas” hace mención a la cantidad de referencias bibliográficas en otros idiomas diferentes del español. En este sentido, el inglés sobresale como una de las lenguas principales de la ciencia; por lo tanto, es necesario no solo recurrir a ella sino también realizar traducciones. La evaluación de este indicador lo ubica en la categoría de suficiente (85.7%), ya que no todas las tesis incluyen fuentes en lenguas diferentes del español, hecho que representa una desventaja, ya que, por un lado, se exige que las tesis de maestría tengan un nivel de análisis y documentación óptimo, porISSN: 2225-7136(impresa)-2304-0335(en línea) 76lo que al no recurrir a fuentes de otras lenguas se estaría dejando de lado material importante y relevante.Entre los indicadores que más controversia genera, la tipología es uno ellos. En este caso, los especialistas sugieren que se incluyan no solo libros sino también artículos científicos y tesis. Ahora bien, el tipo de fuentes consultadas dependerá del tema ya que algunos necesitarán de medios como periódicos, como es el caso de las ciencias administrativas, o revistas, como es el caso de las ciencias de la salud, y no tanto de libros, los cuales son fuente recurrente en las ciencias sociales. La evaluación de este indicador se realizó determinando a las características tanto de origen como formales e informativas de una unidad documental o fuente. Los resultados obtenidos califican la calidad de este indicador como Suficiente (64.3%), aunque la categoría Excelente también mantiene un porcentaje importante (35.7%). Estos porcentajes reflejan que en las tesis de maestría en educación recurren a un manejo de fuentes primarias y secundarias, como son los libros de especialidad, las tesis y artículos científicos (en ese orden de recurrencia), todos ellos textos necesarios para una sólida construcción teórica. El soporte documental se refiere a un medio de formato físico (libros, revistas, periódicos, etc.), en línea (bases de datos, revistas electrónicas, páginas, correos electrónicos, redes sociales, grupos de noticias, etc.) o electrónico (CD-ROM, cintas magnetofónicas, DVD, Bluray, etc.). Pese a la gran cantidad de información que se puede encontrar en línea, los soportes físicos siguen siendo sinónimos de calidad, dado el control al que son sometidos. La evaluación de este indicador lo ubica en la categoría de suficiente (85.7%), lo que se traduce en el uso preferente de fuentes físicas antes queelectrónicas.En otro grado, se considera una referencia completa cuando esta dispone de todos los datos necesarios para poder identificar la obra. Su medición se realiza contabilizando la cantidad y el porcentaje de citas completas. La evaluación de este indicador lo ubica en la categoría de suficiente (57.1%), aunque con una tendencia hacia la categoría de Excelente (35.7%). Estos datos se traducen en el hecho de que, si bien las referencias presentan los datos suficientes para su identificación, aún presentan deficiencias, sobre todo de forma, ya que no se ciñen a cabalidad a lo establecido por el estilo de referenciación seguido.Por otra parte, se considera que una referencia es exacta cuando no tiene errores de tipo menor (omisión de algún dato pero que no impide su verificación), mayor (error que impide su verificación) y distorsión (cuando se altera por completo los datos de laISSN: 2225-7136(impresa)-2304-0335(en línea) 77fuente). Se las contabiliza determinando la cantidad y el porcentaje de citas exactas e inexactas. La evaluación de este indicador lo ubica en la categoría de Deficiente (78.6%), siendo los errores menores los que mayor presencia tienen, lo cual se evidencia por el porcentaje que obtuvo la categoría Suficiente (21.4%).Finalmente, se considera el cumplimiento cuando la referencia se adecúa a lo establecido por el estilo de referenciación seguido. El estilo que prevalece en la población estudiada es APA. La evaluación de este indicador lo ubica en la categoría de suficiente (78.6%), resultado que evidencia que a pesar de que reconocen un estilo, este no se cumple a cabalidad, lo cual se evidencia por el porcentaje que obtuvo la categoría Insuficiente (14.3%).Tabla 2Resultados agrupados por indicador de la calidad de las referencias bibliográficas analizadas de las tesisDeficienteSuficienteExcelenteFi %Fi%Fi%Actualización8014,3%24142,9%24142,9%Cantidad de citas12121,4%407,1%40171,4%Auto citación00,0%562100,0%00,0%Idioma00,0%48285,7%8014,3%Tipología00,0%36264,3%20035,7%Soporte8014,3%48285,7%00,0%referencias completas407,1%32257,1%20035,7%Exactitud44178,6%12121,4%00,0%Cumplimiento con unanorma o estilo de8014,3%44178,6%407,1%Importar tabla citación En la Tabla 3 se puede observar que el 64.3 % de las citas analizadas en el texto se ubica en el nivel de Suficiente, en tanto que el 21.4 % se encuentra en el nivel de Excelente. Si bien esta calificación podría indicar calidad en el manejo de las citas en el texto de la tesis, también es propicio resaltar que el porcentaje de Excelencia resulta siendo bajo frente a las demás escalas. Considerando que quienes elaboran las tesis son profesionales especialistas en el tema elegido, resulta llamativa dicha calificación.ISSN: 2225-7136(impresa)-2304-0335(en línea) 78Tabla 3Resultado general de la calidad de las citas en el cuerpo teórico de las tesis analizadasEscala Fi %Excelente 259 21.4%Suficiente 777 64.3%Deficiente 173 14.3%Total 1209 100.0%En la Tabla 4 se puede observar que el 85.7 % de las referencias bibliográficas analizadas se ubica en el nivel Suficiente, en tanto que el 7.1 % se encuentra en el nivel de Excelente. Las referencias bibliográficas permiten obtener información sobre la realidad de la problemática de estudio, razón por la cual una evaluación correcta y minuciosa de la misma en un trabajo de investigación no solo garantiza que el investigador se haya documentado bien, sino que le otorga mayor rigurosidad al trabajo. Las referencias bibliográficas analizadas presentan deficiencias de forma, lo que las ubica en ese nivel.Tabla 4Resultado general de la calidad de las referencias bibliográficas analizadasEscala Fi %Excelente 40 7.1%Suficiente 482 85.7%Deficiente407.1%Total562100.0%Importar tablaDiscusiónLas tesis de maestría en educación deben permitir evidenciar estudios elaborados con el más alto nivel de rigor científico, puesto que provienen de investigadores que han tenido una formación a nivel de posgrado en cuyas mallas curriculares se incorporan asignaturas que deberían permitir el desarrollo de competencias para la investigación (Camps, Recuero, Samar, & Avila, 2005; Chambi, 2018). Existe diversa literatura sobre el tema de las referencias y el citado de fuentes, lo que genera que cada institución realice las adaptaciones de acuerdo a sus propósitos académicos. Sin embargo, sonISSN: 2225-7136(impresa)-2304-0335(en línea) 79pocos los que plantean un modelo razonado sobre el proceso de citado, limitándose únicamente a reproducir la casuística de terceros. Al respecto, Rodríguez (2008) afirma que:El tema de la bibliografía es sumamente engorroso para estudiantes universitarios y otros profesionales menos avezados en estos asuntos, e incluso, algunos renuncian a reconocer los materiales que han contribuido a la realización de su trabajo, algo inaceptable desde el punto de vista ético y legal en el ámbito de la ciencia (p. 50).La evaluación tanto de las referencias como del proceso de citado no solo exige una revisión estructural de las mismas, esto es, si están o no redactadas correctamente o si respetan a cabalidad el estilo de referenciación elegido; la determinación de su calidad pasa por evaluar también criterios como la revisión de investigaciones previas pertinentes al problema de investigación, utilización crítica de la bibliografía especializada, actualización, exhaustividad en su redacción, citas completas, idioma de procedencia, entre otras (Martín & Lafuente, 2017). La necesidad de realizar una evaluación profunda de las referencias bibliográficas y de los mecanismos de citación motivó la realización del presente estudio. En ese sentido, la descripción de la bibliografía es muy importante para determinar la exhaustividad con que se ha desarrollado un trabajo científico, para conocer cuán avanzado está un tema en el mundo, e identificar las fuentes relacionadas o autores de impacto respecto a una materia determinada (Pérez, 2010).Los hallazgos relacionados con la calidad de las citas al interior del texto de las tesis de maestría en educación arrojan que el 64.3 % de las citas analizadas se ubica en el nivel de Suficiente, el 21.4 % se encuentra en el nivel de Excelente, en tanto que el14.3 % está en la franja de Deficiente. En líneas generales, los resultados fueron positivos, a excepción de los casos con presencia de errores, lo cual es considerable. De igual manera, la cantidad de citas sin referencias bibliográficas es alta. Es importante resaltar que estos errores pueden revelar indicios de plagio de ideas, ya que al no haber un correcto uso de las citas y de su localización, esta posibilidad queda abierta. Este resultado refuerza lo dicho por Cañedo (1999), para quien:El análisis de citas es uno de los criterios que se emplea con mayor frecuencia para la selección de la literatura científica. De igual forma constituye una de las alternativas más controvertidas tanto para la evaluación de la actividad científica como de las publicaciones (p. 30).ISSN: 2225-7136(impresa)-2304-0335(en línea) 80Para el caso de la calidad de las referencias bibliográficas, los resultados arrojan que el 85.7 % de las referencias se ubica en el nivel Suficiente, el 7.1 % se encuentra en el nivel de Excelente, en tanto que el 7.1 % restante se ubica en el nivel Deficiente. En líneas generales, la calificación otorgada a estos criterios fue positiva. Sin embargo, los errores, al igual que en las citas, se concentraron en la redacción y el estilo, y también en la correspondencia de las referencias citadas en el cuerpo del texto. Esto último se debe a la falta de unificación de criterios, aspecto que no se ha logrado.Los resultados obtenidos reflejan claramente debilidades en el proceso de referenciación y citación de las fuentes en este tipo de tesis, debilidades que se deben solucionar creando las herramientas informativas necesarias que lleven a los estudiantes (y también a los asesores de tesis) a desarrollar productos de calidad, mediante cursos de formación de habilidades en el uso de los mismos, así como la motivación en la consulta de fuentes de información (Meneses, Romero & Sesma, 2013).En ambas situaciones, gracias al rápido avance de la edición electrónica, el análisis de citas y referencias en las publicaciones científicas debe considerarse como un método muy interesante a considerar en investigaciones de uso de información por parte de investigadores (Urbano, 2001). Sería de utilidad extender este tipo de análisis bibliométrico a otras áreas temáticas, generando una referencia para futuras investigaciones y un antecedente para el análisis de productos de investigación generados por estudiantes de pre y posgrado.

Referencias

Aiquipa, J., Ramos, C., y Guizado, L. (2018). Factores implicados para realizar o no realizar tesis en estudiantes de psicología. Propósitos y Representaciones, 6(1), 21-82. doi: 10.20511/pyr2018.v6n1.180

Authier-Revuz, J. (2001). La representación del discurso ajeno: un campo múltiplemente heterogéneo. Montevideo: SPEU.

Becker, D. & Chiware, D. (2015). Citation Analysis of Masters' Theses and Doctoral Dissertations: Balancing Library Collections With Students' Research Information Needs. The Journal of Academic Librarianship, 41(5), 613-620. doi: https://doi.org/10.1016/j.acalib.2015.06.022

Braga, C., Bernadete, M. y Regina, M. (2003). Errores en las referencias bibliográficas de la producción académica: un estudio de caso. Scire, 9(1), 133-138. Recuperado de http://ibersid.eu/ojs/index.php/scire/article/view/1461

Brito, L., Ladrón De Guevara, M. y Rosas, S. (2010). Impacto de la biblioteca universitaria en los estudios de posgrado: análisis de citas de las tesis en tres

programas de maestría y doctorado en la Universidad Autónoma de México (UNAM). Ibersid, 1, 195-199.

Camps, D., Recuero, Y., Samar, M. E. y Avila, R. E. (2005). Análisis bibliométrico de tesis de doctorado del área de las Ciencias de la Salud: primera parte, Odontología. Revista de la Facultad de Ciencias Médicas de la Universidad Nacional de Córdoba, 62(3), 53-56. Recuperado de http://hdl.handle.net/10760/6647

Cañedo. R. (1999). Los análisis de cita en la evaluación de los trabajos científicos y las publicaciones seriadas. ACIMED, 7(1), 30-39. Recuperado de http://bvs.sld.cu/revistas/aci/vol7_1_99/aci04199.pdf

Jodar Fernández, B. (2005). Influencia del deporte en el metabolismo adulto. En Salgado Ruíz, F. (ed.). Actividad física y salud (pp. 146-200). Barcelona: Planeta

Carpintero, H. (1981). La psicología actual desde una perspectiva bibliométrica: una introducción. En Carpintero H. y Peiró J.M. (Dirs.), Psicología contemporánea. María Jesús Romera Iruela Teoría y métodos cuantitativos para el estudio de su literatura científica (pp. 25-39). Valencia: Alfaplus.

Chambi, E. (2018). Nivel de rigor científico de las tesis de Maestría en Educación, el caso de una universidad pública. Consensus, 22(1), 37-47. Recuperado de http://www.unife.edu.pe/publicaciones/revistas/consensus/volumen22_1/Volume n_22_1.pdf#page=37

Escorcia, T. (2008). El análisis bibliométrico como herramienta para el seguimiento de publicaciones científicas, tesis y trabajos de grado (Tesis de Licenciatura). Universidad Javeriana, Colombia. Recuperado de http://www.javeriana.edu.co/biblos/tesis/ciencias/tesis209.pdf

Hernández, R., Fernández, C., y Baptista, P. (2010). Metodología de la investigación.

Huamaní, Ch. y Pacheco, J. (2009). Errores en las Referencias Bibliográficas de las Revistas Médicas Peruanas. Revista de Gastroenterología del Perú, 29(4),341-

346. Recuperado de http://200.62.146.19/BVRevistas/gastro/vol29n4/pdf/a07v29n4.pdf

Kaplan, N. (1965). The norrus of citation behaviour: prolegomena to the footnote.

American Documeníation, 16(3), 179-184. doi: 10.1002/asi.5090160305

López Piñero, J.L. y Terrada, M.L. (1992). Los indicadores bibliométricos y la evaluación de la actividad médico–científica. Usos y abusos de la bibliometría. Medicina Clínica, 98(2), 64-68. doi: 10.1016/S0300-8932(99)75008-6

Martín, S. y Lafuente, V. (2017). Referencias bibliográficas: indicadores para su evaluación en trabajos científicos. Investigación Bibliotecológica, 31(71), 151- 180. doi: http://dx.doi.org/10.22201/iibi.0187358xp.2017.71.57814

Meneses, B., Romero, E. y Sesma, B. (2013). Análisis y evolución de las referencias en las tesis de un posgrado en la Universidad Veracruzana. Ciencia Administrativa, 1, 34-38.

Mitra, A. C. (1970). The bibliographical reference: A review of its role. Annals of Library Science and Documentation, 17(3-4), 117-123. Recuperado de http://hdl.handle.net/123456789/28259

Muñoz, C. (2011). Cómo elaborar y asesorar una investigación de tesis. México: Pearson.

Negro, J.M., Aguinaga, E. y González, J. (1996). La revisión de la literatura en Alergología. Revista Española de Alergología e Inmunología Clínica, 11(5), 215-220. Recuperado de http://revista.seaic.org/octubre97/306-310.pdf

Novoa, E. (2004). Elaboración de la tesis. Lima: Fondo editorial de la Escuela de Periodismo Jaime Bausate y Meza

Osca-Lluch, J., Civera, C. y Peñaranda, M. (2009). Consecuencias de los errores en las referencias bibliográficas. El caso de la revista Psicothema. Psicothema, 21(2), 300-303. Recuperado de http://www.psicothema.es/pdf/3630.pdf

Peralta M., Frías, M., y Gregorio, O. (2015). Criterios, clasificaciones y tendencias de los indicadores bibliométricos en la evaluación de la ciencia. Revista Cubana de Información en Ciencias de la Salud, 26(3), 290-309. Recuperado de http://acimed.sld.cu/index.php/acimed/article/view/744

Pérez, A. (2010). Empleo de citas y referencias bibliográficas en trabajos científicos. Documentación de las Ciencias de la Información, 33, 185-193. Recuperado de http://revistas.ucm.es/index.php/DCIN/article/view/dcin1010110185a

Polit, D. y Hungler, B. (2000). Investigación científica en ciencias de la salud (6.a ed.).

Pulido, M., González, J. C., y Sanz, F. (1993). Errores en las referencias bibliográficas: un estudio retrospectivo en Medicina Clínica (1962-1992). Medicina Clínica, 104(5), 170-174.

Rodríguez, L. (2008). ¿Le resulta difícil hacer la bibliografía? Los gestores de referencias bibliográficas pueden ayudarlo. ACIMED, 19(2).

Rodríguez, Y. y García, F. (2016). Valoración de referencias bibliográficas en trabajos de grado y proyectos académicos de trabajo colectivo en la Licenciatura en Pedagogía Infantil de la Corporación Universitaria Rafael Núñez de Cartagena: 2004 a 2012 (Tesis de Licenciatura). Corporación Universitaria Rafael Núñez, Colombia. Recuperado de http://hdl.handle.net/123456789/895

Rosenberg, Z. (2015). Citation Analysis of M.A. Theses and Ph.D. Dissertations in Sociology and Anthropology: An Assessment of Library Resource Usage. The Journal of Academic Librarianship, 41(5), 680-688. doi: doi.org/10.1016/j.acalib.2015.05.010

Sánchez, D., y Ainciburi, M. (2011). Las funciones retóricas de la citación en la escritura académica universitaria. Estudio comparado del género de memorias de máster en nativos españoles y estudiantes filipinos de ELE. Recuperado de: http://www.mecd.gob.es/educacion/mc/redele/biblioteca- virtual/numerosanteriores/2011/memoriamaster/2-trimestre/sanchez- jimenez.html

Silva, D., Rodríguez, M. y Del Campo, A. (2012). Las referencias bibliográficas en artículos originales y de revisión en revistas biomédicas cubanas. Revista Cubana de Salud Pública, 39(1), 83-95

Swales, J. (1990).Genre analysis. English in academic and research settings.

Cambridge: Cambridge University Press

Torres, G. y Flores, M. (2015). Las citaciones como marca o huella de intertextualidad en las tesis de maestría y doctorado. Véritas, 6(1), 9-12. Recuperado de: https://revistas.ucsm.edu.pe/ojs/index.php/veritas/article/view/88

Torres-Salinas, D. y Jiménez-Contreras, E. (2010). Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas en Journal Citation Reports y Scopus. El profesional de la información, 19(2),201-207. doi: 10.3145/epi.2010.mar.12

Urbano, C. (2001). El análisis de citas en trabajos de investigadores como método para el estudio del uso de información en bibliotecas. Anales de documentación, 4, 243-266. Recuperado de https://revistas.um.es/analesdoc/article/view/2281

Vara, A. (2010) ¿Cómo evaluar la rigurosidad científica de las tesis doctorales? Lima: Facultad de Ciencias Administrativas y Recursos Humanos de la Universidad de San Martín de Porres.