Introducción

En los últimos diez años la comunidad científica de la disciplina administración incrementó el empleo de técnicas de bibliometría como método de investigación (Zupic y Cater, 2014). Evaluar la calidad del conocimiento que producen los académicos del área de administración es un tema que muestra un creciente interés a nivel global (Mingers y Lipitakis, 2010; Mingers y Xu, 2010). Entre las razones que han impulsado este comportamiento se encuentran el vertiginoso incremento de la producción científica de la disciplina en el mundo y la necesidad de los gestores de la política científica en todos los niveles de decisión de disponer de información cuantitativa para evaluar la relevancia de la investigación para una adecuada asignación de los limitados recursos disponibles.

La importancia de medir el impacto científico de los artículos sobre administración para juzgar la calidad de la investigación de revistas, académicos, escuelas de negocios, facultades y departamentos ha crecido sostenidamente (Mingers y Burrell, 2006). Tal es así, que la revista Academy of Management Journal dedicó un foro para debatir el impacto académico basado en citas de los artículos de la disciplina administración (Judge et al., 2007; Leung, 2007; Rynes, 2007). Por ello, el número de artículos que publica un académico en las revistas de mayor prestigio internacional y el reconocimiento de sus pares mediante el número de citas a los artículos se ha convertido en el producto interno bruto de los académicos. Gómez-Mejia y Balkin (1992) encontraron una correlación positiva entre el impacto de los artículos publicados por los académicos y el salario que estos perciben.

Para evaluar el impacto de los artículos de la disciplina administración los investigadores han empleado indicadores estándares como el recuento de las citas (Podsakoff et al., 2008; Mingers y Lipitakis, 2010; Ruiz-Torres et al., 2012; Zhai et al., 2014; Coronado et al., 2015;Ronda-Pupo et al., 2015) o el índice H (Hirsch, 2005; Mingers, 2008). Una discusión en profundidad sobre estos indicadores se puede encontrar en Waltman (2017), así como el análisis de sus limitaciones en Van Raan (2014).

Las principales limitaciones de estos indicadores son la alta asimetría de la distribución de las citas de los artículos (Radicchi et al., 2008; De Bellis, 2009; Ding et al., 2013) y la dependencia de estos indicadores del volumen de producción científica realizada (Katz, 2000). Estas características sugieren que los indicadores empleados en los estudios antes mencionados son solo válidos para distribuciones gaussianas y de ley de potencia con un exponente α≥3,0. Katz (2006) demostró que estas medidas son pobres para captar las propiedades emergentes de sistemas complejos del mundo real, que suelen presentar distribuciones que se ubican en un rango 2<α<3.

Newman (2005) y Clauset et al. (2009) demostraron que el recuento de citas (citas/artículos) se basan en medidas que tienen distribuciones de ley de potencia. Los indicadores de impacto basados en el promedio de la población derivada de estas distribuciones pueden tener grandes o indefinibles límites de error. Leydesdorff y Opthof (2010) señalan que la utilidad práctica de estos indicadores para la caracterización de la población subyacente puede ser cuestionable y su empleo para comparar grupos de diferentes tamaños puede resultar engañosa.

Recientemente Ronda-Pupo y Katz (2016) analizaron el impacto de los artículos en las revistas de la categoría administración del Journal of Citation Reports® (JCR) y encontraron que la distribución de las citas sigue una ley de potencia con un exponente α= 2,84 ±0,06. Este tipo de distribución posee una varianza que tiende al infinito (Clauset et al., 2009), lo cual confirma la inefectividad de los indicadores bibliométricos tradicionales como el recuento de citas o el índice de Hirsch (2005) para evaluar el desempeño basado en citaciones de los artículos en la disciplina administración. Al mismo tiempo sugiere la necesidad del empleo de indicadores libres de escala para evaluar el impacto de los artículos de la disciplina ya que los mismos se calculan precisamente mediante el exponente resultante de la ley de potencia. En los análisis precedentes sobre la evaluación del impacto de la producción científica latinoamericana sobre administración no se han encontrado estudios previos que emplean indicadores libres de escala para analizar el impacto de los artículos.

Las preguntas a responder en la presente investigación son:

¿Sigue la distribución de las citas de los artículos latinoamericanos sobre administración una ley de potencia en el rango 2<α<3?

¿Existe una relación a escala entre la producción científica sobre administración de un país y el número de citas que recibe el mismo?

¿Cuál es el impacto esperado de un país en relación con su producción científica?

¿Es el impacto observado de los países latinoamericanos en la investigación sobre administración superior que el esperado?

El objetivo de la presente investigación es evaluar el impacto académico relativo de los artículos sobre administración publicados por autores de países latinoamericanos. Para cumplir el objetivo se han analizado los artículos de las categorías ‘Business’, ‘Business and Finance’, ‘Economics’ y ‘Management’ de la base de datos Clarivate Analytics Web of Science^TM (WOS) entre 1981 y 2005, ambos inclusive.

Revisión de Literatura y Formulación de Hipótesis

Evaluación del impacto de los artículos sobre administración en general

El origen de la evaluación del impacto científico a través del número de artículos y las citas a los mismos proviene del trabajo del químico norteamericano Garfield (1955) quien propició la creación del hoy bien conocido ISI-WOS. La publicación del libro Litle Science, Big Science por De Solla-Price (1963) constituyó el nacimiento de la cienciometría como campo académico de investigación. Esta disciplina ha crecido rápidamente y hoy cuenta con 88 revistas indexadas en el JCR de la base de datos WOS.

Los estudios más recientes sobre el impacto de los artículos de la disciplina administración han sido presentados por Ronda-Pupo y Katz (2016), quienes encontraron una relación a escala entre el impacto de los artículos publicados en las 174 revistas de la categoría administración del JCR (edición 2013) y los patrones de colaboración de los mismos.

Zhai et al. (2014) investigaron la relación del impacto de los artículos publicados por académicos chinos del campo de la administración en 258 revistas indexadas en la base de datos WOS y reportan que existe un crecimiento exponencial del número de artículos sobre administración conforme crecen las redes de colaboración internacional de dichos académicos. Una limitación de este estudio es que los autores no asociaron los documentos publicados por los académicos de la disciplina con las revistas de la categoría Management en la base de datos WOS.

Mingers y Lipitakis (2010) estudiaron las diferencias del impacto de los artículos de las categorías Business y Management en las bases de datos WOS y Google Académico a través del análisis de 4.600 artículos publicados por profesores de tres escuelas de negocios del Reino Unido. Los autores reportan una superioridad significativa del impacto medido a través de la base de datos Google Académico en relación con los publicados en la base de datos WOS.

En un estudio posterior Mingers y Xu (2010) determinaron que los factores que impulsan las citaciones de los artículos publicados en seis revistas sobre administración son: en primer lugar, el prestigio de la revista en sí. En segundo lugar, otros factores como la longitud del artículo, el número de referencias utilizadas, el prestigio de la institución del primer autor y el tipo de artículo, sobre todo si se trata de artículos de revisión. Sería interesante determinar en cuánto se incrementaría el impacto de las publicaciones de un país teniendo en cuenta un incremento de su producción científica. El empleo de indicadores libres de escala permite responder a esta pregunta.

Mingers (2008) concluyó que el índice Hirsch (2005) es un indicador valioso y fiable para investigar la productividad de los académicos del campo de la administración durante un periodo de tiempo y señala que sus principales ventajas son medir la calidad y cantidad en un número único, ser fácil de medir y de fácil comprensión; mientras que Gajendra y Singh (2009) señalan que el índice Hirsch es una poderosa técnica para medir el desempeño científico. Sin embargo, estos autores enumeran una serie de limitaciones del referido índice: i) depende del número de publicaciones, ii) se ve afectado por la edad del científico, y iii) los artículos altamente citados tienen el mismo peso que los menos citados. Asimismo, Waltman y Van Eck (2012) indican que el índice Hirsch no se puede considerar un indicador apropiado para medir el impacto científico global de un científico y coinciden con las razones antes expresadas.

Podsakoff et al. (2008) presentaron un ranking de las principales universidades y académicos de la disciplina administración en el mundo mediante el empleo de indicadores como el recuento de citas y el número de artículos, entre otros como el número de doctores, el presupuesto de la institución o la edad de la institución. La principal limitante del trabajo es que asumen una distribución normal de las variables número de publicaciones y citaciones, siendo conocido que ambas variables poseen un alto grado de asimetría.

Mingers y Burrell (2006) modelaron el comportamiento de las citaciones de los artículos publicados en 1990 en seis revistas de la disciplina administración y reportan la existencia de una distribución binomial negativa. La principal limitación de este estudio es que la muestra tomada para la investigación es poco significativa, ya que se excluyó del estudio el 75% de las revistas (79) indexadas en 2006 en el JCR en la disciplina.

Evaluación del impacto de los artículos latinoamericanos sobre administración

Los estudios previos sobre el impacto de las publicaciones de autores latinoamericanos sobre administración son dispersos. Koljatic y Silva (2001) analizaron los patrones de productividad científica en economía y administración en América Latina, pero centraron su atención en solo cuatro países, a saber, Argentina, Brasil, Chile y México, en el período 1995-1999. Estos autores utilizaron indicadores tradicionales como recuentos fraccionales y completos de artículos publicados en revistas indexadas en el Social Science Citation Index. La principal limitación del estudio es la dependencia del tamaño de los indicadores bibliométricos utilizados.

La evaluación del impacto de los artículos latinoamericanos sobre administración ha sido estudiada por Ronda-Pupo et al. (2015), quienes reportaron que los artículos publicados a través de la colaboración internacional reciben 1,59 veces más citas que los publicados mediante colaboración doméstica. Paralelamente Orozco y Villaveces (2015) analizaron el efecto positivo de la cooperación internacional en las citas de artículos sobre gestión en América Latina, mientras que Díaz-Contreras y Ronda-Pupo (2017) confirmaron posteriormente el efecto de la coautoría internacional en las citas de artículos chilenos sobre gestión. Anteriormente, Ronda-Pupo y Díaz-Contreras (2014) analizaron la relación del impacto de los artículos latinoamericanos sobre administración con el idioma en que aparecen publicados los mismos y encontraron que el nivel promedio de citas externas de los documentos publicados en inglés es superior que los artículos que aparecen en español o en portugués.

Bonilla et al. (2015) analizaron la investigación latinoamericana sobre economía entre 1994 y 2013 a nivel de país. Estos autores sugieren que la productividad de la investigación latinoamericana sobre economía, aunque con un crecimiento significativo, aun está lejos de la de Europa y América del Norte. Esta conclusión señala la necesidad de usar indicadores ajustados a escala para comparar con precisión el desempeño de la investigación latinoamericana con el de Europa y América del Norte, considerando la gran diferencia en el tamaño de esos sistemas de investigación.

En el presente estudio se espera que exista una correlación a escala entre el volumen de producción científica sobre administración de los países latinoamericanos y el impacto basado en citaciones que los mismos reciben. Así, se definen las siguientes hipótesis:

H1: La distribución de las citas de los artículos latinoamericanos sobre administración sigue una ley de potencia con el exponente en el rango 2<α<3.

H2: Existe una correlación a escala entre el volumen de producción científica de un país y el impacto que la misma recibe con un exponente α>1,00.

Método

El método de investigación utilizado cuenta de tres pasos: 1) la definición del modelo y la conceptualización de las variables, 2) la recopilación y organización de los datos para las pruebas de hipótesis y 3) el cálculo de los indicadores libre de escala. A continuación se detalla cada uno de estos pasos.

Definición del modelo y conceptualización de las variables

Para verificar la hipótesis de investigación se realizó una regresión de ley de potencia del impacto (I) de los artículos y revisiones sobre administración publicados por autores de los países latinoamericanos incorporados en el estudio y la producción científica (P). Para ello se utilizó el procedimiento descrito por Ronda-Pupo y Katz (2016). La regresión de la relación entre el impacto y el volumen de producción científica se expresa por la fórmula

I= kPα±e (1)

donde I: variable dependiente ‘impacto’, P: variable independiente ‘producción científica’, k: constante (intercepción), α: factor de escalamiento o exponente (pendiente de la línea de regresión) y e: margen de error en el exponente.

Se utilizó el método de regresión OLS (ordinary least squares) ya que el mismo es asimétrico (Smith, 2009), elemento importante ya que el objetivo es pronosticar el valor esperado de citaciones en relación con el incremento de la producción científica de un país. Asimismo, OLS es el método que produce valores ajustados con el menor error (Leguendre y Leguendre, 2012).

Variable dependiente: Impacto. Se define impacto al número de citas que recibieron los artículos de un país en el marco temporal definido. No se removieron las auto-citas teniendo en cuenta que se mide el impacto a nivel de país y no de autores (Van Raan, 1998). Una de las limitaciones que poseen los indicadores actuales es la edad de la publicación (Antonakis y Lalive, 2008; Järvelin y Persson, 2008). Para superar esta limitante se seleccionó una ventana de citaciones de ocho años de cada artículo. Así, el impacto de un artículo publicado en 1981 (t₀) es la suma del número de citas que el mismo recibió en los ocho años posteriores (t₀+8) a su publicación. La decisión de incluir una ventana de citaciones de ocho años está basada en los resultados de los estudios de Narin (1976), quien demostró que los artículos científicos a los ocho años de publicados han recibido el 80% del total de citas. Esta decisión garantiza que todos los artículos incluidos en el análisis tienen un marco temporal de ocho años para recibir un determinado impacto. Así, el rango del número de artículos a incorporar en el estudio es entre 1981 y 2005 y el rango para el cálculo del impacto es entre 1981 y 2013.

Variable independiente: Producción científica. Es la cantidad de artículos sobre administración publicados entre 1981 y 2005 donde aparece asociada la dirección de un país latinoamericano. Se incorporaron para el análisis los documentos clasificados por WOS como ‘Article’ y ‘Review’. La decisión de incorporar estas categorías de documentos es porque los mismos son considerados la ruta primaria para la diseminación del nuevo conocimiento científico en la mayoría de las disciplinas científicas (Adams y Gurney, 2013).

Recopilación y organización de los datos

Para evaluar el impacto de los artículos de la disciplina administración, Mingers y Lipitakis (2010) sugieren utilizar la base de datos Google Académico. Por otra parte varios autores han cuestionado la integridad de la base de datos WOS (De Bellis, 2009; Van Raan, 2005). No obstante a sus limitaciones, se ha decidido utilizar la base de datos WOS para la obtención de los datos para el análisis cuantitativo teniendo en cuenta los siguientes criterios aportados por Adams y King (2009): 1) alrededor de 20 millones de académicos de 3.800 instituciones de 98 países utilizan WOS, 2) esta base de datos provee acceso a cerca de 13.500 revistas entre más prestigiosas e influyentes del mundo, y 3) la misma incluye los campos necesarios para obtener la información para los análisis cuantitativos.

La estrategia de búsqueda empleada fue: CU= (nombre del país latinoamericano) and wc= (busines, or business and finance, or economics, or management). Refined by: Document types: (Article or Review). Indexes = SSCI, A&HCI, CPCI-SSH. Timespan= 1981-2013. Es necesario fijar como límite superior 2013 para obtener el número de citas de los artículos publicados en el año 2005. Se utilizó el listado de revistas de cada una de estas categorías en el JCR para confirmar que los artículos aparecen en revistas que pertenecen a estas categorías y así evitar los artículos duplicados. Se incluyeron en el estudio los países latinoamericanos que poseen dos o más artículos publicados en el marco temporal analizado. Se selecciona este límite para satisfacer la condición necesaria PC≠0, PC>1 para la regresión de ley de potencia.

Indicadores libres de escala

Se define como indicador libre de escala aquel indicador que se deriva de una relación de ley de potencia. Las distribuciones o correlaciones de ley de potencia son únicas y son independientes de la escala, es decir, p(bx)= g(b)p(x) para cualquier valor de b (Newman, 2005). En otras palabras, si queremos aumentar la escala en x unidades que medimos por un factor b, la forma de la distribución de p(x) se mantiene igual.

Los indicadores libres de escala derivados de las propiedades de un sistema complejo permiten hacer comparaciones entre entidades de tamaños muy diferentes. Estos indicadores son válidos para las distribuciones de ley de potencia con 2<α<3, mientras que los indicadores tradicionales basados en el promedio de la población solo son válidos para α≥3.

Los indicadores libres de escala pueden responder a las preguntas ¿Cómo funciona un indicador para comparar el rendimiento de los grupos en un sistema complejo en relación con el tamaño del grupo? o ¿Cómo es el impacto de un grupo en relación con otros grupos dadas las propiedades de la escala del sistema? Los indicadores libres de escala son herramientas útiles para los responsables de tomar decisiones y formular políticas complejas de la ciencia, la tecnología y los sistemas de innovación.

Para calcular los indicadores libres de escala se emplean los valores resultantes del cálculo de la relación de ley de potencia entre un par de variables de la forma y= kxⁿ (Ronda-Pupo y Katz, 2016). Los valores de esta relación se emplean para calcular el impacto esperado Ie según el volumen de producción científica de un país. El impacto observado Io es el número de citas recibidas por los artículos publicados por el país. Cuando se dispone de estos dos valores se calcula el impacto mediante la fórmula

Para la interpretación de los resultados se tienen en cuenta los siguientes valores: cuando el valor de I=1, el impacto observado es igual que el esperado. Cuando el valor de I<1, el impacto observado es menor que el esperado. Por el contrario, cuando el valor de I>1 el impacto observado es superior al esperado. Así, el país con el valor I mayor es el que mejor impacto posee en relación con su volumen de producción científica en la disciplina.

Resultados y Discusión:

La Tabla I muestra los resultados del número de artículos y citas de los artículos latinoamericanos sobre administración. Los resultados se resumen en los siguientes aspectos:

-- Tres países (Brasil, Chile y México) acumulan el 78% de la producción científica sobre administración de la región entre 1981 y 2005.

-- El 37% de los 18 países incluidos promedia menos de un artículo por año en el marco temporal analizado.

-- Tres países (Brasil, Chile y México) acumulan el 80% del impacto en la investigación sobre administración de la región entre 1981 y 2005.

-- El 60% de los países de la región latinoamericana publicaron menos de dos artículos sobre administración entre 1981 y 2005.

La Figura 1 evidencia la presencia de la Ley de Lotka (Lotka, 1926) en la distribución de frecuencias del número de citas por artículos. Esto es, un pequeño número de artículos recibe muchas citas, mientras que un gran número de artículos recibe una o ninguna cita. Los resultados muestran que el valor mínimo donde comienza la cola de la distribución es 1 ±6. El exponente de la distribución es α= -2,57 ±0,11; p=0,30; gl= 0,06. Este comportamiento sugiere que la distribución de las citas por artículos sigue una ley de potencia. Para verificar la presencia de la misma se realizaron 5.000 simulaciones Monte Carlo según el algoritmo sugerido por Clauset et al. (2009) y luego se comparó la distribución ajustada con otras posibles distribuciones. La Tabla II muestra el resultado de la comparación de la distribución de ley de potencia con cuatro distribuciones posibles. El resultado indica que la distribución no sigue una ley potencial pura sino una ley potencial con corte. Este resultado se corresponde con los resultados recientes presentados por Ronda-Pupo et al. (2015) para las revistas JCR en la categoría ‘Management’. El resultado apoya la hipótesis 1 arriba presentada.

La implicación práctica de este resultado es que demuestra que el empleo de indicadores cienciométricos tradicionales como las citas por artículos introducirían sesgos en los resultados porque el exponente se ubica en un rango 2<α<3 y se ha demostrado con anterioridad que este tipo de distribución posee una varianza que tiende al infinito (Clauset et al., 2009).

La Figura 2 presenta el resultado de la regresión de ley potencial entre el volumen de producción científica sobre administración de los países latinoamericanos y su impacto. La relación es estadísticamente significativa t(1,18)= 9,39; p<0,001. El exponente, que es un indicador del efecto Mateo (Merton, 1968, 1988) en el impacto de los artículos latinoamericanos sobre administración es 1,15 ±0,08. Este resultado indica que el impacto de la producción científica sobre administración de un país latinoamericano se incrementa 2^1,15±0,08 o 2,22 veces cuando el mismo duplica su producción científica en esta disciplina. El resultado apoya la hipótesis 2 de investigación. Estos resultados se corresponden con los encontrados por Ronda-Pupo y Katz (2016) para las revistas JCR de la disciplina administración.

El resultado también confirma los hallazgos presentados por Katz (2000) para la ciencia en general al demostrar que el impacto de las publicaciones de un país, en este caso para una disciplina específica, se incrementa de manera no lineal en la medida que su producción científica se incrementa. La principal implicación práctica de este resultado es que confirma la inefectividad del empleo de indicadores cienciométricos tradicionales para analizar el impacto de la producción científica sobre gerencia de los países de Latinoamérica. La elaboración de rankings y las comparaciones de desempeño a través de indicadores tradicionales introducen sesgos en los resultados que se obtengan; por ende, la definición de políticas científicas con la utilización de esos datos sería errónea.

La Tabla III muestra los resultados del cálculo del impacto de la producción científica sobre administración de los países latinoamericanos a través del indicador libre de escala.

Los principales resultados se resumen en los siguientes aspectos:

-- El impacto medido a través del indicador libre de escala a nivel de la región es I= 0,84. Este resultado indica que el impacto observado es inferior que el esperado en relación con el volumen de producción científica sobre administración por los países de la región.

-- El 50% de los países de la región posee un impacto superior al esperado en relación con su producción científica.

-- El país con mayor volumen de producción científica en la región posee un impacto inferior al esperado de acuerdo con su volumen de producción científica. Si se realiza un ranking de países de la región mediante indicadores tradicionales, este país se ubicaría en el primer lugar de acuerdo con su volumen de producción científica o su número de citas. Sin embargo, cuando se realiza el escalafón del impacto medido a través de indicadores libres de escala, la posición de este país cae al puesto 11.

-- Países con un volumen de producción científica relativamente baja como Barbados, Bolivia, Ecuador, Guadalupe, Perú y Uruguay poseen un impacto superior al observado. El impacto medido a través de indicadores libre de escala permite comparar el desempeño de estos países con otros de un volumen de producción científica muy superior.

Conclusiones

El estudio demuestra que para la correcta evaluación del desempeño basado en citaciones de la productividad científica latinoamericana sobre gerencia es obligatorio el uso de indicadores libres de escala. Esta conclusión queda validada ya que la distribución de las citaciones a los artículos latinoamericanos sobre gerencia se ajusta a una ley de potencia con corte con un exponente α= -2,57 ±0,11. Este resultado prueba que la aplicación de indicadores estándar basados en promedios de la población no es adecuada ya que la varianza es infinita.

El estudio demuestra la relación súper lineal entre el impacto y el volumen de producción científica latinoamericana sobre gerencia con un exponente α= 1,15 ±0,08 que sugiere que cuando un país latinoamericano duplica su producción científica sobre gerencia, su impacto en esta disciplina se incrementa 21,15 o 2,22 veces. Esto confirma que el incremento de la productividad científica de los países constituye una ventaja acumulativa para incrementar su impacto basado en citaciones.

El impacto relativo I= 0,84 de la investigación sobre gerencia de los países de la región latinoamericana en su conjunto es inferior al nivel esperado. El país con mayor producción científica de la región latinoamericana posee un impacto inferior al esperado en relación con su volumen de producción científica en las revistas de la disciplina, mientras que países con una producción científica relativamente baja poseen un impacto observado superior que el esperado. Este resultado evidencia la efectividad del empleo de indicadores libres de escala para comparar desempeños de sistemas de ciencias de tamaños significativamente diferentes.

La importancia práctica de los resultados de la presente investigación radica en la posibilidad de generalizar el método para evaluar el desempeño académico de cualquier disciplina científica. Además, se demuestra la necesidad de introducir indicadores libres de escala para lograr objetividad en: 1) la determinación del impacto esperado de una universidad, escuela de negocio, país o región en relación con su volumen de producción científica, 2) la evaluación si el impacto observado es superior o inferior que el esperado, y 3) la comparación del impacto relativo basado en citaciones de escuelas de negocios, grupos de investigación, universidades y países de diferentes tamaños.

El resultado sugiere la posibilidad de nuevas investigaciones tales como: evaluar el impacto de los artículos sobre administración incluyendo todos los países del mundo o medir el desempeño de otras regiones como, Europa, Asia Pacífico; comparar el impacto de las distintas regiones o establecer escalafones de acuerdo con el impacto evaluado mediante indicadores libres de escala; y analizar la posible relación a escala entre la colaboración internacional/doméstica con el impacto teniendo en cuenta el modelo de la ley de potencia.

Referencias

Adams J, Gurney K (2013) Leading research economies in a changing knowledge network. Spain. Global Res. Digest. http:www.researchanalytics.thomsonreuters.com/grr

Adams J, King K (2009) Brazil Research and collaboration in the new geography of science. https://www.loot.co.za/product/jonathan-adams-global-research-report-brazil-researc/bbgl-2549-g260

Antonakis J, Lalive R (2008) Quantifying scholarly impact: IQp versus the Hirsh. J. Am. Soc. Inf. Sci. Technol. 59: 956-969. doi:10.1002/asi.20802

Bonilla CA, Merigó JM, Torres-Abad C (2015) Economics in Latin America: A bibliometric analysis. Scientometrics 105: 1239-1252. doi:10.1007/s11192-015-1747-7

Clauset A, Shalizi CR, Newman MEJ (2009) Power-law distributions in empirical data. SIAM Rev. 51: 661-703. doi:10.1137/070710111

Coronado F, Merigó JM, Cancino C (2015) Leading Universities in Latin America in Business and Management Research. Working Paper CID (2015-05). Universidad de Chile. 25 pp.

De Bellis N (2009) Bibometrics and Citation Analysis: Fron the Science Citation Index to Cibermetrics. Scarecrow Press. Toronto, Canadá. 417 pp.

De Solla-Price D (1963) Little Science, Big Science. Collumbia Press. Nueva York, EEUU. 119 pp.

Díaz-Contreras C, Ronda-Pupo GA (2017) International collaboration and the impact of research on management in Chile. Interciencia 42: 437-440. doi:WOS:000406824300006

Ding Y, Liu X, Guo C, Cronin B (2013) The distribution of references across texts: Some implications for citation analysis. J. Informetr. 7: 583-592. doi:10.1016/j.joi.2013.03.003

Gajendra P, Singh R (2009) Is citation a good criterion? Nature India. doi:10.1038/nindia.2009. 133

Garfield E (1955) Citation Indexes for Science: A new dimension in documentation through association of ideas. Science 122(3159): 108-111. doi:10.1126/science.122.3159.108

Gómez-Mejia LR, Balkin DB (1992) Determinants of faculty pay: An agency theory perspective. Acad. Manag. J. 35: 921-955. doi:10.2307/256535

Hirsch JE (2005) An index to quantify an individual's scientific research output. Proc. Natl. Acad. Sci. USA 102(46): 16569-16572. doi:10.1073/pnas.05076 55102

Järvelin K, Persson O (2008) The DCI index: Discounted cumulated impact-based research evaluation. J. Am. Soc. Inf. Sci. Technol. 59: 1433-1440. doi:10.1002/asi.20847

Judge TA, Cable DM, Colbert AE, Rynes SL (2007) What causes a management article to be cited. Article, author, or journal? Acad. Manag. J. 50: 491-506. doi:WOS:000247511900002

Katz JS (2000) Scale-independent indicators and research evaluation. Sci. Publ. Policy 27: 23-36. doi:10.3152/147154300781782156

Katz JS (2006) Indicators for complex innovation systems. Res. Policy 35: 893-909. doi:10.1016/j.respol.2006.03.007

Koljatic M, Silva MR (2001) The international publication productivity of Latin American countries in the economics and business administration fields. Scientometrics 51: 381-394. doi:10.1023/A:1012753601797.

Leguendre P, Leguendre L (2012) Numerical Ecology. Vol. 24. 3a ed. Elsevier. RU. 1006 pp.

Leung K (2007) The glory and tyranny of citation impact: An East Asian perspective. Acad. Manag. J. 50: 510-513. doi:10.2307/20159870

Leydesdorff L, Opthof T (2010) Normalization at the field level: fractional counting of citations. J. Informetr. 4: 644-646. doi:10.1016/j.joi.2010.05.003

Lotka AJ (1926) The frecuency distribution of scientific productivity. J. Washington Acad. Sci. 16(12), 317-323. doi:http://www.jstor.org/stable/i24527553

Merton RK (1968) The Matthew Effect in science. Science 159(3810): 56-63. doi:10.1126/science.159.3810.56

Merton RK (1988) The Matthew Effect in science, II: Cumulative advantage and the symbolism of intellectual property. Isis 79: 606-623. doi:10.1086/354848

Mingers J (2008) Measuring the research contribution of management academics using the Hirsch-index. J. Operat. Res. Soc. 60: 1143-1153. doi:10.1057/jors.2008.94

Mingers J, Burrell QL (2006) Modeling citation behavior in Management Science journals. Inf. Process. Manag. 42: 1451-1464. doi:10.1016/j.ipm.2006.03.012

Mingers J, Lipitakis E (2010) Counting the citations: a comparison of Web of Science and Google Scholar in the field of business and management. Scientometrics 85: 613-625. doi:10.1007/s11192-010-0270-0

Mingers J, Xu F (2010) The drivers of citations in management science journals. Eur. J. Operat. Res. 205: 422-430. doi:10.1016/j.ejor.2009.12.008

Narin F (1976) Evaluative Bibliometrics: The Use Of Publication And Citations Analysis In The Evaluation Of Scientific Activity. National Science Foundation. Washington, DC, EEUU.

Newman MEJ (2005) Power laws, Pareto distributions and Zipf's law. Contemp. Phys. 46: 323-351. doi:10.1080/00107510500052444

Orozco LA, Villaveces JL (2015) Heterogeneous research networks in Latin American schools of business management. Academia-Rev. Latinoam. Admin. 28: 115-134. doi:10.1108/arla-05-2013-0052

Podsakoff PM, MacKenzie SB, Podsakoff NP, Bachrach DG (2008) Scholarly influence in the field of management: A bibliometric analysis of the determinants of university and author impact in the management literature in the past quarter century. J. Manag. 34: 641-720. doi:10.1177/0149206308319533

Radicchi F, Fortunato S, Castellano C (2008) Universality of citation distributions: toward an objective measure of scientific impact. Proc. Natl. Acad. Sci. USA 105(45): 17268-17272. doi:10.1073/pnas.0806977105

Ronda-Pupo GA, Díaz-Contreras C (2014) Relationship between the impact of Latin American articles on management and the language in which they appear. Interciencia 39: 1-9. doi:WOS:000342887200003

Ronda-Pupo GA, Katz JS (2016) The power-law relationship between citation-based performance and collaboration in articles in management journals: A scale-independent approach. J. Assoc. Inf. Sci. Technol. 67: 2565-2572.

Ronda-Pupo GA, Díaz-Contreras C, Ronda-Velázquez G, Ronda-Pupo JC (2015) The role of academic collaboration in the impact of Latin-American research on management. Scientometrics 102: 1435-1454. doi:10.1007/s11192-014-1486-1

Ruiz-Torres A, Penkova S, Rodriguez CV (2012) Ranking of Business Administration Journals Published in Spanish. Academia-Rev. Latinoam. Admin. 51: 48-64. Retrieved from ://WOS:000312977600006

Rynes SL (2007) Academy of Management Journal editors’ forum on citations. Acad. Manag. J. 50: 489-490. doi:10.5465/AMJ.2007.25525538

Smith RJ (2009) Use and misuse of the reduced major axis for line-fitting. Am. J. Phys. Anthropol, 140: 476-486. doi:10.1002/ajpa.21090

Van Raan AFJ (1998) The influence of international collaboration on the impact of research results. Some simple mathematical considerations concerning the role of self-citations. Scientometrics 42: 423-428. doi:10.1007/BF02458380

Van Raan AFJ (2005) Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics 62: 133-143. doi:10.1007/s11192-005-0008-6

Van Raan AFJ (2014) Advances in bibliometric analysis: research performance assessment and science mapping. En Blockmans W, Engwall L, Weaire D (Eds.) Bibliometrics. Use and Abuse in the Review of Research Performance. Wenner-Gren International Series, Vol. 87. Portland Press. Londres, RU. pp. 17-28.

Waltman L (2017) A review of the literature on citation impact indicators. v.3. https://arxiv.org/abs/1507.02099

Waltman L, Van Eck NJ (2012) The inconsistency of the h-index. J. Am. Soc. Inf. Sci. Technol. 63: 406-415. doi:10.1002/asi.21678

Zhai L, Yan X, Shibchurn J, Song X (2014) Evolutionary analysis of international collaboration network of Chinese scholars in management research. Scientometrics 98: 1435–1454. doi:10.1007/s11192-013-1040-6

Zupic I, Cater T (2014) Bibliometric methods in management and organization. Organizat. Res. Meth. 18: 429-472. doi:10.1177/1094428114562629.