Introducción

En las últimas décadas, América Latina ha experimentado cambios profundos en su territorio rural, producto de las grandes transformaciones demográficas, sociales y productivas que agravan la pobreza y la degradación de sus recursos naturales; situación compleja que demanda de un instrumento capaz de describir la realidad del medio rural e incluya su funcionamiento y organización (Sili 2016). Esto requiere del conocimiento del estado actual de desarrollo a nivel comunidad rural, ya que son los propios habitantes quienes pueden dar cuenta de ello, pues día a día viven las carencias y necesidades de su realidad.

Diversos instrumentos evalúan la pérdida de biodiversidad, deforestación, desigualdad socioeconómica, desnutrición, acceso a la educación, salud, seguridad, infraestructura, vivienda, servicios, democracia y paz social (Araya y Gallardo, 2015; Mora-Tivera y Cerón-Monroy, 2015; Bermúdez et al., 2017; Marcelino-Aranda et al., 2017); así como la adopción de nuevas tecnologías, uso de energías renovables, generación de bienes de consumo y bienestar (Sepúlveda et al., 2005), y la evaluación de la aptitud territorial como factor clave para el desarrollo sostenible (Fuenzalida et al., 2013; Varisco, 2016); sin embargo, siguen dispersas las diversas dimensiones del nivel de desarrollo de una comunidad rural. A este respecto, diversas contribuciones han indicado que las dimensiones que integran este constructo son el desarrollo de la niñez, la calidad de vida de las personas, la seguridad territorial, la educación, la tecnología y el empleo, estas en función de los factores de disponibilidad de recursos, fiabilidad social, justicia social, oportunidades de elección, habilidades de selección y las percepciones de satisfacción y de desarrollo económico sostenible; sin embargo estas propuestas no integran los aspectos o dimensiones fundamentales (condición económica, sociocultural, ambiental, de servicios básicos e infraestructura, y de organización y gobernanza), las cuales son consideradas como esenciales para evaluar el nivel de desarrollo en el medio rural (Salas-Razo y Juárez-Hernández, 2018).

Los aportes instrumentales para evaluar el nivel de desarrollo de una comunidad rural son escasos o nulos (tabla 1). Entre los instrumentos que abordan alguna dimensión destaca el cuestionario de bienestar autorreportado (BIAIRE), el cual es un instrumento diseñado para obtener indicadores de la propia población y a la vez evaluar la dimensión sociodemográfica desde la percepción del individuo sobre su condición en el entorno (Vera et al. 2016). Aunque el BIARE representa una evaluación subjetiva, refleja en general el grado de la calidad de vida de la gente, ya que el bienestar como variable dependiente permite ubicar los factores que inciden en ella, como lo son: educación, clase social, política pública, nivel de democracia y gobernanza (Temkin y Flores-Ivich, 2017). Esto sustenta la importancia del autorreporte en el diagnóstico, planeación y diseño de políticas de desarrollo en el medio rural. Si bien los aportes reportados son escasos un aspecto fundamental son el análisis de sus propiedades psicométricas, mediante el cual se puede considerar un instrumento como científico (Kerlinger y Lee, 2002; FIDA, 2015), pues brinda evidencias válidas y confiables de sus resultados (tabla 1).

Por lo anterior, el primer objetivo del presente estudio fue construir un instrumento que supere los vacíos en materia de diagnóstico del nivel de desarrollo de una comunidad rural que integré las dimensiones pertinentes, y el segundo objetivo fue demostrar su validez de contenido y confiabilidad; esto permitirá obtener evidencias válidas y confiables (Barrera et al. 2015) que de manera objetiva describan el contexto, carencias y oportunidades de una comunidad rural desde la percepción de su sociedad (Lares y López 2004; Ibáñez y Castillo 2015; Rizo-Mustelier et al. 2017).

Metodología

Diseño y revisión de expertos

Bajo el sustento de la propuesta de desarrollo rural de Salas-Razo y Juárez- Hernández (2018), se diseñó el instrumento para evaluar el nivel de desarrollo de una comunidad rural de manera integral desde la perspectiva de sus propios habitantes. Su construcción integró las dimensiones de condición económica, sociocultural, ambiental, de servicios básicos e infraestructura, y de organización y gobernanza. Para su diseño se analizaron diferentes tipos de instrumentos y se eligió la rúbrica analítica por el nivel de especificidad que en ella está implícita y que desglosa una actividad o dimisión en diversos indicadores que describen los criterios observables para cada nivel (Mertler, 2001). Su especificidad permite efectuar un análisis detallado de cada una de las categorías o dimensiones (Mertler, 2001; Gatica-Lara y Uribarren-Berrueta, 2013)

Empleando la taxonomía socioformativa (Tobón, 2017) se crearon ítems para cada dimensión y para cada ítem se crearon cinco niveles de desarrollo con sus respectivos descriptores. Posterior a su construcción, se implementó un esquema metodológico de fases secuenciadas y vinculadas entre sí con objetivos específicos para el análisis de sus propiedades psicométricas. Con la finalidad de verificar la pertenencia y relevancia de las preguntas o ítems al fenómeno o constructo, el instrumento fue sometido a una revisión de expertos con experiencia significativa en el área de investigación, con grado académico mínimo de maestría y con experiencia en el diseño y/o validación de un instrumento de investigación (Juárez-Hernández et al., 2017) (tabla 2).

Juicio de expertos y análisis de validez de contenido

Se realizó un juicio de expertos al instrumento “Rúbrica analítica para el diagnóstico integral del nivel de desarrollo de una comunidad rural”. Este proceso es referido como la vía de mayor uso para determinar la validez de contenido (Ruiz, 2002; Escobar y Cuervo, 2008). Para la selección de expertos, se consideró el grado académico (mínimo de maestría), liderazgo reconocido en áreas del conocimiento afines a la investigación, años de experiencia en el área, experticia y publicación de artículos documentales y empíricos, diseño y validación de instrumentos de investigación (Juárez-Hernández et al., 2017; Juárez-Hernández y Tobón, 2018). Con base a estos criterios se seleccionaron 13 jueces de 6 países, incluyendo México (tabla 3). La evaluación del instrumento tuvo un enfoque cuali-cuantitativo para los criterios de claridad, relevancia y coherencia de ítems y descriptores de los niveles de desempeño. En la evaluación cualitativa los jueces podían efectuar sugerencia en extenso, así como proponer la eliminación de ítems, y para la evaluación cuantitativa los expertos evaluaron mediante una escala Likert (valor de uno a cuatro, más bajo y más alto respectivamente) los criterios descritos. Finalmente, el análisis de la evaluación cuantitativa se realizó mediante el cálculo del coeficiente de validez de contenido V de Aiken (Penfield y Giacobbi, 2004) con significancia estadística e intervalos de confianza al 90 por ciento (Bulger y Housner, 2007), considerando a un ítem/descriptor como valido cuando el valor de la V de Aiken fue superior a 0,75 (Bulger y Housner, 2007; Merino y Livia, 2009) y con un límite inferior del intervalo de confianza no menor de 0,50 (Cicchetti, 1994). Descriptores o ítems con una V menor a 0,75, o bien en el intervalo de confianza inferior a 0,50, fueron sujetos a una revisión a detalle, considerándose su eliminación o bien su mejora de acuerdo con las recomendaciones de los expertos. Se destaca que la evaluación de los expertos se sustentó en el anonimato, la iteración de estos, la retroalimentación controlada, y la heterogeneidad, aportando riqueza al análisis de una realidad tan compleja. Esto se logró con el uso de la técnica Delphi recomendada por Martínez-Carrasco et al. (2014) garantizando la opinión fidedigna de expertos.

Aplicación al grupo piloto

Una vez revisada y efectuados los cambios propuestos por los expertos, la rúbrica analítica se aplicó a un grupo piloto en la localidad de San Jerónimo Purenchécuaro, Municipio de Quiroga Michoacán, México; donde el 79,25 por ciento de la población es indígena y el 45,27 por ciento de la población hablan su propia lengua y donde el 13,85 por ciento de la población es analfabeta con un grado de escolaridad de 7,70 años de estudios. El grupo piloto estuvo conformado por 12 personas (66,7 por cien hombres y 33.3 por cien mujeres) con un promedio de edad mayor 18 años. La aplicación al grupo piloto tuvo dos objetivos, el primero fue determinar el grado de comprensión y satisfacción respecto a las instrucciones, ítems, descriptores y tiempo de resolución mediante la encuesta de satisfacción con el instrumento (CIFE, 2017); y el segundo fue determinar la confiabilidad del instrumento de manera inicial mediante el coeficiente Alfa de Cronbach (Cronbach, 1951) teniendo en cuenta los criterios de Nunnaly y Berstein (1994).

Aplicación a la muestra

Posteriormente el instrumento fue aplicado a 59 pobladores (mayores de 18 años) del Municipio de Tepalcatepec perteneciente al Estado de Michoacán (tabla 4). Para Tepalcatepec se reporta un uso de suelo Agrícola del 50,72 % y 0,80 % de zona urbana en sus alrededores y donde el 97,3 % de la población esta alfabetizada, la población presenta una proporción similar de mujeres y hombres, con un rango de edad de 15 a 59 años (60 por ciento) (INEGI, 2011). En esta aplicación se incluyó un ítem para evaluar la percepción de la muestra respecto a que si el instrumento consideraba todos los aspectos de su comunidad. Finalmente se determinó la confiabilidad del instrumento con el coeficiente alfa de Cronbach (Cronbach, 1951).

Hombres 55,94

Mayor de 18 100,00

Empleado 33,89

Agricultor 22,03

Hogar 18,64

Ejercicio Profesional 13,55

Comerciante 6,77

Estudiante 3,39

Jornalero 1,69

Primaria 45,76

Secundaria 22,04

Universidad 18,64

Preparatoria 13,55

Resultados

Se construyó la rúbrica analítica para el diagnóstico integral del nivel de desarrollo de una comunidad rural en sus dimensiones: condición económica, sociocultural, ambiental, de servicios básicos e infraestructura, y de organización y gobernanza (anexo 1).

Revisión por expertos

Los expertos señalaron aspectos a mejorar en el instrumento para algunos ítems, se recomendó reducir su tamaño o extensión, en otros casos mejorar la redacción y conjunción de frases de los descriptores evitando palabras muy técnicas. Respecto al contenido las recomendaciones fueron orientadas a unificar criterios en las variables comparables entre sí, revisar la precisión en algunos descriptores y en algunos otros ampliarlos. Respecto a las dimensiones, ítems y niveles de desempeño propuestos, la revisión demostró su pertenencia al constructo evaluado, así como la correspondencia de los ítems respecto a la dimensión; a este respecto, en ningún caso se efectuó una sugerencia de retirar o eliminar algún ítem.

Análisis de validez de contenido

En el análisis cualitativo, los jueces expertos señalaron mejoras en el instrumento relacionadas con la extensión de algunos ítems, así como la mejora en redacción. Respecto a la evaluación cuantitativa se destaca que el 99 por ciento de ítems y descriptores de los niveles de desempeño fueron validados en términos de claridad, relevancia y coherencia (V>0,75; ICI>0,50) (tabla 5). Únicamente en términos de claridad el descriptor del nivel de desempeño muy alto del ítem nivel de identidad cultural en la comunidad no fue validado (V<0,75). Este descriptor fue analizado y mejorado en su redacción, tomando en consideración las observaciones realizadas por los expertos.

Aplicación al grupo piloto

El análisis del cuestionario de satisfacción arrojó en lo general una opinión favorable respecto a la comprensión y aceptación de las instrucciones, ítems y tiempo para su resolución (tabla 6). Respecto al análisis de confiabilidad, este reveló un valor satisfactorio (alfa de Cronbach: 0,875).

Aplicación de la muestra

De la aplicación del instrumento a la muestra (Tepalcatepec, Michoacán n = 59) se obtuvo una confiabilidad optima (alfa de Cronbach: 0,898; IC 95%: 0,851 + 0,930). Del total de la muestra el 57 por ciento de los encuestados indicó que el instrumento consideraba todos los aspectos de su comunidad estaban incluidos en el instrumento, el 24 por ciento consideró que tal vez si estaban incluidos y el 19 por ciento consideró que deberían agregarse otros aspectos.

Discusión

La “rúbrica analítica para el diagnóstico integral del nivel de desarrollo de una comunidad rural” llena el vacío del conocimiento e instrumentación metodológica, pues contiene los criterios descriptivos que determinan multicontextualmente el nivel de desarrollo rural de una comunidad. La profundización efectuada en el análisis documental y la caracterización del constructo (Salas-Razo y Juárez-Hernández, 2018) permitió la clara ponderación de las dimensiones e indicadores para la conformación del instrumento.

En este orden, el instrumento fue diseñado como rúbrica analítica por las ventajas que posee sobre la rúbrica holística. A este respecto, la rúbrica holística si bien permiten un proceso de evaluación más rápido, la información que brinda no posee una especificidad respecto del nivel ponderado en cada una de las dimensiones o criterios analizados (Mertler, 2001; Gatica-Lara y Uribarren-Berrueta, 2013). De mayor profundidad se indica que las rúbricas holísticas requieren un análisis en conjunto, sin juzgar o evaluar cada componente de forma independiente. Por su parte la naturaleza descriptiva y sistemática de la rúbrica analítica es útil cuando se desea efectuar un análisis detallado de los elementos evaluados (Alcón, 2016).

La adecuada revisión, caracterización y delimitación del constructo así como el diseño y conformación del instrumento fueron verificadas en la revisión de los expertos, ya que sus contribuciones fueron específicamente referentes a cuestiones de clarificar redacción para los diferentes niveles de desempeño, sin dejar de ser valiosas las aportaciones que la experiencia significativa en el área, grado académico y experiencia en el diseño y/o validación de un instrumento de investigación, les respaldan. Esta etapa se ha denominado validez de facie y se basa en un juicio valorativo de aspectos relacionados con la relevancia y claridad de los ítems, léxico empleado, claridad de las instrucciones y organización del instrumento (Oluwatayo, 2012; Lagunes, 2017).

Para la evaluación de la validez de contenido, se empleo el procedimiento comúnmente denominado “Juicio de expertos” (Ruiz, 2002; Escobar y Cuervo, 2008). En este orden, diversos autores mencionan que el concepto de validez de contenido se refiere a la representatividad en la definición del constructo, representatividad del grupo de ítems, aspectos gramaticales de los ítems y claridad de las instrucciones (Haynes et al., 1995; Koller et al., 2017; Lagunes, 2017). Por lo tanto, demostrar la validez de un instrumento es un pilar fundamental de la investigación, pues determina contundentemente la capacidad del instrumento para poder medir la variable objetivo (Villavicencio-Caparo et al., 2016). Un factor fundamental para un adecuado análisis de validez de contenido se relaciona con la selección y número de expertos (Juárez- Hernández y Tobón 2018), así como el tipo de evaluación que se ejecuta en el juicio (Haynes et al., 1995; Kimberlin y Winterstein, 2008). Por lo anterior se buscó la participación de jueces con liderazgo internacional reconocido en esta área del conocimiento, con grados académicos de maestría y doctorado, incorporados a Universidades, Instituciones u Organismos que respaldan su experiencia y experticia, así como su experiencia en la creación y evaluación de instrumentos. De esta búsqueda y convocatoria se logró la participación de 13 jueces de seis países, denotando que el número es superior al que estipulan diversos autores (Lynn, 1986; Hyrkäs et al., 2003; Mills et al., 2012). En relación con la evaluación y el enfoque propuesto, esta adquiere mayor relevancia si se considera que fue exhaustiva, calificando de manera cualitativa y cuantitativa (Haynes et al., 1995; Kimberlin y Winterstein, 2008) las dimensiones, ítems, y descriptores. El empleo de una escala Likert fue de alta valía, permitiendo el empleo del coeficiente V de Aiken, el cual ha sido considerado como el de mayor pertinencia para el análisis de validez de contenido (Merino y Livia, 2009; Ferreira, 2016; Boluarte y Tamari, 2017; Galicia et al., 2017). Los valores obtenidos en el coeficiente V de Aiken, así como de los intervalos de confianza brindan certidumbre respecto a la validez de contenido del instrumento (Penfield y Giacobbi, 2004; Newcombe y Merino-Soto, 2006). Mediante este esquema se demostró la validez de contenido para los criterios evaluados (por ejemplo, claridad, relevancia y coherencia) y permitió de manera precisa la detección de aspectos a mejorar.

Mediante estos resultados se efectuó una clarificación de las instrucciones y adecuación de algunos términos para la población objetivo, aspectos relevantes que pueden afectar las propiedades psicométricas de un instrumento (Haynes et al., 1995; Meliá, 2001; Koller et al., 2017). El resultado de esta fase de aplicación al grupo piloto obtuvo una buena evaluación en su grado de comprensión y aceptación, satisfacción con el instrumento y tiempo para contestarlo. Respecto al análisis de confiabilidad, si bien presentó un valor óptimo (Nunnaly y Berstein, 1994; Oviedo y Campo- Arias, 2005; Juárez-Hernández, 2018), es importante precisar que el coeficiente tiene a mostrar inestabilidad en muestras pequeñas (Charter, 2003). Por lo anterior, se efectuó la ejemplificación del cálculo de los intervalos de confianza al 95 por ciento del valor obtenido bajo la propuesta de Koning y Frances (2003), presentando una variación modesta (ICI: 0,747; ICS: 0,955), destacando que el valor obtenido para el intervalo inferior se suscribe dentro del rango permisible (Nunnaly y Berstein, 1994). Lo anterior se correspondió con la aplicación a la muestra poblacional, en cual se obtuvo un valor óptimo, así como para el intervalo de confianza inferior (alfa de Cronbach: 0,989; IC 95%: 0,851 + 0,930). Bajo este argumento se señala que la aplicación del instrumento produce resultados consistentes y coherentes (Oviedo y Campo-Arias, 2005; Soriano, 2014; Villavicencio-Caparo et al., 2016), y se verifica la correlación entre ítems y representación del concepto abordado (Welch y Comer, 1998; Tavakol y Dennick, 2011). Este hecho se correspondió con la percepción de la muestra que ya más del 57 por ciento indicó que el instrumento consideraba todos los aspectos de su comunidad.

Conclusión

La búsqueda exhaustiva de instrumentos de evaluación del nivel de desarrollo de una comunidad rural dejó en evidencia este vacío, mostrando la pertinencia del diseño y validación de la “rúbrica analítica para el diagnóstico integral del nivel de desarrollo de una comunidad rural”. La multidimensionalidad del instrumento y el autorreporte robustecen el alcance de su aplicación, y el análisis de su validez de contenido y confiabilidad, le brindan los atributos suficientes para ser el instrumento óptimo de evaluación del nivel de desarrollo de una comunidad rural. La fortaleza del instrumento la sustentan el análisis documental del cual derivan las cinco dimensiones esenciales y los descriptores que definen integralmente el nivel de desarrollo de una comunidad; aunado a la calidad y experticia de expertos y jueces expertos que revisaron y evaluaron los contenidos del instrumento. La colaboración de jueces de seis países amplía el alcance del instrumento para ser utilizado más allá del territorio nacional.

Referencias

Alcón Latorre, M. 2016. “La rúbrica como instrumento de evaluación en los estudios universitarios”. Observar 10 (1): 1-15.

Araya Rosales, A., y Gallardo Altamirano, M. 2015. “El Modelo Chileno desde una ética de justicia y de igualdad de las oportunidades humanas”. POLIS, Revista Latinoamericana 14 (40): 1-16.

Barrera Ortiz, L., Carrillo González, G. M., Chaparro Díaz, L., Sánchez Herrera, B., Vargas Rosero, E., y Patricia Carreño, S. 2015. “Validez de constructo y confiabilidad del instrumento calidad de vida versión familiar en español”. Enfermería Global 14 (37): 227-238.

Bermúdez, Ch. E., Arenas, N. E., y Moreno Melo, V. 2017. “Caracterización socioeconómica y ambiental en pequeños y medianos predios ganaderos en la región del Sumapaz, Colombia”. Revista U.D.C.A Actualidad & Divulgación Científica 20 (1): 199-208.

Boluarte Carbajal, A., y Tamari K. 2017. “Validez de contenido y confiabilidad inter- observadores de escala integral calidad de vida”. Revista de Psicología 35 (2): 642- 666. https://doi.org/10.18800/psico.201702.009

Bulger, S. M., y Housner, L. D. 2007. “Modified Delphi investigation of exercise science in physical education teacher education”. Journal of Teaching in Physical Education 26 (1): 57-80. https://doi.org/10.1123/jtpe.26.1.57

Carrasco Quintero, M. R., Thompson-Chagoyan, O. C., Roldán Amaro, J. A., Guarneros Soto, N., y Chávez Villasana, A. 2010, “Validación de un instrumento para medir en zonas rurales el desarrollo en niños de 18 a 24 meses”. Revista Mexicana de Pediatría 77 (5): 199-204.

Carreón, J., García, C., Vilchis, F., Martínez, J., Sánchez, R., y Quintana, L. D. 2016. “Confiabilidad y validez de un instrumento que mide siete dimensiones de la percepción de seguridad en estudiantes de una universidad pública”. Pensando Psicología 12 (20): 65-76. https://doi.org/10.16925/pe.v12i20.1564

Charter, R. A. 2003. “A breakdown of reliability coefficients by test type and reliability method, and the clinical implications of low reliability”. The Journal of General Psychology 130 (3): 290-304. https://doi.org/10.1080/00221300309601160

Cicchetti, D. V. 1994. “Guidelines, criteria, and rules of thumb for evaluating normed and standardized assessment instruments in psychology”. Psychological Assessment 6 (4): 284-290. https://doi.org/10.1037/1040-3590.6.4.284

Corral, Y. 2009. “Validez y confiabilidad de los instrumentos de investigación para la recolección de datos”. Revista Ciencias de la Educación 19 (33): 228-247.

Cronbach, L. J. 1951. “Coefficient alpha and the internal structure of tests”. Psychometrika 16: 297-334.

Cruz García, L., Carreón Guillén, J., Hernández Valdés, J., y Rivera Varela, B. L. 2015. “Confiabilidad y validez de un instrumento que mide la dimensión sociopolítica de la calidad de vida”. Psicumex 5 (2): 79-92.

Escobar, J., y Cuervo, A. 2008. “Validez de contenido y juicio de expertos: una aproximación a su utilización”. Avances en Medición 6 (1): 27-36.

Ferreira Lafont, O. 2016. “Actitud docente y organización escolar para el desarrollo de prácticas educativas inclusivas. Caso: Institución Madre Bernarda”. Boletín Redipe 5 (11): 1-15.

FIDA. 2015. Manual de evaluación. Fondo Internacional de Desarrollo Agrícola (FIDA). Roma: Palombi & Lanci Tipografía.

Fuenzalida Díaz, M., Figueroa Sterquel, R., y Negrete Sepúlveda, J. 2013. “Evaluación de la aptitud territorial para el turismo de naturaleza y rural. Reserva de la Biosfera La Campana-Lago Peñuelas, Chile”. Estudios y Perspectivas en Turismo 22 (1): 120-137.

Galicia Alarcón, L. A., Balderrama Trapaga, J. A., y Edel Navarro, R. 2017. “Validez de contenido por juicio de expertos: propuesta de una herramienta virtual”. Apertura 9 (2): 42-53. http://dx.doi.org/10.18381/ap.v9n2.993

Galván Corral, A., Miranda Esquer, J. B., Baez Portillo, M. M., Acosta Mellado, E. I., y Murillo Félix, C. A. 2014. “Análisis de fiabilidad de un instrumento para medir la percepción del nivel de desarrollo sustentable de Navojoa, Sonora”. Revista Iberoamericana para la Investigación y el Desarrollo Educativo 12: 1-16.

Gatica-Lara, F., y Uribarren-Berrueta, T. D. N. J. (2013). “¿Cómo elaborar una rúbrica?”. Investigación en Educación Médica 2 (5): 61-65. https://doi.org/10.1016/S2007- 5057(13)72684-X

Haynes, S., Richard, D. y Kubany, E. 1995. “Content Validity in Psychological Assessment: A Functional Approach to Concepts and Methods”. Psychological Assessment 7 (3): 238- 247. https://doi.org/10.1037/1040-3590.7.3.238

Hyrkäs, K., Appelqvist-Schmidlechner, K., y Oksa, L. 2003. “Validating an instrument for clinical supervision using an expert panel”. International Journal of Nursing Studies 40 (6): 619- 625. https://doi.org/10.1016/S0020-7489(03)00036-1

Ibáñez, N., y Castillo, R. 2015. “Hacia la cuantificación del desarrollo humano sustentable”.Negotium 10 (30): 163-190.

INEGI [Instituto Nacional de Estadística y Geografía]. 2011. Principales resultados del Censo de Población y Vivienda 2010. México: INEGI.

Juárez-Hernández, L. G., Tobón, S., y Cano, A. J. 2017. “Caracterización y selección de expertos para la evaluación de un instrumento de investigación”, presentado en el II Congreso Internacional de Evaluación del Desempeño (Cuernavaca, México).

Juárez-Hernández, L. G., y Tobón, S. 2018. “Análisis de los elementos implícitos en la validación de contenido de un instrumento de investigación”. Espacios 39 (Número Especial CITED): 23-30.

Juárez-Hernández, L. G. 2018. Manual práctico de estadística básica para la investigación.Miami: Kresearch.

Kerlinger, F. N., y Lee, H. B. 2002. Investigación del Comportamiento: Métodos de Investigación en ciencias sociales. México: McGraw-Hill Interamericana.

Kimberlin, C. L., y Winterstein, A. G. 2008. “Validity and reliability of measurement instruments used in research”. American Journal of Health System Pharmacists 65 (23): 2276-2284. https://doi.org/10.2146/ajhp070364

Koller, I., Levenson, M. R., y Glück, J. 2017. “What do you think you are measuring? A mixed- methods procedure for assessing the content validity of test items and theory-based scaling”. Frontiers in Psychology 8: https://doi.org/10.3389/fpsyg.2017.00126

Koning, A. J., y Franses, P. H. 2003. “Confidence intervals for Cronbach’s alpha coefficient values”, ERIM Report Series ERS-2003-041-MKT.

Lagunes Córdoba, R. 2017. “Recomendaciones sobre los procedimientos de construcción y validación de instrumentos y escalas de medición en la psicología de la salud”. Psicología y Salud 27 (1): 5-18.

Lares Molina, O., y López Flores, M. 2004. “Metodología de diagnóstico para el Desarrollo Sustentable”. Universidad La Salle 6 (22): 27-38.

Lynn, M. R. 1986. “Determination and quantification of content validity”. Nursing Research, 35: 382-385.

Marcelino-Aranda, M., Sánchez-García, M. C., y Camacho, A. D. 2017. “Bases teórico-prácticas de un modelo de desarrollo sustentable para comunidades rurales con actividades agropecuarias”. Agricultura, Sociedad y Desarrollo 14 (1): 47-59. https://doi.org/10.22231/ asyd.v14i1.522

Martínez-Carrasco Pleite, F., Colino Sueiras, J. B., y Gómez Cruz, M. A. 2014. “Pobreza y políticas de desarrollo rural en México”. Estudios Sociales 22 (43): 09-35.

Meliá, J. L. 2001. Teoría de la Fiabilidad y la Validez. Valencia: Universidad de Valencia.

Merino Soto, C., y Livia Segovia, J. 2009. “Intervalos de confianza asimétricos para el índice la validez de contenido: un programa Visual Basic para la V de Aiken”. Anales de Psicología 25 (1): 169-171.

Mertler, C. A. (2001). “Designing scoring rubrics for your classroom”. Practical Assessment, Research & Evaluation 7 (25).

Mills, A., Butt. J., Maynard. I., y Hardwood. C. 2012. “Identifying factors perceived to influence the development of elite youth football academy players”. Journal of Sport Sciences 30 (15): 1593-1604. https://doi.org/10.1080/02640414.2012.710753

Mora-Tivera, J. J., y Cerón-Monroy, H. 2015. “Diversificación de ingresos en el sector rural y su impacto en la eficiencia: evidencia para México”. Cuadernos de Desarrollo Rural 12 (76): 57-81. https://doi.org/10.11144/Javeriana.cdr12-76.disr

Newcombe, R. G., y Merino-Soto, C. 2006. “Intervalos de confianza para las estimaciones de proporciones y las diferencias entre ellas”. Interdisciplinaria 23 (2):141-154.

Nunnally, J. C., y Bernstein, I. H. 1994. Psychometric theory. New York: McGraw-Hill

Oluwatayo, J. A. 2012. “Validity and reliability issues in educational research”. Journal ofEducational and Social Research 2 (2): 391-400. https://doi.org/10.2139/ssrn.3205040

Oviedo, H. C., y Campo-Arias, A. 2005. “Aproximación al uso del coeficiente alfa de Cronbach”. Revista Colombiana de Psiquiatría 34 (4): 572-580.

Penfield, R. D., y Giacobbi, Jr., P. R. 2004. “Applying a score confidence interval to Aiken item content-relevance index”. Measurement in Physical Education and Exercise Science 8 (4): 213-225. https://doi.org/10.1207/s15327841mpee0804_3

Rizo-Mustelier, M., Vuelta-Lorenzo, D., y Lorenzo-García, A. 2017. “Agricultura, desarrollo sostenible, medioambiente, saber campesino y universidad”. Ciencia en su PC 2: 106-120.

Ruíz, C. 2002. Instrumentos de Investigación Educativa. Procedimientos para su Diseño yValidación. Caracas: CIDEG

Salas-Razo, G. y Juárez-Hernández, L. G. 2018. “Hacia un modelo de desarrollo rural integral sustentable basado en la sociedad del conocimiento”. Espacios 39 (Número Especial CITED): 9-26.

Sepúlveda, S., Chavarría, H., y Rojas, P. 2005. Metodología para estimar el nivel de desarrollo sostenible de los territorios rurales (el biograma). San José, C.R.: Instituto Interamericano de Cooperación para la Agricultura.

Sili, M. 2016. “Un modelo para comprender la dinámica de los territorios rurales. El caso de la Argentina”. Mundo Agrario 17 (34): 1-20.

Soriano, A. M. 2014. “Diseño y validación de instrumentos de medición”. Diálogos 14: 19-40. https://doi.org/10.5377/dialogos.v0i14.2202

Sotelo L., L., Sotelo L., N., Dominguez L. S., y Padilla, T. O. 2012. “Análisis psicométrico preliminar de la escala de ansiedad manifiesta (AMAS-A) en adultos Limeños”. Revista de Psicología 14 (1): 31-46.

Tavakol, M., y Dennick, R. 2011. “Dar sentido al alfa de Cronbach”. Revista Internacional de Educación Médica 2: 53-55.

Temkin, B., y Flores-Ivich, G. 2017. “Tipos de participación política y bienestar subjetivo: un estudio mundial”. Estudios Sociológicos 35 (104): 319-341. https://doi.org/10.24201/ es.2017v35n104.1544

Tobón, S. 2017. Evaluación socioformativa. Estrategias e instrumentos. Miami: Kresearch.

Varisco, C. A. 2016. “Turismo rural: propuesta metodológica para un enfoque sistémico”. Pasos14 (1): 153-167. https://doi.org/10.25145/j.pasos.2016.14.010

Vera Noriega, J. A., Velasco Arellanes, F. J., Grubits Goncalves de Oliveira Freire, H. B., y Salazar Millán, I. G. 2016. “Parámetros de inclusión y exclusión en los extremos de la felicidad y satisfacción con la vida en México”. Acta de Investigación Psicológica 6 (2): 2395-2403. https://doi.org/10.1016/j.aipprr.2016.06.002

Villavicencio-Caparo, E., Ruiz-Garcia, V., y Cabrera-Duffaut, A. 2016. “Validacion de cuestionarios”. Revista OACTIVA UC Cuenca 1 (3): 75-80.

Welch, S., y Comer, J. 1988. Quantitative methods for public administration: techniques and applications. Virginia: Brooks/Cole.