Introducción

Podría pensarse que las organizaciones sociales son intermediarios que permiten conectar a los ciudadanos con la gestión de políticas, y que pueden promover el funcionamiento democrático supliendo algunas deficiencias que hay en las instituciones públicas (Rasmussen et al., 2014). No obstante, también puede que existan dificultades para que dichas interacciones se den de manera dinámica. Es por ello que Albareda (2018) propone analizar la estructura de las organizaciones sociales en términos de la participación de los miembros en una estructura democrática interna, así como también en la capacidad organizacional para generar, procesar y transferir la información sobre necesidades sociales de manera eficiente a los sectores de gestión política.

Entonces, una de las primeras etapas que atraviesa una organización social, es aquella que podría definirse por el establecimiento de objetivos, tanto a nivel de planificación como en la consolidación práctica. Luego, surge la necesidad de establecer cuál es el nivel de efectividad de las mismas para conocer en qué medida se cumplen las expectativas de la institución. Esto es de gran utilidad porque también se vincula estrechamente con la confirmación de la identidad y límites de lo que se realiza allí, lo cual ordena, a su vez, los roles de sus integrantes. Además, la entidad cobra mayor valor debido a que crecen las posibilidades de presentación ante otros grupos sociales (con similares objetivos o de gestión política) e instituciones de patrocinio. Es decir, que el proceso de definición resulta ser un proceso quizás arduo pero beneficioso porque permite la instalación y proyección de una organización. Para ello, es necesario atravesar un proceso de evaluación de las propias prácticas y de catalización de los resultados o impactos de las mismas.

Dicho esto, en esta ponencia se ofrece un análisis del proceso de construcción de datos obtenidos mediante un monitoreo realizado por una organización social. La Asociación Civil Haciendo Camino (ACHC)[4] tiene 12 centros de atención y durante todo el año en sus sedes de Añatuya y Monte Quemado lleva adelante un taller sobre Educación para la Salud, impartido por educadores. Está dirigido a madres que deben participar una vez por semana, como mínimo durante un ciclo completo (12 meses) y como máximo, dos. Además, para la cursada la institución editó un manual de Educación parar la Salud denominado “Manual para Agentes Sanitarios”. Cada mes se enseña una de las 12 unidades temáticas (Embarazo, Alimentación en los primeros años de vida, Desarrollo del Niño, Estimulación y Juego, Salud, Primeros Auxilios, Higiene, Economía Doméstica, El Valor de la Mujer, Derechos, Educación Sexual y Adicciones) y, en caso de ser necesario, también se considera incorporar un contenido emergente.

La evaluación de impacto realizada entre finales de 2015 y principios de 2016, fue un primer ejercicio de tipo exploratorio, que tuvo por objetivo comparar los conocimientos trabajados en el marco del taller de referencia en la población de madres participantes y en un grupo de control (comparación) de madres no participantes. Con base en las mediciones realizadas por la ACHC y confiadas al Observatorio de la Deuda Social Argentina (ODSA-UCA) se realizó el trabajo de análisis estadístico de las diferencias inter-grupo, tras lo cual se pueden identificar las dificultades y potencialidades del monitoreo realizado. No obstante, también se realizó un análisis de tipo cualitativo del proceso de construcción de los datos que ofrece enseñanzas en torno a los desafíos que supone para las organizaciones de la sociedad civil la evaluación de sus propias prácticas e impacto de sus intervenciones. En resumen, aquí se sintetizan los logros y obstáculos encontrados en este auspicioso ejercicio de monitoreo (2015-2016) de un taller de Educación para la Salud destinado a madres.

Antecedentes

La elección de las mejores herramientas de evaluación se relaciona con un tipo de abordaje seleccionado. Como no hay un conjunto estandarizado de procedimientos y técnicas para reunir información, sino que depende de los recursos y contextos, se puede optar por combinar aquellos de tipo cualitativo y aquellos de tipo cuantitativo, según las características de resultados que se necesiten en un momento puntual de la investigación. Entonces, habrá ocasiones en que será preciso conocer mediante entrevistas en profundidad diferentes enfoques de los actores de una muestra no probabilística, mientras que en otras se podrá analizar la información con análisis de tipo cuantitativo, estadístico y a mayor escala (Bamberger, 2012; Strauss y Corbin, 2002).

Aquí es conveniente definir lo que se conoce como “proceso de monitoreo”. Este es una herramienta para la gestión adminis­trativa y estratégica de una iniciativa pública, y consiste en realizar un seguimiento interno, periódico y permanente mientras se ejecuta una política, proyecto o programa. Este instrumento posibilita revisar los aspectos sustantivos y tomar decisiones con el fin de mejorar los procesos y maximizar los impactos. Si bien en general se focaliza en las actividades y los productos, también pueden utilizarse indicadores del resultado/impacto (di Virgilio y Solano, 2012; Perrin, 2012).

El relevamiento ágil y de continua medición está a cargo de miembros de la institución. Por eso, en general se prefieren los datos cuantitativos, aunque no se descartan por completo los cualitativos. Además, los resultados arrojados por el monitoreo son primordialmente de socialización interna entre los directivos y el personal, fundamentalmente para establecer si el proyecto está implementándose según lo previsto (qué servicio está siendo ofrecido realmente, con qué calidad, cuál es la población beneficiaria, entre otros). De ello también resulta que el proceso de monitoreo pueda ser pensado como un sistema de detección temprana de efectos negativos o inesperados, lo cual permite reevaluar las estrategias mientras el proyecto se encuentra en marcha. Además, permite obtener indicios sobre los temas que deberían ser estudiados con evaluaciones de mayor profundidad. Otro objetivo no menor de los monitoreos es que con un rápido resumen de la información pueden realizarse informes dirigidos a organismos externos de control o de financiamiento (di Virgilio y Solano, 2012; Perrin, 2012).

Los aspectos recién mencionados del monitoreo son sus potencialidades, pero también tienen relativas limitaciones. En primer lugar, supone como adecuados los objetivos e indicadores previamente establecidos, sobre los cuales se hace un seguimiento meramente descriptivo (no causal). Es decir, que es insuficiente para arribar a conclusiones fundamentadas sobre los motivos por los que han ocurrido o no los cambios esperados, entonces no se puede establecer si se debe a la intervención o a factores ajenos. Además, no es extraño que no se puedan identificar los efectos indeseados u otras falencias (Perrin, 2012).

En resumen, investigaciones previas sugieren que las organizaciones sociales deben contar con herramientas propias de relevamiento de los resultados de sus prácticas de forma periódica y sintética para ponderar las estrategias y recursos realmente puestos en juego y, eventualmente, modificarlos para que se cumplan las metas pactadas. Esto también permite lograr mayor consistencia de los programas en vista a la delimitación/redefinición de roles, metas y límites institucionales y visibilidad al momento de recurrir a patrocinio o vínculos gubernamentales, entre otros. Una vez que el programa tiene cierta trayectoria y hay posibilidad de reevaluar o expandir las metas, es momento de recurrir a una evaluación de impacto, más extensa, elaborada por una entidad externa que no esté involucrada directamente en los procesos.

Aspectos Metodológicos

Relevamiento (Asociación Civil Haciendo Camino) y análisis (ODSA-UCA)

En el marco del programa “Desarrollo Infantil en Familia” la ACHC lleva adelante un taller sobre Educación para la Salud dirigido a madres de niños/as pequeños/as. Para monitorear los resultados la organización configuró un cuestionario que contiene entre 3 y 9 preguntas correspondientes a cada tema del “Manual para Agentes Sanitarios”, también elaborado por la ACHC. El trabajo de campo se realizó entre noviembre 2015 y enero 2016, con 40 madres del “Programa Nutrición” que asistieron al taller de Educación para la Salud una vez por semana. Por otra parte, también se tomó la evaluación a 40 madres que no tenían contacto con la organización, cuyas voluntarias se aceraron a sus casas para hacer el relevamiento. Ambos grupos viven en las ciudades de Añatuya y Monte Quemado de Santiago del Estero (Argentina). Cabe mencionar que el cuestionario aquí analizado actualmente se encuentra en revisión por parte de la institución.

Con las respuestas obtenidas la organización conformó una matriz de datos, en la cual registraron las verbalizaciones de las mujeres con una evaluación numérica positiva o nula según si abordaban o no los contenidos enseñados en el taller. Además, hubo casos en que podía haber más de una respuesta posible (múltiple opción). Con estos datos desde el Observatorio de la Deuda Social Argentina se realizó un análisis estadístico y uno semántico, tras lo cual pudieron identificarse logros y obstáculos que la organización tuvo en el proceso de monitoreo y que son el foco en este trabajo.

Figura 1.
Características de las muestras

elaboración propia (ODSA-UCA) en base a las matrices de datos construidas por la Asociación Civil Haciendo Camino.

	Grupo experimental	Grupo control
Cantidad de embarazadas	Ninguna.	5 mujeres, de las cuales 3 son primerizas.
Cantidad de hijos/as	Rango: de 1 a 9 hijos/as. En promedio tienen 3 hijos/as, la mitad de las madres tiene 3 hijos/as o menos, y el número de hijos/as que más se repite es 1.	Rango: de 1 a 13 hijos/as. En promedio tienen 3 hijos. La mitad de ellas tiene 2 hijos/as o menos, y el número de hijos/as que se repite con mayor frecuencia es 1.
Cantidad de semanas de asistencia al taller	En promedio las madres asistieron 32 semanas y media. Como mínimo asistieron 3 semanas, y como máximo 72.	Ninguna.
Nivel educativo	No hay datos.	Ninguna terminó el secundario. El 42,5% no termino la primaria, otra proporción de igual magnitud sí lo hizo. Hay igual porcentaje (5%) entre madres que no fueron a la escuela, que no terminaron el secundario y que lo están haciendo.
Edad	La madre más joven tiene 15 años y la más grande 39 años. En promedio tienen 25 años, con una variación del 23%.	La madre más joven tiene 13 años y la más grande 57 años. En promedio tienen 30 años, con una variación del 39%.
Edad de los hijos/as	Entre 1 mes y 5 años.	Entre 2 meses y 42 años.

Resultados y Discusión

Sobre las muestras

Cuando se busca encontrar el nivel de efectividad de una propuesta pedagógica mediante una comparación inter-grupo, una parte fundamental es lograr conformar muestras con condiciones sociodemográficas similares, con la única diferencia significativa de haber recibido instrucción. Así, se pretende poder descartar que el conocimiento en la materia se deba a, por ejemplo, haber concurrido a un programa similar o a haber conformado los aprendizajes por ya haber transitado determinada etapa etaria, entre otros (León y Montero, 2003).

No obstante, al observar las características de los grupos aquí estudiados (Figura 1) se distingue no solo que hay disparidades entre ellos, sino también al interior de los mismos en cuanto al nivel educativo, el ciclo vital y el momento por el que estaban transitando en el proceso de maternaje (cantidad de hijos/as y edad de estos/as) cuando fueron evaluadas. Por lo tanto, una advertencia importante es que estas variables pueden estar teniendo un efecto sobre el conocimiento en prácticas de Educación y Salud que tengan las mujeres evaluadas. Una forma de subsanar la dificultad de que las muestras no son homogéneas, que es de las más frecuentes en la investigación en Ciencias Sociales, es recurrir al análisis de regresión, mediante el cual es posible conocer las diferencias en el fenómeno estudiado para una población concreta, manteniendo constantes una multiplicidad de variables (García Ferrando, 1989). Específicamente con la regresión lineal simple se evalúa la correlación entre variables cuantitativas, donde una de ellas se considera como dependiente y la otra como independiente (López-Roldán y Fachelli, 2015; Montgomery et al., 2021).

Sobre el marco lógico y la construcción del instrumento de evaluación

Cualquiera sea la política o programa que se quiera poner en marcha, en su fase de diseño debe estar contemplado su vínculo con el entorno, la motivación que fundamenta su razón de ser, lo cual lleva a planteos y toma de decisiones nada sencillas. Una de las formas que existen para ordenar las ideas es recurrir al marco lógico, que es una guía que vehiculiza el proceso de conceptualización, diseño, ejecución y evaluación de proyectos. Su armado se centra en establecer los objetivos perseguidos en una población beneficiaria determinada y en favorecer la claridad en la comunicación entre los actores participantes. Su utilidad reside en ser una herramienta para resolver tres problemas: diseño de proyectos poco definidos, fracaso en la ejecución del proyecto y opacidad en las responsabilidades de quien tiene el mando, objetivos difusos y falta de establecimiento de criterios evaluativos para comparar lo realizado con lo esperado (Crespo Alambarrio, 2015; Ortegón et al., 2005; Sánchez, 2007).

El marco lógico consiste en sintetizar la estructura del proyecto en un solo cuadro, que es el soporte de las tareas de ejecución, monitoreo y evaluación. Además, este formato incluye terminología específica para reducir las ambigüedades, y posibilita llegar a acuerdos acerca de los objetivos y riesgos del proyecto, con lo cual se promueve la gestión y la calidad de las propuestas. En la primera etapa, de identificación del problema y de las alternativas de solución, se realiza un estudio de los involucrados, se analiza el problema real (no los potenciales) que afecta al colectivo, se plantean los objetivos (medios y fines), y se identifican las acciones alternativas de solución. También se elabora la estructura analítica del proyecto. En una segunda etapa se construye la matriz del marco lógico, que es la planificación (Crespo Alambarrio, 2015; Ortegón et al., 2005; Sánchez, 2007).

Entonces, cuando se quiere hacer un monitoreo del proyecto, se debe utilizar un instrumento conformado de forma tal que se cubran los contenidos enseñados en el contexto del taller, el cual debe estar alineado con el marco lógico de la institución. Además, sus ítems tienen que ser fiables y válidos y las opciones de respuesta deben ser exhaustivas, excluyentes y precisas (Cea D’Ancona, 1996; Hernández Sampieri et al., 2014).

Seguidamente, se presenta el conjunto de dimensiones incluidos en el cuestionario de la organización aquí citada.

Figura 2.
Definiciones operacionales de las dimensiones evaluadas

elaboración propia (ODSA-UCA) en base a las matrices de datos construidas por ACHC y al “Manual para Agentes Sanitarios”, redactado por la institución.

Unidad	Contenido a evaluar	Respuesta correcta
Embarazo	1) Identificación de la duración del embarazo.	37- 40 semanas. (No se considera válido su equivalente en meses).
	2) Identificación del primer signo de embarazo.	Se interrumpe el ciclo menstrual.
	3) Identificación de los cambios en el cuerpo durante el embarazo.	Debe incluir al menos 3 de los siguientes cambios: crecimiento de pechos, aumento de peso, sueño en los primeros meses, y aumento de apetito.
	4) Identificación de los cuidados especiales a tener en cuenta durante el embarazo.	Debe incluir al menos 3 de los siguientes recaudos: no consumir sustancias adictivas, no hacer esfuerzos, realizar los controles médicos, comer equilibradamente, y evitar situaciones de estrés.
	5) Alimentos especialmente indicados para transitar el embarazo.	Debe incluir al menos uno de los siguientes alimentos: leche o carne.
Alimentación del niño/a	6) Identificación de la edad en la que el bebé debe probar sólidos.	A los 6 meses.
	7) Beneficios de la lactancia.	Previene enfermedades, genera un vínculo entre el bebé y la madre, y la leche materna tiene todos los nutrientes que necesita el niño/a.
	8) Beneficios de la lactancia para la madre.	Al menos identifica una de las siguientes: ayuda a que la madre baje de peso, es gratis, es limpio, la leche está a temperatura ideal para el bebé, es fácil de preparar/llevar, previene enfermedades en la mujer (cáncer de mamas, entre otras), o fomenta la unión.
	9) Reacción ante el rechazo del niño/a a comer.	Se debe insistir en que coma.
	10) Contraindicaciones sobre comer golosinas durante la infancia.	Al menos se debe que indicar que hay mayores probabilidades de que les salgan caries. También puede incluir que les quita el apetito, y que no son saludables.
Desarrollo del niño/a	11) Identificación de la edad en la que el niño/a puede sentarse solo.	A los 6 meses.
	12) Identificación de la edad en la que el niño/a puede pararse solo.	Entre los 10-12 meses.
	13) Estrategias para ayudar al niño/a a aprender a hablar.	Debe hacer referencia a hablarle, cantarle o leerle.
	14) Utilidad de poner límites a la conducta del niño/a.	Es para cuidarlo y para educarlo. Se debe enseñar que hay conductas que no son las adecuadas, y que debe aprender a respetar al prójimo.
Estimulación y juego	15) Identificación del período de desarrollo más importante de un niño.	Los 1000 días, desde el embarazo hasta los 2 años, desde el nacimiento hasta los 5 años, o los primeros años.
	16) Identificación de las funciones del cerebro.	El cerebro sirve para pensar, aprender, y hacer todas las actividades humanas.
	17) Identificación de lo que necesita el cerebro para formarse saludablemente.	Debe hacer referencia a la nutrición saludable, y también puede incluir la estimulación.
	18) Identificación de la importancia de jugar en conjunto con el niño/a.	Debe mencionar que se fomenta el vínculo interpersonal, que es una ocasión para promover el aprendizaje y el desarrollo del cerebro.
	19) Identificación de la importancia de dibujar para el niño/a.	El dibujo les permite expresar los sentimientos y lo que les ocurre. Además, desarrollan la motricidad fina.
	20) Identificación de la importancia de contarle cuentos al niño/a.	Es una actividad para fomentar el vínculo, el aprendizaje de vocabulario y el desarrollo de la imaginación.
Salud	21) Vías de contagio del mal de Chagas.	Lo transmite la vinchuca.
	22) Estrategias de prevención del mal de Chagas.	Para erradicar la vinchuca hay que fumigar, pintar las paredes, limpiar la casa corriendo los muebles y no tener animales en las habitaciones.
	23) Vías de contagio del dengue.	Mediante la picadura del mosquito del dengue.
	24) Síntomas aparejados al dengue.	Fiebre alta, y puede incluir dolor muscular.
	25) Estrategias de prevención del dengue.	No se deben acumular recipientes con agua estancada al aire libre. También se debería exterminar el mosquito.
	26) Evaluación positiva de la lactancia mientras el niño/a tiene diarrea.	Se identifica como saludable continuar dando leche materna mientras el niño/a tiene diarrea.
	27) Método de prevención de la diarrea del niño/a en verano.	El niño/a debe consumir agua potable.
	28) Tratamiento del niño/a con diarrea.	Debe mencionar la ingesta de algún tipo de líquido.
	29) Identificación de la importancia de la consulta médica pediátrica obligatoria, aun en ausencia de enfermedad.	Se explicita que incluso sin enfermedad el niño/a debe hacer las revisiones médicas de rutina.
Primeros auxilios	30) Conocimiento sobre el procedimiento a realizar ante una herida que sangra.	Se debe frenar la hemorragia.
	31) Conocimiento sobre el procedimiento a seguir si el niño/a se golpea y le queda una contusión.	Hay que colocarle hielo.
	32) Conocimiento sobre el procedimiento a seguir si el niño/a se quema con agua hirviendo.	Hay que lavar la piel con agua fría.
	33) Conocimiento sobre el procedimiento a seguir para prevenir las convulsiones de un niño/a con fiebre.	Hay que bajarle la temperatura.
	34) Conocimiento sobre el procedimiento a seguir si el niño/a tiene convulsiones.	Hay que llevarlo al médico y hay que evitar que se golpee.
	35) Identificación del procedimiento a seguir ante un accidente de moto en que una persona queda herida.	Hay que llamar al equipo adecuado (bomberos, ambulancia, enfermería). Hay que dejarlo a cargo de especialistas.
	36) Identificación del procedimiento a seguir si un niño/a se ahoga con un juguete.	Hay que presionarle la panza hasta que expulse el objeto.
Higiene	37) Método para desinfectar la cocina.	Se debe hacer limpieza con lavandina.
	38) Identificación de los momentos clave en que las manos deben estar higienizadas obligatoriamente.	Antes de cocinar, antes de comer y después de ir al baño.
	39) Motivos por los cuales es importante mantener la limpieza de las manos.	Las manos deben estar limpias para prevenir enfermedades.
	40) Tipos de alimentos que es preciso conservar en la heladera.	Al menos debe mencionar uno de los siguientes: lácteos abiertos, carne y comida cocinada.
	41) Lugar donde deben dormir las mascotas para propiciar la limpieza de la casa.	Las mascotas deben dormir afuera de la casa.
	42) Ubicación de distintos hábitos de higiene que deben aprender los niños/as.	Al menos se debe reconocer uno de los siguientes hábitos: deben cepillarse los dientes, bañarse, lavarse las manos, e higienizarse luego de ir al baño.
	43) Monitoreo sobre la incompatibilidad entre la lavandina y el detergente.	La lavandina y el detergente no deben ser aplicados al mismo tiempo para evitar intoxicaciones.
Economía doméstica	44) Selección de los gastos centrales a pagar.	Al menos debe mencionar uno de los siguientes: comida, ropa, salud, limpieza, y pago de impuestos.
	45) Importancia de tener noción del monto de ingresos fijos.	Hay que conocer la cantidad de dinero total de la que se dispone para no gastar demás ni comprometerse con más de lo que se cobra.
	46) Importancia de la práctica del ahorro.	Tener ahorros sirve para progresar o para poder cubrir gastos por imprevistos.
El valor de la mujer	47) Miembros que deben tomar las decisiones importantes en una familia nuclear.	La pareja.
	48) Identificación de la independencia femenina para tomar decisiones por sí misma.	El hombre de la pareja no debe tomar decisiones que le atañen a la mujer.
	49) Libertad sobre prácticas sexuales.	La mujer tiene derecho a tener relaciones sexuales solo si así lo quiere, y no tiene la obligación de acceder aun cuando sea su pareja quien unilateralmente lo desee.
Derechos	50) Noción sobre derechos del niño.	Debe mencionar al menos 3 de los siguientes: educación, salud, identidad, juego, alimentación, ser escuchado, ser criado por sus padres, elegir religión, acceder a la cultura, no ser discriminado/a, no ser maltratado/a, no trabajar, no ser explotado/a sexualmente.
	51) Tipos de maltrato infantil.	Debe mencionar al menos uno: mediante la violencia física, el maltrato psicológico, el abuso, la negligencia o el abandono.
	52) Juicio sobre utilizar los golpes como método de reprensión.	No se les debe pegar a los niños/a por más que no se estén comportando adecuadamente.
	53) Tipos de violencia contra la mujer.	Como mínimo debe reconocer uno de los siguientes: violencia física, psicológica, sexual y económica.
	54) Conocimiento sobre el procedimiento que debe seguir una mujer que sufre violencia.	Debe pedir ayuda, protegerse, irse del hogar definitivamente, no someterse al agresor.
	55) Identificación del efecto negativo que causa la violencia intrafamiliar en los niños/as.	El problema es que naturalizan ese modo de vincularse y de actuar ante los conflictos.
Educación sexual	56) Motivo del período menstrual.	Debe hacer referencia a que el cuerpo se había preparado para gestar.
	57) Identificación del período de fertilidad de la mujer.	La mujer no puede quedar embarazada cualquier día del mes.
	58) Identificación del origen del embarazo.	Mediante relaciones sexuales, en los días fértiles, o cuando se une un óvulo con un espermatozoide.
	59) Tipos de métodos anticonceptivos.	Pastillas anticonceptivas, diu, método natural, preservativo, coitus interruptus, o inyección anticonceptiva.
	60) Utilidad de la planificación familiar.	Debe referir a tener hijos/as únicamente debido al deseo y a la posibilidad de poder criar.
	61) Conversaciones sobre sexualidad con niños/as.	Se puede hablar con los niños/as sobre aspectos relacionados con la sexualidad antes de que lleguen a la adolescencia.
Adicciones	62) Definición de “adicto”.	Es una persona que no puede dejar de hacer algo.
	63) Contraindicación de tomar alcohol, consumir drogas o fumar cigarrillos durante el embarazo.	La mujer no debe tomar alcohol, consumir drogas o fumar tabaco durante el embarazo porque le hace daño al bebé.
	64) Métodos de prevención de adicción a las drogas en niños/as.	Los niños/as deben recibir educación, y se puede hablar sobre el tema de adicciones. También se puede controlar lo que hacen y poner límites.

Con respecto a la configuración del cuestionario, podrían hacerse algunos señalamientos. Al momento de tomar la evaluación se realizan preguntas abiertas, es decir, sin ofrecer categorías de respuesta. Entonces, como observación general, podría decirse que es conveniente que el instrumento sea, en su mayoría, estandarizado. De esta manera, se reducen los sesgos del entrevistador, así como también se facilita el proceso de codificación y corrección de respuestas, asuntos abordados en apartados siguientes de este trabajo. No obstante, desde un enfoque cualitativo podrían incluirse unas pocas preguntas abiertas sobre, por ejemplo, los motivos de inasistencias y abandono al taller, sobre la calidad de atención por parte del personal de la institución, o sobre la utilidad de la información recibida allí, entre otros aspectos importantes y aún no sondeados que hacen a que la población beneficiara desee permanecer en la propuesta.

Además, es conveniente que el cuestionario sea más breve y aborde la unidad temática enseñada en el corriente mes. Esto implicaría menor tiempo de administración, así como también sería esperable que las madres sepan responder mejor por disminuir el lapso entre que se enseñó el contenido en el taller y que se evaluaron los contenidos. Asimismo, como las mujeres pueden incorporarse en cualquier momento del año, es lógico que las recién ingresadas tengan más errores en los temas abordados previo a su llegada. Podría pensarse que metodológicamente sería una ventaja mantener todos los ítems a fines de comparar los conocimientos de las participantes recientes y las que están hace más tiempo, bajo el supuesto de que estas últimas deberían rendir mejor. No obstante, este ejercicio puede realizarse con un grupo control, tal como fue hecho en el relevamiento 2015-2016.

Por otra parte, en el Ítem 15 la respuesta esperada no está bien definida teóricamente ya que se superponen los períodos. Una manera de interrogar sobre la sección del Manual para Educadores de ACHC que aborda el tema de las primeras etapas de desarrollo del niño, es preguntar sobre los cambios esperables en las ventanas de tiempo en meses allí establecidas, que explican la secuencia de algunos de los aprendizajes en socialización y motricidad. Por último, el cuestionario no cuenta con ítems sobre temáticas relevantes incluidas en manual, como la de Abuso Infantil.

Sobre el registro de datos

Uno de los problemas que fueron identificados en la matriz de datos fue que hay información faltante. A raíz de ello, no es posible conocer si las madres del grupo experimental y el de control son equiparables en términos de nivel educativo, cuestión importante no solo por lo procedimental (ver el apartado “Sobre las muestras”) sino también por el objetivo que tiene la organización de dimensionar esta característica de la población para evaluar sus pedagogías. Por otra parte, la edad de los hijos/as solo puede ser situada en rangos (ver Figura 1) y no se puede hacer un análisis preciso estableciendo, por ejemplo, los conocimientos que puedan tener las madres en relación a la etapa de crianza que están atravesando.

Una parte importante del relevamiento es el proceso de codificación de las respuestas. Esto es, que se genera un código biunívoco entre una respuesta y un número, el cual se sostiene de esta misma manera en todos los casos (Barriga et al., 2005; González Gil y Cano Arana, 2010; Hernández Sampieri et al., 2014). La variabilidad en la codificación es un segundo problema encontrado. Por ejemplo, en el caso del grupo experimental en la Pregunta 26 (Figura 2) el código del registro es 0 y 1, mientras que en la del grupo control es 0 y P. En otros casos, mientras en la base del grupo experimental un ítem se puntuó como correcto/incorrecto, en la del grupo control el formato era de múltiple opción (preguntas 42, 50, 51).

Otra dificultad encontrada fue la de las inconsistencias. A veces no concuerdan los datos entre la cantidad de hijos/as y sus nombres o edades. Esto es posible que se deba a que se registraron únicamente los datos de aquellos/as que viven con la madre. Las diferencias entre la cantidad de hijos/as anotados y los datos consignados por cada uno en la base de madres participantes también puede deberse a que se haya anotado solo el nombre de aquellos/as menores a 5 años.

Además, entre los dos relevamientos hay diferencias en la valoración de las respuestas para una misma pregunta, no es claro el criterio de asignación de puntaje. En algunos casos se consideró la respuesta exacta como la única correcta, aunque las alternativas fueran igualmente válidas. Por ejemplo, en la Pregunta 1, sobre la duración del embarazo, no se considera como correcto si la encuestada responde con la unidad de tiempo en meses, en vez de en semanas. Asimismo, ante argumentos similares en ocasiones se corrige de manera dispar. Este es el caso de la Pregunta 8, para la cual se acepta como válido que el amamantamiento promueve la unión madre-bebé. No obstante, mientras en algunos casos se puntuó como positivo afirmar que se transmite amor, en otros se asignaron 0 puntos.

La Figura 3 muestra las respuestas dadas (sin distinguir a las calificadas como correctas de las incorrectas) y, a mayor tamaño, más cantidad de veces fueron mencionadas por madres. Tras analizar los registros de respuestas, se observó que en ocasiones mientras en el grupo experimental se corrigió como correcta una respuesta, en el grupo control no. Esto ocurrió en, por ejemplo, algunos casos de “Amor, protección y contacto”. Además, si bien era considerada como una de las respuestas correctas que el amamantamiento es higiénico (ver Figura3.5), en el grupo control el argumento “Es más limpio que darle leche” fue considerado como incorrecto. Además, en ambos grupos hay madres que hicieron referencia a que amamantar les daba felicidad o seguridad, pero no fue considerado como correcto por más que sean factores positivos para ellas y que probablemente sea un sentimiento que favorece el vínculo madre-hijo/a (Figura 3).

Figura 3.
Ejemplo de dificultades en la asignación de puntaje. ¿Por qué es bueno para la madre darle la teta al bebé?
elaboración propia (ODSA-UCA) en base a las matrices de datos construidas por la Asociación Civil Haciendo Camino.

Por otra parte, en ocasiones la respuesta esperada no es suficientemente justificada. Por ejemplo, la Pregunta 9 hace referencia al rechazo del niño/a a comer, cuya respuesta correcta es “insistir” y las siguientes fueron valoradas como incorrectas: “Trataría de cambiarla, de buscar lo que le gusta”; “Que coma otra cosa”; “La dejaría, en algún momento cuando tenga hambre va a comer”. En otro caso, el criterio de evaluación en la Pregunta 63. “¿Por qué una mujer no puede consumir alcohol, drogas ni cigarrillos en el embarazo?” hubo un solo caso valorado como incorrecto porque respondió “Lo consume todo el hijo”, y la respuesta correcta es que le hace daño al bebé (ver Figura 2).

También al considerar la pregunta 62, sobre la definición de “adicto”, cuya respuesta es “Persona que no puede dejar de hacer algo” (sic). En este caso, es inexacta la definición, ya que no establece el aspecto nocivo de la adicción para el sujeto.

Figura 4.
¿Qué es un adicto? Respuestas evaluadas como correctas

elaboración propia (ODSA-UCA) en base a las verbalizaciones plasmadas en las bases de datos elaboradas por Haciendo Camino para el grupo experimental y control.

Grupo control

Cuando te acostumbrás a fumar o tomar, y después no lo podés dejar.

Alguien que hace lo mismo siempre, no puede dejarlo. Siempre necesita eso.

Grupo experimental

Adicto al cigarrillo, al alcohol, a la droga. Si no tiene ese algo es como que le falta el aire, si prueba eso se calma.

Persona que está entregada a la droga o el alcohol.

Cuando una persona depende de algo para ser feliz, como el adicto a las drogas, al alcohol, cigarro, juegos.

Adicto al cigarrillo, a la bebida. Que sin eso que consume no puede estar.

Una persona que no puede vivir sin esa cosa, droga alcohol, jugar cartas, cualquier vicio.

Alguien que no se puede controlar de hacer algo.

Una persona que probó algo y no puede vivir sin eso.

Cuando una persona se acostumbra a algo (alcohol, drogas, cigarrillos, cartas, comida), y después no lo puede dejar.

Resultados globales de la evaluación

Ya hechas todas las observaciones sobre el proceso de codificación que se llevó adelante, seguidamente se presentan los resultados estadísticos de la evaluación. En la Figura 5 se observa que el grupo experimental respondió mejor que el de control, ya que lo supera por 8 p.p. y esta diferencia es estadísticamente significativa (p-valor = 0,00).

Figura 5.
Informe sobre el puntaje relativo global según condición de asistencia al centro

elaboración propia (ODSA-UCA) en base a las matrices de datos construidas por la ACHC.

	Media	Desv. Desviación	Sig.
No asistió	59%	0,10	0,00
Asistió	67%	0,13
Total	63%	0,12

Además, dado que hay disparidades en las muestras en factores sociodemográficos relevantes, es conveniente recurrir a un análisis de regresión para evaluar el rendimiento en el cuestionario manteniendo controladas las variables que pueden estar incidiendo en el resultado, que son la condición de participación en el taller, la edad de la madre y la cantidad de hijos/as. Es decir, mediante un modelo de regresión lineal se puede establecer la correlación entre las variables de resultados y la implementación del programa, controlando por el factor de edad de la madre y el de cantidad de hijos/as. Se busca evaluar si estos dos tienen peso explicativo en el porcentaje de respuestas correctas, independientemente del efecto que pueda tener en ello participar en el programa. Entonces, para cada una de las 12 dimensiones evaluadas, se estimó el siguiente modelo:

formula

donde es el porcentaje de respuestas correctas de cada madre para cada una de las dimensiones; es la constante, el valor que adquiere cuando la variable independiente es igual a 0; Programa es un factor que hace referencia a la participación en el taller de Educación para la Salud, que toma valor 0 si no asistió y 1 si asistió; Edad de la Madre considera el gradiente de edad de la mujer en años cumplidos; Cantidad de Hijos/as considera el número de hijos/as total que tiene cada una de ellas, sin importar si viven o no en el mismo hogar; y es el error, asociado a variables perturbadoras, que al no ser conocidas no pueden ser incluidas en el diseño con otra función, pero que igualmente tienen un efecto en una proporción de la variabilidad.

Figura 6.
Modelo de regresión lineal para cada unidad temática, controlando por condición de asistencia, edad de la madre y cantidad de hijos/as

Resultados en coeficientes beta no estandarizado para las unidades temáticas seleccionadas.

Madres participantes y no participantes al taller de Educación para la Salud, de Haciendo Camino.

Añatuya y Monte Quemado, Santiago del Estero, Argentina. Relevamiento 2015-2016.

elaboración propia (ODSA-UCA) en base a las matrices de datos construidas por la Asociación Civil Haciendo Camino.

Unidades temáticas	Condición de asistencia © Grupo control	Edad de la madre	Cantidad de hijos/as	Constante
Embarazo	0.145**	0.000	0.018	0.390***
Alimentación del Niño/a	0.289***	0.000	0.017	0.527***
Estimulación y Juego	0.194***	0.001	0.012	0.284***
Salud	0.141***	0.009***	-0.004	0.293***
Economía Doméstica	0.131**	0.003	0.016	0.518***
Derechos	0.100**	-0.000	-0.005	0.741***
Educación Sexual	0.108**	0.004	-0.005	0.336***
Adicciones	0.070*	-0.001	0.015	0.611***
© Categoría de comparación.
Significatividad: *** p<0.01; ** p<0.05; * p<0.1

Con esta técnica se obtuvo que aquellas dimensiones con diferencias estadísticamente significativas para la condición de asistencia entre el grupo experimental y el grupo control son Embarazo, Alimentación del niño/a, Estimulación y Juego, Derechos, Educación Sexual y Adicciones. Si bien estos resultados deberían ser relativizados teniendo en cuenta el análisis presentado en los apartados anteriores, puede observarse en la Figura 6 que de los tres factores incluidos el que mayor peso explicativo introduce en todos los casos es el de haber participado en el taller de Educación para la Salud. Así, en la dimensión de Alimentación del Niño/a el grupo de madres que concurrió tiene en promedio 29 p.p. más que aquellas que no lo hicieron, mientras que en Adicciones las superan por 7 p.p. Además, en Salud rindieron mejor por 14 p.p., pero aquí la edad de la madre también tuvo una pequeña incidencia: el grupo experimental superó al control por 0,9 p.p., manteniendo constantes la condición de asistencia y la cantidad de hijos/as.

Conclusiones

Este trabajo se enmarca en los estudios sobre los recursos con que cuentan las organizaciones sociales para evaluar autónomamente los resultados de sus prácticas. A modo de ejemplo, se realizó un análisis de un ejercicio de monitoreo de tipo exploratorio que llevó adelante la Asociación Civil Haciendo Camino sobre un taller de Educación para la Salud entre 2015 y 2016. La ACHC implementa un taller, cuyo ciclo es de 12 meses y está dirigido a madres en Santiago del Estero. La evaluación se realizó considerando un grupo experimental y uno de control, lo cual fue correcto y más robusto que una comparación ex- ante y ex –post del grupo de participantes (León y Montero, 2003). En vistas a lo obtenido, queda de manifiesto que dicha evaluación mantiene coherencia con lo que se entiende como el marco lógico de la institución, que ordena sus actividades y roles. También se infiere que para un mayor crecimiento institucional sería conveniente considerar dos aspectos: por un lado, que el grupo experimental y el de control deben tener características sociodemográficas muy similares y que la diferencia entre uno y otro debe ser la condición de participación en el programa. Por el otro, se deberían realizar cambios en las herramientas recolección y registro de la información, y así obtener provecho de todo su potencial.

Uno de los problemas que se identificó fue el proceso de selección de las participantes del grupo control cuyo promedio de edad era mayor al del grupo experimental, y por ende se puede inferir una diferente experiencia en el maternaje. Es decir, podría inferirse que en este caso la disparidad de edades podría haber beneficiado al grupo control porque eran mayores y por ende más experimentadas. Igualmente, del análisis se desprende que las madres participantes aprobaron, en promedio, una mayor proporción de las dimensiones evaluadas que el grupo que no participaron del taller; las primeras (67%) superan a las segundas (59%) en 8 p.p. y dicha diferencia es estadísticamente significativa.

Luego de confirmar estas dificultades del registro y evaluación mediante un análisis semántico del contenido de las respuestas dadas por los subgrupos de madres a ítems seleccionados, teniendo en cuenta los tiempos necesarios para la ejecución de un relevamiento, así como también los que se precisan para que asienten los aprendizajes, y que las madres pueden incorporarse o abandonar en cualquier momento, se sugiere monitorear los resultados con una mayor periodicidad. Por ejemplo, una vez por mes se puede tomar una breve evaluación sobre la unidad temática abordada, con un cuestionario altamente estandarizado que facilite tanto la administración como el análisis rápido, incluyendo todos los datos sociodemográficos de los participantes (nombre, apellido, edad, nivel educativo, cantidad de hijos, edad de cada hijo, cantidad de semanas de asistencia al taller) que pueden ser claves para describir a las poblaciones y comprender los resultados. También pueden incluirse pocas preguntas que no estén codificadas de antemano como para evaluar, por ejemplo, aspectos cualitativos de la puesta en marcha del taller que permitan sondear si las estrategias pedagógicas son las más indicadas o si deberían modificarlas, o si hay algún problema que en general presentan las madres para asistir con regularidad que podría ser solucionado por la institución, entre otros.

En definitiva, un instrumento sintético de relevamiento de datos sobre los contenidos a ser aprehendidos por las madres participantes al taller de Educación para la Salud de ACHC son una buena herramienta de monitoreo autónomo de resultados de las prácticas, a ser obtenidos en un corto período de tiempo. Además, eventualmente pueden ser utilizadas para evaluaciones de impacto extensas realizadas por un organismo externo, dedicado a ello.

Referencias bibliográficas

Albareda, A. (2018). Connecting Society and Policymakers? Conceptualizing and Measuring the Capacity of Civil Society Organizations to Act as Transmission Belts. Voluntas, 29(6), 1216–1232. https://doi.org/10.1007/s11266-018-00051-x

Bamberger, M. (2012). Introducción a los métodos mixtos de la evaluación de impacto (Vol. 3). http://www.interaction.org/impact-evaluation-notes.

Barriga, G., Guillermo Henríquez, M. y Barriga, O. (2005). El Rombo de la Investigación. Cinta Moebio, 23, 162–168. www.moebio.uchile.cl/23/henriquez.htm

Cea D’Ancona, M. de los Á. (1996). Metodología Cuantitativa. Estrategias y técnicas de investigación social.

Crespo Alambarrio, M. A. (2015). Guía de Diseño de Proyectos Sociales Comunitarios Bajo el Enfoque del Marco Lógico.

Di Virgilio, M. y Solano, R. (2012). Monitoreo y evaluación de políticas, programas y proyectos sociales. CIPPEC y UNICEF.

García Ferrando, M. (1989). Socioestadística: introducción a la estadística en sociología (4. ed.). Alianza Editorial S.A.

González Gil, T. y Cano Arana, A. (2010). Introducción al análisis de datos en investigación cualitativa: tipos de análisis y proceso de codificación (II). Nure Investigación, 45, 01–10.

Hernández Sampieri, R., Fernández Collado, C. y Baptista Lucio, M. del P. (2014). Metodología de la investigación (6. ed.). Mc Graw Hill / Interamericana Editores, S.A.

León, O. y Montero, I. (2003). Métodos de investigación en Psicología y Educación. McGraw-Hill.

López-Roldán, P. y Fachelli, S. (2015). Metodología de la investigación social cuantitativa (1. ed.). Universidad Autónoma de Barcelona.

Montgomery, D., Peck, E. y Vining, G. (2021). Introduction to linear regression analysis (6. ed.). Wiley.

Ortegón, E., Pacheco, J. F. y Prieto, A. (2005). Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas. www.cepal.org/es/suscripciones

Perrin, P. B. (2012). Relación entre el monitoreo y la evaluación de impacto con la evaluación de impacto (Vol. 2). www.interaction.org/impact-evaluation-notes.

Rasmussen, A., Carroll, B. J. y Lowery, D. (2014). Representatives of the public? Public opinion and interest group activity. European Journal of Political Research, 53(2), 250–268. https://doi.org/10.1111/1475-6765.12036

Sánchez, N. (2007). El marco lógico. Metodología para la planificación, seguimiento y evaluación de proyectos. Visión Gerencial, 2, 328–343. http://www.redalyc.org/articulo.oa?id=465545876012

Strauss, A. L. y Corbin, J. M. (2002). Bases de la investigación cualitativa: técnicas y procedimientos para desarrollar la teoría fundada. Editorial Universidad de Antioquía, Facultad de Enfermería de la Universidad de Antioquía.

Notas

Notas de autor