La metodología adoptada para evaluar la capacidad de ChatGPT y Gemini en el contexto del derecho colombiano se fundamentó en el principio del Zero-Shot Learning, técnica de aprendizaje automático en la que un modelo es desafiado a realizar tareas para las cuales no ha sido específicamente entrenado. En esta investigación, los modelos de lenguaje ChatGPT y Gemini reciben una serie de preguntas derivadas de un examen estándar de derecho colombiano, sin proporcionarle ejemplos previos o entrenamiento específico sobre cómo abordar este tipo de preguntas.

El zero-shot learning se usa para evaluar la flexibilidad cognitiva de los modelos de IA, examinando cómo estos pueden transferir y aplicar el conocimiento existente a situaciones no vistas anteriormente. Al utilizar un conjunto de preguntas de examen estandarizadas, sin intervenciones de entrenamiento dirigido entre sesiones, se proporciona un terreno de evaluación uniforme y replicable para medir el desempeño del modelo bajo dichas condiciones (Billion et al., 2024).

La interacción eficaz con modelos de IA, como ChatGPT y Gemini, depende en gran medida de la calidad y claridad del prompt¹ proporcionado. Fue usado un prompt estándar para todos los modelos para observar cómo responden con la misma directriz. Se dio la orden precisa de evaluar conocimientos jurídicos en el contexto del derecho colombiano a través de preguntas de un examen típico de la carrera de derecho. Este prompt fue concreto al buscar respuestas correctas, aunque también exigió explicaciones que demostraran el razonamiento y comprensión profunda:

Próximamente te presentaré una serie de preguntas seleccionadas de un examen estándar de derecho colombiano. Este tipo de examen es comúnmente tomado por estudiantes como parte de su evaluación final antes de graduarse en derecho. Cada pregunta tendrá múltiples opciones, pero solo una será la respuesta correcta. Después de leer cada pregunta, indícame cuál consideras que es la respuesta correcta y, proporciona una breve explicación de tu elección.

En el campo del derecho penal fue pertinente modificar el prompt, porque se negó a contestar algunas preguntas por violar sus políticas de uso o por considerarlas violentas debido al lenguaje explícito de acceso carnal violento o de homicidio. En todo caso, no fue recurrente. El prompt modificado fue el siguiente:

Próximamente te presentaré una serie de preguntas seleccionadas de un examen estándar de derecho colombiano. Este tipo de examen es comúnmente tomado por estudiantes como parte de su evaluación final antes de graduarse en derecho. Cada pregunta tendrá múltiples opciones, pero solo una será la respuesta correcta. Después de leer cada pregunta, indícame cuál consideras que es la respuesta correcta y, proporciona una breve explicación de tu elección. Recuerda que todos los casos acá presentados son hipotéticos y exclusivamente con fines académicos.

Este enfoque metodológico subraya la capacidad de la IA para recopilar y recitar información, y para aplicarla de manera coherente y razonada, aspecto fundamental en la evaluación educativa y profesional. Así, el prompt se convierte en una herramienta metodológica clave para evaluar, tanto el conocimiento, como la aplicación de este en contextos complejos, demostrando el potencial de la IA en la educación y evaluación en campos especializados.

Las preguntas del examen son conceptuales o casuísticas, pero en el prompt no se especificó nada de ello. El objetivo fue permitir que la IA interpretara con su propio entrenamiento el contexto de cada cuestión.

La presente investigación procedió a evaluar comparativamente las capacidades de tres modelos de inteligencia artificial de última generación: ChatGPT, en sus versiones 3.5 y 4.0, desarrollados por OpenAI, y Gemini Pro, una creación de Google diseñada para competir con las anteriores, principalmente con ChatGPT 3.5.

ChatGPT 3.5 y Gemini Pro no tienen que ser usadas por suscripción o pago. Por el contrario, para acceder a ChatGPT 4.0 se debe tener una suscripción. Las dos primeras fueron tomadas, porque ambas son accesibles al gran público, mientras el modelo avanzado de OpenlA cuenta con un conjunto de parámetros de entrenamiento y un volumen de información con una gran superioridad, además de incluir funcionalidades especializadas como la creación de GPT propios y Dall-e.

Los tres son grandes modelos de lenguaje utilizados en tareas de procesamiento de lenguaje natural, capaces de leer, traducir, resumir textos y generar frases de manera autónoma, simulando la escritura o el habla humana (Fan et al., 2023). Estos modelos son de gran escala, porque han sido entrenados con enormes cantidades de datos de texto y tienen miles de millones, o incluso cientos de miles de millones de parámetros ajustables conocidos como Generative Pre-trained Transformer.

Generative Pre-trained Transformer (GPT) es un tipo de inteligencia artificial que tiene la habilidad de generar texto que suena natural en términos humanos. Se basa en una tecnología llamada Transformers (Vaswani et al., 2017), que puede entender el contexto de las palabras en una oración (Latif & Zhai, 2024).

En adelante, cuando recibe el prompt, el modelo busca patrones, relaciones y contextos en los datos con los que fue entrenado para generar una respuesta adecuada. Utiliza probabilidades para determinar cuáles son las siguientes palabras o frases más probables que deberían seguir al texto de entrada, basándose en el contexto proporcionado por el prompt.

En detalle, pero con brevedad, explicaremos cada uno de los tres modelos evaluados. ChatGPT 3.5 y 4.0 representan evoluciones sucesivas dentro de la serie GPT (Generative Pretrained Transformer) de OpenAI. Ambas versiones se basan en el entrenamiento de modelos de lenguaje de gran escala, siendo el GPT-4.0 una iteración más avanzada que incorpora mejoras en comprensión, generación de texto y adaptabilidad a contextos específicos en comparación con su predecesor, el GPT-3.5. Estos modelos son eficaces en una amplia gama de tareas de procesamiento de lenguaje natural, desde la generación de contenido hasta el razonamiento complejo y la solución de problemas.

El inicio de la saga de los modelos Generative Pre-trainedTransformer (GPT) de OpenAI se remonta al lanzamiento de GPT-1 en junio de 2018. Se usaron 117 millones de parámetros para entrenar al GPT-1. El modelo fue entrenado en un dataset conocido como WebText, una colección de textos recopilados de páginas web filtradas para excluir contenido de baja calidad. Este conjunto de datos abarcó una amplia variedad de géneros y estilos de escritura, desde artículos de noticias hasta entradas de blogs y mucho más. Se estima que la cantidad de texto comprendía decenas de gigabytes, lo cual, para la época, constituía una cantidad significativa de datos para entrenar un modelo de IA (Sigman & Bilinkis, 2023).

El lanzamiento de GPT-1 no solo demostró el potencial de los modelos de transformers para tareas de procesamiento del lenguaje natural, sino que también impulsó la investigación y el desarrollo de modelos más avanzados. Estableció un precedente para el enfoque de preentrenamiento seguido de afinamiento (fine-tuning) sobre tareas específicas, una metodología que ha sido crucial en el avance de los modelos de IA en años posteriores.

GPT-2 representó un salto significativo en términos de tamaño y capacidad, con 1.500 millones de parámetros. Cuenta la leyenda que la mejora en la generación de texto fue tan notable que OpenAI inicialmente optó por no liberar la versión completa de GPT-2 de inmediato, citando preocupaciones sobre el potencial mal uso en la generación de desinformación, spam y otros contenidos malintencionados (Sigman & Bilinkis, 2023).

En 2020, OpenAI lanzó GPT-3, marcando un hito en la historia de la IA. Con 175.000 millones de parámetros, GPT-3 no solo era exponencialmente más grande que GPT-2, sino que también era capaz de realizar tareas de comprensión y generación de lenguaje con una precisión sin precedentes. Este modelo podía escribir ensayos, poesía, código de programación e, incluso, crear contenido que imitaba estilos de escritura específicos con poca o ninguna guía.

El modelo que se evalúa en esta investigación es GPT-3.5. Fue lanzado a principios de 2022 y se presentó como una versión intermedia y refinada de GPT-3. Aunque no se incrementó el número de parámetros, este modelo introdujo mejoras en la calidad del texto generado, la coherencia y la capacidad de comprensión. GPT-3.5 fue una respuesta a la retroalimentación de los usuarios y a los desafíos identificados en la implementación anterior, representando un esfuerzo por mejorar la precisión, reducir los sesgos y aumentar la seguridad del modelo. Es un modelo mejorado con la masiva interacción de las personas del mundo.

Por su parte, GPT 4.0 es una evolución significativa respecto a la versión 3.5. Ofrece mejoras notables en términos de comprensión del lenguaje, generación de texto y adaptabilidad a diferentes contextos. Una de sus características que más ha impactado es su impresionante capacidad de generar texto, indistinguible de lo escrito por un humano y con una amplia gama de estilos y formatos. Después de buscar exhaustivamente, no se encontró el número de parámetros, pero se especula que es sustancialmente mayor que los 175.000 millones de parámetros de GPT-3.5, cuentan probablemente en cientos de miles de millones. Esto se traduce en una mejora en la precisión de las respuestas y en la capacidad para manejar diálogos largos y complejos, manteniendo la coherencia a lo largo de interacciones extensas.

Además, vale la pena mencionar la noción de token. Los tokens en el contexto de modelos de lenguaje son las unidades básicas de información que estos modelos procesan. Podría decirse que los tokens son como palabras, partes de palabras, o incluso signos de puntuación. La tokenización es el proceso de convertir el texto de entrada en estos tokens más pequeños para que el modelo de IA pueda entenderlo y generar respuestas. Los modelos de GPT están entrenados para predecir el siguiente token en una secuencia de tokens basándose en los tokens anteriores. Esta capacidad de predicción es lo que permite a GPT generar texto coherente y relevante. El número de tokens que un modelo puede procesar sería como una longitud del contexto y, por lo tanto, es limitado. Esta es otra diferencia GPT-3.5 y GPT- 4.0. El segundo es superior a esa longitud de contexto en la conversación y explica por qué GPT 3.5 "olvida" lo que se ha dicho párrafos atrás. Sin embargo, en el marco de nuestra evaluación, las preguntas son tan cortas que no hay dificultad alguna. Quizás exista olvido en el Prompt en 3.5, después de varias preguntas, pero no hubo un signo que nos llevara a creerlo de esa manera.

Actualmente, se ha lanzado el ChatGPT 4 omnimodal, "más rápido e inteligente" como reza su aplicativo, pero no alcanzó a ser objeto de la presente investigación.

Por su parte, el otro modelo medido se denomina Gemini Pro de Google y fue lanzado en el evento Google Al Live en diciembre de 2023, y reemplazó al primer modelo usado masivamente conocido como Bard. El primer paso que hizo Google fue integrar Gemini Pro en Bard, su plataforma de inteligencia artificial. Este primer paso fue la expansión de Gemini Pro en Bard alcanzando una disponibilidad en más de cuarenta idiomas y extendiéndose a más de 230 países y territorios. Este desarrollo abrió las puertas para que una audiencia mucho más amplia pudiera experimentar y colaborar con esta versión más rápida y eficiente de la IA Bard del momento.

Gemini es modelo de inteligencia artificial, que se ve como una respuesta competitiva a las versiones más recientes de OpenIA. Gemini Pro forma parte de la familia Gemini, que incluye también a Gemini Ultra y Gemini Nano (Pichai & Hassabis, 2023). Cada versión está diseñada para satisfacer diferentes necesidades y contextos de uso. La versión Ultra, que necesita una suscripción a través de Google One, está destinada a proyectos exigentes, con importante cantidad de datos para procesar. Por su parte, la versión Gemini Nano está optimizada para dispositivos móviles y aplicaciones con recursos limitados. Finalmente, Gemini Pro pretende ofrecer un equilibrio entre rendimiento y accesibilidad y por esto se considera el modelo más equilibrado para una amplia gama de aplicaciones profesionales y personales. Además, su versión no necesita una suscripción.

Gemini Pro, en particular, está equilibrado para competir directamente con GPT-3.5, aunque ofrece capacidades multimodales que le permiten procesar y generar no solo texto, sino también código, audio, imágenes y video. Este modelo se distingue por su flexibilidad y capacidad para manejar consultas complejas, aprovechando una arquitectura neuronal de 1.5 billones de parámetros, según la compañía.

Se utilizó la estadística descriptiva para presentar los porcentajes de respuestas correctas de cada al modelo de IA en las distintas áreas del derecho. Esta técnica permitió una comparación directa y clara del rendimiento de cada modelo en términos de porcentaje de respuestas correctas. El propósito de esta técnica fue proporcionar una visión detallada del rendimiento absoluto de cada modelo en cada área del derecho, facilitando la identificación de fortalezas y debilidades específicas de cada modelo.

La desviación estándar se utilizó para medir la variabilidad de los porcentajes de respuestas correctas de cada modelo de IA en las áreas del derecho. Este estadístico indica cuánto se desvían los porcentajes individuales del promedio y proporciona una medida de la dispersión de los porcentajes de respuestas correctas, indicando la consistencia del rendimiento de cada modelo en las distintas áreas del derecho.

También se usó el análisis de correlación para entender la relación entre los rendimientos de los diferentes modelos de IA en cada una de las áreas del derecho. El objetivo fue identificar si existe una relación entre los rendimientos de los diferentes modelos de IA en las áreas del derecho. Una correlación alta entre dos modelos sugiere que si uno de los modelos tiene un buen desempeño en un área, es probable que el otro modelo también lo tenga.

Finalmente, el coeficiente Alfa de Cronbach fue utilizado para evaluar la consistencia del examen. Este coeficiente mide la fiabilidad o consistencia interna de un conjunto de ítems (en este caso, las respuestas correctas en diferentes áreas del derecho). Se pretende determinar qué tan coherentes son las respuestas de los modelos en diferentes áreas del derecho. Un coeficiente alto indicaría que un modelo que responde bien en una área tiende a responder bien en otras, mientras que un coeficiente bajo indicaría lo contrario.

Cuando el valor de Alfa está cerca de 1, indica alta consistencia interna. Esto significa que las preguntas de la prueba están correlacionadas entre sí y miden de manera consistente el mismo concepto. Por su parte, si el valor de Alfa está cerca de 0, esto indica baja consistencia interna, lo que podría sugerir que las preguntas de la prueba no están bien correlacionadas y podrían estar midiendo diferentes conceptos. Los valores intermedios entre 0.7 y 0.8 se consideran generalmente aceptables en ciencias sociales, mientras valores entre 0.6 y 0.7 podrían ser considerados aceptables en algunos casos, aunque pueden indicar que hay margen de mejora en la prueba.

Estas técnicas estadísticas sirvieron para evaluar y comparar el rendimiento de los modelos de IA en el derecho colombiano. A través de la descripción de porcentajes de respuestas correctas, análisis de varianza, coeficiente Alfa de Cronbach, análisis de correlación y desviación estándar, se puede identificar el potencial y las áreas de mejora para cada modelo de IA. Esto permite una comprensión más profunda de cómo estos modelos pueden ser aplicados y mejorados en el ámbito jurídico.

Los hallazgos revelan variaciones en el desempeño de los diferentes modelos de IA, destacando áreas en las que algunos modelos superan consistentemente a otros. El examen se aprueba con el 60 % de las respuestas correctas.

ChatGPT 3.5 mostró un desempeño notable en diversas áreas del examen. En el área de derecho laboral, ChatGPT 3.5 obtuvo un 70 % de respuestas correctas. En derecho privado, el modelo tuvo un porcentaje de aciertos del 42.86 % y en derecho penal, alcanzó un 46.51 % de aciertos, lo que indica una oportunidad de mejorar. En el campo del derecho público, ChatGPT 3.5 logró un 62 % de respuestas correctas, mostrando mejor comprensión de las temáticas. Finalmente, en derecho procesal, obtuvo un 57.78 % de aciertos, quedando muy cerca del umbral de aprobación.

ChatGPT 4.0 presentó mejoras significativas en varias áreas comparado con su predecesor. En derecho laboral, alcanzó un 62 % de respuestas correctas. En derecho privado, el modelo logró un 53.06 % de aciertos, superior a su predecesor. En derecho penal, obtuvo un importante 69.77 % de respuestas correctas, así como en derecho público con un 70 % de aciertos, posicionándose como un experto en esta área. En derecho procesal, sin embargo, el modelo tuvo un desempeño inferior, con un 44.44 % de respuestas correctas.

Gemini Pro mostró un rendimiento por debajo del umbral de aprobación, pero más regular en sus valores. En el área de derecho laboral, Gemini Pro obtuvo un 54 % de aciertos y en derecho privado, el modelo alcanzó un 57.14 % de respuestas correctas, por debajo del umbral de aprobado. En derecho penal, Gemini Pro obtuvo un 62.79 % de aciertos, demostrando que es su área más fuerte. En derecho público, el modelo logró un 56 % de respuestas correctas mientras en derecho procesal obtuvo un 51.11 % de respuestas correctas, ambas por debajo de la aprobación.

Sin embargo, los resultados del análisis de la varianza (ANOVA) demuestran que Gemini Pro, aunque no pasa casi nunca el umbral de aprobación, tiene un rendimiento más regular que los otros modelos. Los datos revelan que tanto ChatGPT 3.5 como ChatGPT 4.0 presentan una alta variabilidad en sus rendimientos, con valores de 124.44 y 122.35, respectivamente. Esto indica que estos modelos tienen un desempeño muy variable dependiendo del área del derecho, siendo fuertes en algunas áreas y débiles en otras. Gemini Pro mostró una varianza significativamente menor de 18.78, lo que sugiere un rendimiento mucho más consistente a través de todas las áreas del derecho. Aunque ChatGPT 4.0 tiene el promedio de aciertos más alto, la alta variabilidad sugiere que su desempeño no es confiable en todas las áreas, mientras que Gemini Pro, con un rendimiento menor de aciertos, ofrece una mayor confiabilidad y estabilidad. Un valor alto de varianza indica que los rendimientos son más dispersos, sugiriendo que el modelo tiene un rendimiento inconsistente entre las distintas áreas evaluadas. Por el contrario, una varianza baja sugiere que el modelo tiene un rendimiento más uniforme.

Figura 1.
Resumen de porcentaje de respuestas correctas
Fuente: Elaboración propia.

Tomando en cuenta el umbral de aprobación del 60 % de respuestas correctas, ChatGPT 3.5 logró aprobar las áreas de derecho laboral y derecho público. Por otra parte, ChatGPT 4.0 mostró un rendimiento sólido, aprobando en derecho laboral, derecho penal y derecho público. Si bien Gemini Pro obtuvo resultados similares a los otros modelos, únicamente aprobó en el área de derecho penal. Estos resultados resaltan las capacidades de ChatGPT 4.0 como el modelo más consistente de los evaluados, al aprobar la mayor cantidad de áreas, seguido por ChatGPT 3.5 y, finalmente, Gemini Pro.

Figura 2.
Aprobación del examen según los modelos de IA y áreas del derecho por el porcentaje de respuestas correctas
Fuente: Elaboración propia.

El porcentaje promedio de respuestas correctas de los tres modelos evaluados en diversas áreas del derecho colombiano demuestra que la aprobación del 60 % no fue exitosa. ChatGPT 3.5 tuvo un promedio de respuestas correctas del 55.43 %, mostrando un desempeño consistente, pero ligeramente inferior al umbral del 60 %. Estuvo cerca de aprobar en varias áreas, pero, en promedio, no alcanzó el nivel necesario para considerarse aprobado en el análisis global.

ChatGPT 4, con un promedio de respuestas correctas del 59.05 %, tuvo el mejor desempeño global entre los tres modelos. Su rendimiento estuvo muy cercano al umbral del 60 %, destacándose notablemente en varias áreas del derecho. Esto sugiere que las mejoras implementadas en esta versión tuvieron un impacto positivo en su capacidad para responder preguntas sobre derecho colombiano.

Gemini Pro, con un promedio del 56.91 %, mostró un desempeño intermedio, superando a ChatGPT 3.5, pero quedando ligeramente por detrás de ChatGPT 4. Al igual que los otros modelos, no alcanzó el umbral del 60 % en promedio, aunque estuvo cerca.

Figura 3.
Desempeño promedio de los modelos de IA en todas las áreas del derecho
Fuente: Elaboración propia.

La comparación entre los modelos revela que ChatGPT 4 es el más prometedor, sugiriendo que con algunos ajustes adicionales, quizá con sus versión ChatGPT 4 omnimodal o el esperado ChatGPT 5, podría superar el umbral del 60 % y mejorar su utilidad en todas las áreas jurídicas. Aunque ninguno de los modelos alcanzó un rendimiento perfecto, hay un claro potencial de mejora en su capacidad para comprender y responder preguntas sobre derecho colombiano. Esto indica que con más refinamientos, estos modelos de IA podrían ser herramientas aún más efectivas en el campo del derecho.

El análisis de distribución ayuda a visualizar y entender cómo se distribuyen los porcentajes de respuestas correctas de cada modelo de inteligencia artificial en las diferentes áreas del derecho. A través de los histogramas, se puede observar la frecuencia con que cada modelo obtuvo ciertos rangos de porcentajes de respuestas correctas, facilitando la comparación y comprensión de su rendimiento.

En el modelo ChatGPT 3.5, la mayoría de las áreas tienen un porcentaje de respuestas correctas que se sitúa entre el 40 % y el 70 %. Este rango incluye áreas como derecho laboral y derecho público, donde ChatGPT 3.5 tuvo un rendimiento relativamente bueno. Sin embargo, en áreas como derecho privado y derecho penal, su rendimiento fue más bajo, con porcentajes que no alcanzan el 60 %. Esto indica que ChatGPT 3.5 respondió correctamente a casi la mitad o más de las preguntas en la mayoría de las áreas, pero mostró un rendimiento inconsistente en áreas específicas del derecho.

El modelo ChatGPT 4 muestra una mayor variabilidad en sus respuestas correctas, con porcentajes que varían, tanto por encima, como por debajo del 60 %. ChatGPT 4 mostró un buen rendimiento en derecho público y derecho penal, superando el umbral del 60 %. Sin embargo, tuvo un rendimiento inferior en áreas como derecho laboral y derecho procesal. Esto sugiere que ChatGPT 4 tiene un rendimiento más inconsistente, logrando altos porcentajes en algunas áreas y más bajos en otras, lo que puede indicar una mejor adaptación a ciertas áreas del derecho en comparación con otras.

Para el modelo Gemini Pro la distribución es más uniforme, con porcentajes de respuestas correctas que oscilan entre el 40 % y el 70 %. Gemini Pro tuvo un rendimiento positivo en derecho penal y derecho público, con porcentajes de respuestas correctas alrededor del 60 %. En áreas como derecho laboral y derecho privado, su rendimiento fue más bajo. Esto sugiere que Gemini Pro tiene un rendimiento moderadamente consistente, sin grandes picos ni caídas en su porcentaje de respuestas correctas, lo que indica una estabilidad en su desempeño, aunque no sobresalió en ninguna área específica (Figura 4).

Figura 4.
Histogramas de distribución de porcentajes de respuestas correctas para cada modelo de IA en las diferentes áreas del derecho
Fuente: Elaboración propia.

En esta investigación se realizó también un análisis de correlación para comprender cómo se relacionan los rendimientos de tres modelos de IA en distintas áreas del derecho. Este análisis se llevó a cabo utilizando el método de Pearson, que mide la relación lineal entre dos conjuntos de datos.

El coeficiente de correlación de Pearson varía entre -1 y 1. Un valor cercano a 1 indica una fuerte correlación positiva, lo que significa que los modelos tienden a tener rendimientos similares en las mismas áreas del derecho. Un valor cercano a -1 indica una fuerte correlación negativa, lo que sugiere que cuando un modelo tiene un buen rendimiento, el otro tiende a tener un rendimiento bajo en la misma área. Un valor cercano a 0 indica que no hay correlación significativa entre los modelos.

Los resultados mostraron que ChatGPT 4.0 y Gemini Pro tienen una correlación positiva moderada, con un coeficiente de 0.681. Esto sugiere que estos dos modelos tienden a tener rendimientos similares en las mismas áreas del derecho. Por otro lado, ChatGPT 3.5 mostró una correlación negativa moderada con Gemini Pro, con un coeficiente de -0.600, indicando que sus rendimientos tienden a ser opuestos en las mismas áreas. Además, la correlación entre ChatGPT 3.5 y ChatGPT 4.0 fue muy débil, con un coeficiente de 0.119, lo que indica que sus rendimientos no están fuertemente relacionados.

Figura 5.
Análisis de correlación de rendimientos entre modelos de IA en áreas del derecho
Fuente: Elaboración propia.

Se puede afirmar que mientras ChatGPT 4.0 y Gemini Pro tienen un rendimiento similar en las distintas áreas del derecho, ChatGPT 3.5 tiende a diferir significativamente en su rendimiento comparado con los otros dos modelos. Estos resultados destacan la importancia de considerar no solo el rendimiento promedio, sino también cómo los modelos se relacionan entre sí en diferentes contextos del derecho.

Un aspecto que no puede escapar al análisis es la prueba misma. Los exámenes no son perfectos y pueden presentar problemas en la formulación de las preguntas y respuestas o en su formulación que pudieron impactar la respuesta de los modelos de IA evaluados. Este aspecto debería ser una variable por tener en cuenta para explicar al lector que los aciertos o desaciertos no pueden tomarse como indicadores definitivos. Para valorar este punto, el coeficiente Alfa de Cronbach es una herramienta estadística importante.

Es importante destacar que la formulación del examen pudo afectar el comportamiento de los modelos de IA. Aunque la certeza de esta afirmación no puede ser demostrada definitivamente, vale la pena dejar los datos del indicador como el margen de error de la presente investigación. Por ejemplo, si las preguntas de un examen no están bien alineadas en términos de lo que están midiendo -algunas preguntas pueden estar evaluando conocimientos teóricos mientras que otras pueden estar evaluando habilidades prácticas-, esto hubiera podido confundir a los modelos de IA. Si las preguntas cubren una amplia variedad de temas que no están directamente relacionados, el examen puede estar evaluando múltiples constructos en lugar de uno solo, lo que reduce la consistencia interna. También, preguntas que son ambiguas o mal formuladas pueden llevar a respuestas inconsistentes. A su vez, un examen que cubre de manera desigual diferentes aspectos de un tema puede resultar en una baja consistencia interna.

Vale recordar que consistencia alta es cuando los valores se acercan al 1 y consistencia baja al 0. En el área de derecho laboral, se obtuvo un alfa de 0.59, lo que sugiere una consistencia interna moderada en las respuestas. En el área de derecho privado, el coeficiente fue de 0.54, indicando una menor consistencia interna. En derecho penal, el alfa de Cronbach fue de 0.57, también reflejando una consistencia moderada. Por otro lado, en el área de derecho público, el alfa fue de 0.71, el valor más alto entre las áreas evaluadas, lo que indica una buena consistencia interna. Finalmente, en derecho procesal, el coeficiente fue de 0.67, sugiriendo una consistencia aceptable.

Estos resultados podrían indicar que, en algunas áreas, las preguntas del examen están mejor alineadas y miden de manera más consistente el mismo concepto. Sin embargo, en áreas como derecho privado, la menor consistencia interna sugiere que podría haber problemas con la formulación de las preguntas o con la coherencia del examen. Esto es importante, porque una baja consistencia interna podría afectar el rendimiento de los modelos de IA, ya que las preguntas podrían no estar midiendo de manera uniforme el conocimiento en derecho.

*Contacto: Gabriel Andrés Arévalo-Robles gabriel.arevalo@unilibre.edu.co