Introducción¹

En los últimos años se ha producido un rápido avance y despliegue del uso de sistemas de toma automatizada de decisiones (SDA) tanto en el sector público como en el privado alrededor del mundo (Ada Lovelace Institute et al., 2021; Diakopoulos, 2020). En el caso de Colombia, por ejemplo, existen por lo menos 111 sistemas que fueron adoptados, en etapa de pilotaje o ejecución, por parte de entidades del sector público colombiano (Gutiérrez et al., 2023)².

Los SDA son sistemas computacionales usados para “automatizar, analizar, ayudar, aumentar, y/o reemplazar decisiones gubernamentales, juicios, y/o la implementación de políticas públicas” (Richardson, 2022, p. 795). En la gestión pública, la adopción de estos sistemas implica “que un proceso de decisión se delega parcial o totalmente a otro, el que a su vez toma o propone una decisión automáticamente” (Garrido et al., 2021, p. 42). En otras palabras, estos sistemas pueden informar la toma de decisiones de un funcionario público (ej. recomendar el sentido de cierta decisión) o pueden usarse para adoptar decisiones públicas (ej. asignar turnos para acceder a un servicio público)³. Algunos SDA operan con inteligencia artificial (IA), pero no todo SDA requiere de IA para funcionar, pues la automatización puede operar a partir de algoritmos secuenciales (reglas de negocio que establecen secuencias de órdenes)⁴.

La adopción de estas herramientas puede generar grandes beneficios a las entidades públicas que las implementan en sus procesos para los beneficiarios o destinatarios de la acción estatal, y para la población general. Por otra parte, estos sistemas también pueden ocasionar diferentes tipos de riesgos, de daños y vulneraciones a usuarios, beneficiarios o destinatarios y terceros (Wirtz y Müller, 2019). Por ejemplo, el uso de SDA para adoptar decisiones en el ejercicio de funciones públicas puede vulnerar derechos fundamentales como la no discriminación, el debido proceso, y la protección de datos personales, entre otros (Gutiérrez, 2020). Estos riesgos no son hipotéticos, ya se han materializado en otras latitudes (AIAAIC, 2023; Buenadicha-Sánchez et al., 2019; Urueña, 2019). En ese sentido, Richardson (2022) afirma que los SDA pueden afectar

las oportunidades, el acceso, las libertades, la seguridad, los derechos, las necesidades, el comportamiento, la residencia y/o el estatus mediante la predicción, la puntuación, el análisis, la clasificación, la demarcación, la recomendación, la asignación, la enumeración, la clasificación, el seguimiento, la cartografía, la optimización, la imputación, la inferencia, el etiquetado, la identificación, la agrupación, la exclusión, la simulación, el modelado, la evaluación, la fusión, el procesamiento, la agregación y/o el cálculo, (p. 795)

Paradójicamente, a la par de la proliferación de SDA utilizados por los Estados para cumplir con diferentes tipos de funciones y de que la mayoría de las guías éticas asociadas con el desarrollo y uso de IA incluyen como uno de los principales valores la “transparencia” (Cotino-Hueso, 2023; Valderrama et al., 2023), son pocas las entidades estatales del nivel nacional y/o local que informan de manera sistemática y estandarizada sobre el uso de dichos sistemas (Gutiérrez, 2023). Además, pocos Estados abren espacios de participación ciudadana y de rendición de cuentas respecto de las diferentes etapas del ciclo de vida de estos sistemas (Valderrama et al., 2023).

Este artículo estudia la relación entre el principio de transparencia algorítmica y el modelo Estado Abierto en el contexto colombiano durante la última década. El estudio aborda la transparencia de la administración pública respecto de sus sistemas algorítmicos desde una perspectiva “macro”, cómo las instituciones formales e informales inciden en la transparencia y, desde una perspectiva “meso”, cómo se implementa la transparencia a nivel organizacional (Porumbescu et al., 2022).

Además de explorar dichos conceptos, abordamos sus sinergias y tensiones a través de diferentes políticas e instrumentos de política pública y casos que han llegado hasta los tribunales de Colombia. En este artículo identificamos algunos casos que han involucrado entidades estatales y que ilustran que la relación entre transparencia algorítmica y Estado Abierto es compleja en la práctica, aún en un país como Colombia que ha adoptado diferentes instrumentos de política pública que han acogido dichos principios y modelos.

Para tal efecto realizamos un caso de estudio comparado en el cual abordamos seis casos en Colombia; tres sobre transparencia pasiva y tres sobre transparencia activa (repositorios de algoritmos públicos). Por una parte, el criterio de selección respecto de los casos de transparencia pasiva consistió en escoger instancias en las cuales se podía rastrear procesos en los cuales se evidencian diferentes grados de brechas entre los principios del Estado Abierto y las acciones de las entidades públicas en relación con la transparencia algorítmica. Estos tres casos abordan asuntos sobre la transparencia del código fuente (CoronApp), sobre la realización de auditorías algorítmicas (software para el escrutinio de elecciones), y sobre ejercicios de control social asociados con la opacidad de sistemas de LA usados por el gobierno para tomar decisiones (BETTO). Por otra parte, respecto de los casos de transparencia activa, seleccionamos los tres principales repositorios de algoritmos disponibles en línea que están a cargo de entidades del gobierno nacional.

La literatura sobre transparencia algorítmica en Colombia apenas está emergiendo, no obstante, se destaca el artículo de Urueña (2019) sobre la protección de los derechos humanos en el marco del ejercicio del poder mediante algoritmos (“poder algorítmico”). Aunque el artículo de Urueña (2019) se enfoca en la normativa de la Unión Europea y en la jurisprudencia de los Estados Unidos, también acude a la jurisprudencia de la Corte Constitucional colombiana para abordar -entre otros- los desafíos y las limitaciones de la transparencia algorítmica sobre mecanismos de decisión automatizada.

Por otra parte, Gutiérrez y Muñoz-Cadena (2023a) presentaron los hallazgos de la cartografía de más de 100 SDA implementados por el Estado colombiano e identificaron brechas de transparencia algorítmica en el sector público. Además, Gutiérrez y Muñoz-Cadena (2023b) documentaron las dificultades asociadas a la construcción de repositorios de algoritmos públicos en Colombia. Adicionalmente, Chenou y Rodríguez-Valenzuela (2021) investigaron la implementación de dos herramientas algorítmicas implementadas por el Estado colombiano y detectaron brechas asociadas con la transparencia algorítmica. Este artículo busca contribuir con esta naciente literatura mediante un estudio más integral tanto desde el punto de vista conceptual como del análisis de casos que ilustran las limitaciones prácticas de la puesta en marcha del modelo de Estado Abierto y del cumplimiento de los deberes, principios y estándares de transparencia algorítmica.

Este artículo cuenta con cinco secciones, incluyendo la introducción. En la segunda sección explicamos las diferentes facetas del concepto “transparencia algorítmica” y las diversas obligaciones que podría generar tanto para entidades públicas como privadas. La tercera sección aborda la relación entre el modelo de Estado Abierto y la transparencia algorítmica a partir de las políticas y normas adoptadas en Colombia sobre estas dos materias. La cuarta sección ilustra las limitaciones y tensiones de estos modelos y principios a partir de seis casos de estudio. La última sección resume las principales conclusiones del artículo.

2. Transparencia algorítmica: conceptos y tipologías

En este artículo entendemos por transparencia “la disponibilidad de información sobre una organización o actor que le permite a actores externos monitorear el funcionamiento interno o el desempeño de esa organización” (Porumbescu et al., 2022, pp. 10-11). Análogamente, la transparencia algorítmica alude a la disponibilidad de información sobre los sistemas de algoritmos, incluyendo los SDA, que nos permite conocer su operación y valorar su rendimiento. De manera más detallada, la transparencia algorítmica puede definirse como una “cualidad de los sistemas algorítmicos que nos permite ver y/o comprender su funcionamiento, y abre la posibilidad de conocer, supervisar los datos que entran, cómo se procesan, y cuál es el resultado [...]” (Garrido et al., 2021, p. 42).

La disponibilidad de la información puede ser el resultado de dos tipos de prácticas de transparencia: (1) la “transparencia pasiva”, que es producto de las solicitudes de acceso de información puntuales por parte de actores externos (ej. en Colombia puede ejercerse a través de derechos de petición o solicitudes de acceso a información pública), y (2) la “transparencia activa” o “proactiva” que corresponde a la puesta a disposición del público de información de manera periódica sin que medien requerimientos puntuales (Porumbescu et al., 2022).

Asimismo, la información sobre los sistemas de algoritmos puede estar disponible porque las entidades públicas informen sobre los algoritmos usados en sus procesos públicos en respuesta a solicitudes puntuales de actores externos (“transparencia algorítmica pasiva” o “reactiva”) o porque esas entidades ofrezcan de manera permanente o periódica información al público sobre sus sistemas; por ejemplo, a través de registros de algoritmos públicos disponibles en plataformas digitales (“transparencia algorítmica activa”)⁵. Esta taxonomía es similar a la propuesta por Garrido et al. (2021), quienes dividen las clases de transparencia algorítmica en dos: “transparencia algorítmica jurisdiccional” y “transparencia algorítmica registrar. Este último tipo de transparencia, denominada activa o registral, puede producirse porque voluntariamente las entidades publiquen la información o porque una norma vinculante general lo requiera (legislaciones de transparencia y acceso a información) o por regulaciones que establezcan obligaciones puntuales de transparencia respecto de los algoritmos públicos.

También es pertinente abordar el concepto de “transparencia significativa”, que no alude a una dimensión cuantitativa de información transparentada (ej. cuánta y qué tipo de información está disponible), sino a una dimensión cualitativa de la información accesible: si esta permite o no valorar el desempeño de la organización o de la herramienta utilizada. En ese sentido, en el contexto de sistemas algorítmicos, particularmente de IA predictiva usada por gobiernos, Brauneis y Goodman (2018, p. 132) contrastan el estándar “transparencia perfecta”, entendido como “un conocimiento completo de las reglas de funcionamiento de un algoritmo y de su proceso de creación y validación”, respecto del estándar “transparencia significativa”, que consideran más acotado, pero más útil para efectos de la rendición de cuentas por parte de los gobiernos y que definen como “un conocimiento suficiente para aprobar o desaprobar el rendimiento del algoritmo”. En esa misma línea, Diakopoulos (2020) señala que la transparencia tiene límites y recomienda no aspirar a una “transparencia completa” -que puede ser inviable o indeseable-, sino a políticas de transparencia algorítmica que se adapten a los contextos socio-técnicos específicos.

La transparencia algorítmica es un atributo de la administración pública que puede contribuir con la consecución de otros fines gubernamentales, tanto instrumentales como sustanciales. Cuando la información sobre los algoritmos permite explicar sus resultados, se abre la posibilidad de que haya rendición de cuentas -un pilar de la Estado Abierto- por parte de quienes adquieren, desarrollan, y/o usan los sistemas algorítmicos. Diakopoulos (2020) argumenta que la transparencia “puede ser un mecanismo útil para monitorear la operación de los sistemas algorítmicos para proveer las precondiciones informacionales que promueven (pero no necesariamente conllevan) a la rendición de cuentas” (p. 197). La rendición de cuentas algorítmica (algorithmic accountability) puede tener dos facetas diferenciadas. Primero, implica la exigencia a los actores responsables de una explicación (accountability-explanation) exhaustiva y detallada en relación con: (i) la decisión del sistema (acción o resultado); (ii) la relación causal entre un evento y un efecto dado; y (iii) la justificación normativa de su implementación. Segundo, plantea responsabilizar (accountability-held responsible) moral y legalmente a los actores que traten de evitar las consecuencias de los resultados adversos del uso de sistemas algorítmicos (Porter et al., 2022).

Adicionalmente, la transparencia algorítmica es una condición habilitante para el ejercicio de otros derechos, tales como la protección de datos personales, privacidad, acceso a la información, entre otros. En ese sentido, Contreras y Pefaur (2020, p. 9) concluyen que la transparencia algorítmica “abre la posibilidad de auditar y supervisar los datos que entran, cómo se procesan, y cómo se leen en un sistema de toma de decisiones algorítmicas” y que dicha transparencia minimiza “el riesgo de implementar procesos algorítmicos discriminatorios, condicionar arbitrariamente las decisiones de las personas y establecer responsabilidades cuando estos procesos entregan resultados no concluyentes, utilizan datos incorrectos o arrojan resultados injustos.”⁶. Además, la transparencia puede ayudar a identificar qué personas son responsables de lo que suceda con los algoritmos públicos en la cadena de valor del sistema (Diakopoulos, 2020).

Por el contrario, la opacidad de los SDA puede contribuir con la afectación de derechos fundamentales. Este es el caso de vulneraciones a la protección de datos personales cuando los titulares no conocen con qué finalidades son tratados su datos, la discriminación algorítmica cuando existe una reproducción o magnificación de sesgos de la realidad en el entorno digital, y al debido proceso cuando el sistema algorítmico incide en una decisión sobre una persona investigada sin que esta pueda conocer por completo la motivación de la decisión estatal que la afecta (Contreras y Pefaur, 2020; Gutiérrez, 2020; UNESCO, 2023b).

La opacidad algorítmica, conocida como el efecto de la “caja negra”, puede ser particularmente aguda respecto de aquellos sistemas desarrollados a partir de aprendizajes automatizados (machine learning) (Gutiérrez, 2020; UNESCO, 2023b). Garrido et al. (2021, p. 21) resumen tres razones, no excluyentes, que pueden originar dicha opacidad: (1) que sea intencionalmente provocada por quienes desarrollaron o implementaron el sistema (por ejemplo, para proteger los secretos comerciales), (2) la brecha digital que le impide al receptor comprender la información y, (3) intrínseca al sistema por tratarse de instrucciones que operan en lenguajes matemáticos.

Por último, siguiendo a Diakopoulos (2020), en este artículo no concebimos la transparencia algorítmica como un asunto binario (transparente/no transparente), sino que reconocemos que puede haber diversos grados de conformidad con los deberes, principios y estándares de transparencia algorítmica. Además, en línea con Cotino-Hueso (2023), el grado de exigencia en transparentar la información puede ser proporcional al nivel de riesgo asociado con el uso de la herramienta o a su potencial impacto. Por tanto, vale la pena abordar la pregunta: ¿Qué tipo de información asociada a los SDA podría revelarse en ejercicio del estándar de transparencia algorítmica? Una manera de clasificar los tipos de información que se pueden transparentar, sugerida por Diakopoulos (2020), es distinguir entre la información sobre los procesos algorítmicos versus la información sobre los resultados obtenidos a partir del sistema. Nosotros proponemos una mayor segmentación del tipo de información que puede transparentarse a lo largo del “ciclo de vida” de un sistema que considera tanto los procesos como los resultados. Una de las principales ventajas de esta propuesta es que contribuye a identificar qué personas u organizaciones deben transparentar la información y quiénes son responsables en cada etapa por lo que suceda con el sistema. A continuación, la Tabla 1 desglosa diferentes elementos de los procesos y los resultados de los sistemas algorítmicos que podrían transparentarse en cinco etapas del “ciclo de vida”: 1) Conceptualización y diseño, 2) Fuente y manejo de datos, 3) Desarrollo del modelo, 4) Uso y monitoreo del sistema, y 5) Rendición de cuentas.

Tabla 1
Información sobre los sistemas algorítmicos que podría ser transparentada

Fuente: elaboración a partir deCDDO y CDEI (2021;2023),Contreras y Pefaur (2020),Diakopoulos (2020),Garrido et al (2021) yUNESCO (2023a). Nota: la tabla aplica el modelo de ciclo de vida de la IA propuesto porDenis et al. (2021)

Tabla 1
Información sobre los sistemas algorítmicos que podría ser transparentada

Tabla 1
Información sobre los sistemas algorítmicos que podría ser transparentada

Tabla 1
Información sobre los sistemas algorítmicos que podría ser transparentada

3. Estado Abierto y transparencia algorítmica

En contraste con una gestión pública caracterizada por procesos opacos y secretismos gubernamentales, ha surgido en las últimas décadas un nuevo paradigma - de gobernanza abierta y colectiva- para reconfigurar y construir canales de diálogos más transparentes, colaborativos y participativos entre la administración pública, la ciudadanía y los demás sectores de la sociedad civil (Ramírez-Alujas, 2011). En el marco de este nuevo paradigma denominado “Gobierno Abierto” o “Estado Abierto”, el acceso a la información es un canal que permite “ejercer control social y [la] rendición de cuentas”, a la vez que facilita “la participación de la ciudadanía en el diseño e implementación de las políticas públicas”, y favorece “la generación de espacios de colaboración entre los diversos actores, particularmente entre las administraciones públicas, la sociedad civil y el sector privado, para co-diseñar y/o co-producir valor público” (Ramírez-Alujas, 2013, p. 202).

La transparencia es un componente esencial de este modelo de gobernanza e implica “un acto unilateral y voluntario del gobierno” para publicar y divulgar información pública sobre sus procesos de gestión y funcionamiento interno (Bojórquez-Pereznieto, 2013, p. 177). El Estado debe estar en capacidad y tener la disposición de exteriorizar con la ciudadanía “lo bueno”, “lo malo” y, “lo que omite” en su gestión pública, para que en los procesos de rendición de cuentas la ciudadanía realmente pueda hacer juicios de valor informados (Cobo, 2013, p. 105; Ferreiro-Yazigui, 2013, p. 51). Por tanto, la información suministrada sobre asuntos estatales debe presentarse en formatos estructurados y generarse por la misma administración pública a través de “datos abiertos”, “accesibles” y “reutilizables”. En resumen, el acceso efectivo a la información le da el poder a la ciudadanía de consultar, usar y monitorear al Estado con el fin de ejercer un control social permanente (Bojórquez-Pereznieto, 2013; Campos-Domínguez y Corojan, 2013).

En Colombia, la política pública para consolidar un Estado Abierto se adoptó principalmente a través del CONPES No. 4070 del 2021, “Lineamientos de Política para la Implementación de un Modelo de Estado Abierto”. El fundamento de la política, para “generar confianza ciudadana en la institucionalidad pública”, está sustentado principalmente en el principio de la transparencia y el derecho fundamental de acceso a la información pública. El documento CONPES No. 4070 del 2021 establece líneas de acción específicas en esta materia, en especial para el sector público, asociadas a: (i) “promover el acceso a la información pública”; y (ii) “generar acciones de transparencia focalizada” (CONPES, 2021, pp. 69-72).

En la medida en que crece el uso de tecnologías emergentes por entidades públicas con el fin de desarrollar funciones públicas, la transparencia en la operación de los sistemas, particularmente si automatizan funciones, cobra más importancia. La transparencia algorítmica puede entenderse como una extensión a los principios del Estado Abierto en el marco del desarrollo, adquisición y uso de algoritmos públicos. Exigir más transparencia a la administración pública, dado el rápido despliegue de estas herramientas, equivale a solicitar más datos abiertos que permitan explicar las características o limitaciones de estos sistemas; ejercer control colectivo sobre el desarrollo y aplicación de estas herramientas; y evitar la reproducción de sesgos algorítmicos en los contextos locales (Davies, 2020).

Adicionalmente, la transparencia algorítmica está en línea con varios principios del Estado Abierto: (i) “transparencia” (¿cómo funcionan los sistemas?, ¿qué tipos de datos alimentan el algoritmo?, ¿se utilizan datos personales?); (ii) “rendición de cuentas” (¿de dónde provienen los datos?, ¿quién o quiénes tienen acceso a los datos y cómo los usan?, ¿qué tipos de controles se han diseñado para proteger la información y evitar los sesgos?, ¿se han realizado auditorías internas, públicas o independientes?); y, (iii) “participación” (¿qué canales de comunicación existen para debatir sobre los algoritmos y sus resultados?).

La más reciente guía de la Alianza para el Gobierno Abierto (Open Government Partnership), titulada “The Skeptic’s Guide to Open Government - 2022 Edition” (en castellano, “Guía para escépticos del Gobierno Abierto - Edición 2022”), contiene un capítulo sobre transparencia algorítmica. La guía justifica por qué los algoritmos deberían transparentarse -incluyendo sus beneficios y la evidencia que lo respalda-, y describe con detalle los diversos mecanismos que pueden implementarse para promover la transparencia algorítmica (OGP, 2023).

El gobierno nacional de Colombia ha centrado sus esfuerzos para abordar los retos del desarrollo e implementación de IA en dos frentes principales. Por una parte, a través de la formulación, adopción e implementación de políticas públicas que buscan promover las condiciones habilitantes para la adopción de estas tecnologías, como el documento CONPES No. 3975 de 2019,“Política nacional para la transformación digital e inteligencia artificial”.

Por otra parte, el gobierno ha promovido el “uso ético de la inteligencia artificial” a través de documentos no vinculantes, como el “Marco ético para la inteligencia artificial en Colombia”, publicado en octubre de 2021 por el Departamento Administrativo de la Presidencia -DAPRE- (Guío et al., 2021). Este último promueve buenas prácticas para la transparencia algorítmica y, para su seguimiento, el gobierno abrió una plataforma denominada “Dashboard de seguimiento al Marco Ético de Inteligencia Artificial” a través del cual las entidades públicas pueden cargar información sobre sus proyectos de IA y poner parte de dicha información a disposición del público⁷.

Sin embargo, ni la política pública ni los marcos éticos, tienen la naturaleza de normas vinculantes que puedan generar obligaciones de transparencia algorítmica para las entidades públicas. Actualmente, solo hay dos normas que establecen obligaciones expresamente asociadas a la transparencia algorítmica en Colombia, a saber, el Decreto No. 1263 del 22 de julio del 2022 que reglamenta el “Sector de Tecnologías de la Información y las Comunicaciones, con el fin de definir lineamientos y estándares aplicables a la Transformación Digital Pública”, y la Directiva No. 03 del 15 de marzo de 2021 de la Presidencia de la República, cuyo ámbito de aplicación cubre a las entidades públicas de la rama ejecutiva del orden nacional y establece obligaciones asociadas a la transparencia algorítmica de los proyectos de IA. En adición, existen normativas que indirectamente inciden en la transparencia algorítmica, en particular las normas sobre transparencia, derecho de acceso a información y derecho de petición. La Tabla 2 enumera las normas que establecen deberes, principios y estándares asociados directa e indirectamente a la transparencia algorítmica en Colombia.

Tabla 2.
Normas relacionadas con la transparencia algorítmica

Fuente. elaboración propia

Norma	Descripción
Constitución Política	Derecho de acceso a la información pública (artículo 74) y derecho a realizar peticiones respetuosas a las autoridades (artículo 23).
Ley 1712 de 2014	La “ley de transparencia y del derecho de acceso a la información pública nacional” establece principios tales como “máxima publicidad”, “transparencia”, “calidad de la información”, y “divulgación proactiva de la información” (artículos 2 y 3).
Ley 1755 de 2015	Desarrolla el derecho de petición.
Decreto 1263 de 2022 del Ministerio TIC	El artículo 2.2.23.1.4 establece cuatro obligaciones de transparencia algorítmica activa y pasiva aplicables a entidades de la administración pública, del orden nacional y subnacional, y a los particulares que cumplen funciones administrativas. La Directiva 03 de 2021 de la Presidencia de la República replica las obligaciones establecidas por este decreto.

4. La transparencia algorítmica puesta a prueba: caso de estudio comparado en el sector público colombiano

En esta sección examinamos cómo el Estado colombiano ha afrontado el cumplimiento de transparencia algorítmica tanto en su fase activa como en su fase pasiva o reactiva. En un primer momento, se exponen las iniciativas y esfuerzos por parte de las entidades gubernamentales y la academia para divulgar información proactiva relacionada con el uso de algoritmos en el sector público. En un segundo momento, exploramos casos de solicitud de acceso a la información y denuncias por parte de actores externos sobre el funcionamiento e irregularidades de SDA en el ámbito de la salud pública, los procesos de contratación pública, y en el proceso electoral, y que han sido documentados por medios de comunicación, la academia, y organizaciones sociales y civiles.

4.1 Transparencia activa: tres casos de repositorios de algoritmos públicos

La información sobre los algoritmos puede ser transparentada proactivamente a través de diferentes formatos y medios: bases de datos estructuradas contenidas en archivos planos que pueden ser descargadas, documentos disponibles en línea, repositorios que se pueden consultar en plataformas digitales, o incluso a través de chatbots, entre otros (Diakopoulos, 2020).

En Colombia, el gobierno nacional ha realizado esfuerzos por ofrecer activamente información sobre la adopción de SDA en el sector público a través de repositorios disponibles en línea. Más concretamente, el DAPRE y el Ministerio de Tecnologías de la Información y las Comunicaciones (MinTIC) han liderado la publicación de tres repositorios algoritmos públicos (Tabla 3).

Tabla 3.
Repositorios de algoritmos públicos de Colombia

Fuente:Gutiérrez y Muñoz-Cadena (2023a).

Nombre del repositorio	Entidad a cargo	Disponibilidad	No. de sistemas registrados
Dashboard de seguimiento del Marco Ético de Inteligencia Artificial	DAPRE	Inaccesible desde mayo de 2023	6
Portal de Datos Abiertos	MinTIC	Accesible a noviembre de 2023	16
Ejercicios de Innovación Basados en Inteligencia Artificial	MinTIC	Accesible a noviembre de 2023	6

El DAPRE puso en marcha un repositorio de sistemas de LA en el 2022 con el fin de contribuir a hacer seguimiento al cumplimiento de los principios y recomendaciones del “Marco Ético de Inteligencia Artificial”. El Marco Ético había sido publicado por el DAPRE en octubre de 2021, con el apoyo de consultores externos financiados por la CAF - Banco de Desarrollo de América Latina y el Caribe. Su objetivo es “Proporcionar una guía de soft law para entidades públicas de recomendaciones y sugerencias, para abordar la formulación y gestión de los proyectos que incluyan el uso de IA” (Guío et al., 2021, p. 23).

El repositorio denominado “Dashboard de Seguimiento del Marco Ético de Inteligencia Artificial” estaba disponible en una plataforma en línea y la información era cargada por las propias entidades públicas encargadas de los sistemas. Para guiar a los funcionarios en dicha tarea, la “Consejería Presidencial para la transformación digital y gestión y cumplimiento” publicó junto con el Banco Interamericano de Desarrollo un “Manual de usuario formulario proyectos de inteligencia artificial (tablero de seguimiento marco ético)” de 37 páginas. La visualización de los datos de cada uno de los sistemas de IA operaba a partir de la herramienta Power BI⁸.

Sin embargo, la administración del presidente Gustavo Petro eliminó la “Consejería Presidencial para la transformación digital y gestión y cumplimiento” a comienzos de 2023, que apoyaba las actividades asociadas al marco ético, y desde mayo la información dejó de ser accesible. Una ex funcionaria del DAPRE, que solicitó preservar su anonimidad, nos indicó que el gobierno no había renovado la licencia Power BI, el servicio de Microsoft usado para visualizar los datos, razón por la cual la información dejó de estar disponible públicamente.

Mientras el Dashboard estuvo disponible, hubo seis algoritmos registrados, de los cuales era posible consultar información detallada sobre la entidad a cargo del sistema, la descripción de la herramienta, funcionalidades, técnicas usadas para desarrollar el sistema, el costo de su desarrollo y las fuentes de financiación, el tiempo de duración del proyecto, la población objetivo, sus principales retos de implementación, el nombre de la persona encargada y su correo electrónico, tipo de hardware utilizado, su conformidad con el Marco Ético de Inteligencia Artificial, los principios de la OCDE sobre IA y la recomendación de la UNESCO sobre la ética de la IA, y su contribución al cumplimiento de Objetivos de Desarrollo Sostenible, entre otros. La información sobre los algoritmos era pertinente y completa para entender cómo era usado el sistema, pero en más de un año de operación el número de sistemas registrados fue bajo y actualmente los datos no son accesibles.

A diferencia del Dashboard, a los otros dos repositorios de sistemas de IA todavía se puede acceder en línea. Por una parte, a través de la plataforma de Datos abiertos del gobierno colombiano, que materializa sus compromisos con las políticas de Gobierno Abierto, es posible acceder a una base de datos estructurada que informa sobre 16 sistemas de IA en el sector público colombiano⁹. La base de datos contiene información sobre el nombre del sistema, la entidad pública que lo adoptó, la funcionalidad de la herramienta, el sector del gobierno al cual contribuye, el tipo de datos usados, el impacto esperado, entre otros.

Por último, la página web del MinTIC cuenta con una sección denominada “Ejercicios de Innovación Basados en Inteligencia Artificial”. En ella se presenta información limitada sobre seis sistemas de IA de diferentes entidades estatales de la rama ejecutiva y la rama judicial¹⁰. Respecto de cada sistema se informa el nombre, la entidad pública que lo desarrolló, su objetivo, el problema que aborda, sus resultados y los beneficiarios.

En total los repositorios del gobierno nacional registraron 28 sistemas de LA. Se trata de un número bajo si se tiene en cuenta que 233 entidades públicas declararon en el 2021 a través del Formulario Único de Reporte de Avances de la Gestión (FURAG) que utilizaban sistemas de IA y/o automatización robótica de procesos (Gutiérrez & Muñoz-Cadena, 2023a, p. 374). El subregistro de algoritmos públicos en los repositorios del gobierno nacional también quedó evidenciado con la publicación de la base de datos sobre SDA en el sector público colombiano por parte de la Universidad del Rosario en junio del año 2023. La base de datos reúne información sobre 113 SDA en el sector público en Colombia y fue construida por Gutiérrez et al. (2023) a partir de 300 fuentes de información (públicamente disponibles), y caracteriza los sistemas a partir de 40 diferentes variables.

Por otra parte, los esfuerzos del gobierno nacional para divulgar activamente información sobre algoritmos públicos no parecen estar articulados. Lo anterior puede concluirse por dos razones: los repositorios de algoritmos públicos mencionados no son interoperables y hay duplicidad de registros entre los repositorios.

En suma, aunque el gobierno nacional ha procurado informar proactivamente sobre sistemas de LA utilizados en el sector público a través de repositorios accesibles en línea, la disponibilidad de la información ha sido intermitente y hay una asimetría significativa en la calidad y cantidad información puesta a disposición a través de los repositorios.

4.2 Transparencia pasiva o reactiva: tres casos hitos en salud pública, procesos electorales y contratación pública

4.2.1 Caso CoronApp

El caso de CoronApp, estudiado actualmente por la Corte Constitucional, ilustra las tensiones entre el derecho de acceso a información y los derechos a la protección de datos personales y los derechos de propiedad intelectual¹¹. CoronApp era una aplicación móvil que lanzó el gobierno nacional de Colombia durante la pandemia del COVID-19 y que -según el gobierno- buscaba “impactar positivamente en la gestión de la pandemia” (Venturini, 2021, p. 18). Aunque la aplicación podría descargarse voluntariamente, durante algunos meses fue de obligatorio uso por parte de cierto tipo de personas que trabajan tanto en el sector público como en el sector privado con el fin de reportar su estado de salud y el de su grupo familiar (Resolución 666, 2020).

El 6 de agosto de 2020, Juan Carlos Upegui-Mejía presentó una solicitud de información pública ante la Agencia Nacional Digital (AND) con el fin de tener acceso al código fuente de CoronApp o subsidiariamente al histórico de sus versiones. La AND negó la solicitud al declarar que la información estaba sujeta a reserva, argumentando principalmente que la publicación del código podía comprometer la seguridad de los datos personales de los usuarios. Consecuentemente, Upegui interpuso un recurso de reposición explicando que no estaba solicitando los datos personales, sino el código fuente. La AND confirmó su decisión inicial argumentando, entre otras, que permitir el acceso al código fuente podría generar riesgos en materia de ciberseguridad y chocar con derechos de propiedad intelectual.

Posteriormente, Upegui presentó una acción de tutela en contra de la AND para salvaguardar su derecho de acceso a la información pública. Los jueces de primera y segunda instancia no accedieron a tutelar los derechos invocados por Upegui, quien decidió solicitar la revisión de su caso a la Corte Constitucional.

El planteamiento de Upegui dirigido a la Corte Constitucional partió de la premisa básica de categorizar el código de fuente de CoronApp como información pública utilizada por el gobierno nacional para la gestión y control epidemiológico del Covid-19:

El código fuente de una aplicación de una entidad pública es información pública, más aún cuando es un instrumento de política pública con la que los ciudadanos interactuamos. Máxime si insistimos en la naturaleza de la información “código fuente”, como conjunto de instrucciones para cumplir ciertas funciones [...] El código fuente es el equivalente en tecnologías digitales a los protocolos de atención de las administraciones públicas. (Upegui-Mejía, 2020, p. 5)

En la solicitud de revisión del caso, Upegui argumentó que el acceso al código fuente podría reducir la brecha de conocimiento que tiene cualquier persona al interactuar con CoronApp respecto a su operación. En palabras del solicitante de la información:

Denegar el acceso al código fuente es denegar el conocimiento de cómo se está realizando parte de la gestión epidemiológica de la Covid-19 (ocultando un protocolo) y denegar la información relativa al tratamiento de nuestros datos personales (ignorando la normativa de habeas data). Además, la apertura del código fuente es el único modo de permitir que la comunidad científica colombiana y la sociedad civil tengan la capacidad de escrutinio para identificar posibilidades de mejora y ayudar al desarrollo y buen funcionamiento de CoronApp, de acuerdo a los mejores estándares del conocimiento. (Upegui-Mejía, 2020, p. 6)

Lo anterior pone en evidencia que las obligaciones de transparencia que se derivan de la Ley 1712 de 2014 indirectamente podrían extenderse a la transparencia algorítmica, toda vez que imponen obligaciones al Estado y/o particulares en dos direcciones. En un primer momento, lo hace en lo referente a la divulgación de información proactiva en el marco de la información mínima obligatoria, específicamente en lo dispuesto en el artículo 11 en los literales (a), (c) y (d). En un segundo momento, en cuanto a la carga de prueba que tienen que aportar los sujetos obligados para justificar las excepciones de publicidad de información, conforme al artículo 28.

En suma, independiente de cómo decida la Corte Constitucional la revisión de la tutela de Upegui, el caso CoronApp ilustra los límites de la transparencia algorítmica. Lo anterior, en la medida en que el grado en que el Estado está dispuesto a informar y a explicar sobre los algoritmos que utiliza en el ejercicio de sus funciones puede verse significativamente limitado cuando se contraponen otros derechos o bienes jurídicos como la protección de datos personales, la ciberseguridad, y los derechos de propiedad intelectual (Diakopoulos, 2020).

4.2.2 Caso de los programas computacionales para el escrutinio electoral

En las elecciones legislativas y presidenciales del 2022 se insertó en la agenda pública la discusión sobre la pertinencia de realizar auditorías para garantizar la transparencia sobre los programas computacionales utilizados en los procesos electorales. Esto ocurrió especialmente en relación con dos sistemas interrelacionados para el escrutinio: (i) Disproel (con código de fuente privado), el software utilizado por la Registraduría Nacional para realizar el “proceso de conteo y consolidación de votos de los niveles auxiliares, zonales, municipales y departamentales”¹² y, (ii) Indra (con código de fuente del Estado), el software de escrutinio que utilizó posteriormente el “Consejo Nacional Electoral (CNE) en la comisión escrutadora del nivel nacional” (Fundación Karisma, 2022, pp. 8-9).

Con noticias e informes alertando sobre la “vulnerabilidad” y “falta de transparencia” en los sistemas computacionales para el escrutinio (Oquendo, 2022), organizaciones de la sociedad civil como la Fundación Karisma (2022) abogaron por la necesidad de contar con auditorías “independientes, técnicas y públicas” para futuros procesos electorales. Según el informe de la Fundación Karisma (2022), hasta ese momento las auditorías realizadas a los sistemas de escrutinio de las elecciones presidenciales y legislativas de 2022 eran incompletas para ejercer control en el sistema electoral y garantizar la transparencia sobre los algoritmos utilizados.

Por un lado, la auditoría externa de JAHV McGregor a Disproel e Indra¹³ estaba protegida por cláusulas de confidencialidad que resguardaban “toda la información de las auditorías” (Fundación Karisma, 2022, p. 21)¹⁴. Por otro lado, las auditorías realizadas a Indra a cargo de SIA -empresa de ciberseguridad del grupo Indra- eran de carácter interno y no se hicieron públicas. Aunado a lo anterior, el “acompañamiento”¹⁵ a Indra lo realizó SecPro -empresa privada-, a pesar de que en el contrato se establecía originalmente que dicho acompañamiento fuera realizado por una institución de educación superior¹⁶. Todo lo anterior fue objeto de fuertes críticas desde diferentes sectores, en particular por la incidencia de las empresas privadas en la selección de auditorías y por el doble rol de Indra en el desarrollo del software y la auditoría de este. Adicionalmente, a días de la primera vuelta para las elecciones presidenciales, el Consejo Nacional Electoral (CNE) y la Registraduría Nacional no lograron concretar la auditoría internacional para Indra (Fundación Karisma, 2022; Ortiz, 2022).

Para junio de 2022, a escasos días de la segunda vuelta presidencial, y después de las presuntas irregularidades que se denunciaron sobre al proceso electoral del 13 de marzo, se presentaron una serie de preguntas acerca del software que se utilizaba para el conteo y con respecto a la auditoría de estos sistemas. Primero, la Registraduría Nacional negó la solicitud del entonces candidato a la presidencia Gustavo Petro de la coalición del Pacto Histórico de realizar una auditoría técnica al software Disproel (El Tiempo, 2022). Luego, el magistrado del CNE, Luis Guillermo Pérez, reiteró la necesidad de auditar los sistemas empleados por la Registraduría Nacional antes de la segunda vuelta presidencial (La Libertad, 2022). Por otra parte, el Fiscal Tercero Delegado ante el Tribunal Superior de Cali autorizó realizar una auditoría forense a los sistemas de la Registraduría Nacional utilizados en el proceso electoral, pero la orden habría sido desautorizada por un coordinador de fiscales de Bogotá (El Espectador, 2022, 16 de junio; El Universal, 2022). Finalmente, para la segunda vuelta electoral no se realizaron más auditorías.

Más recientemente, para las elecciones regionales de 2023 el alcance de las auditorías externas de JAHV McGregor también fue limitada; en específico, para las nuevas tecnologías adquiridas en relación con el registro de votantes, inscripción de candidatos y selección de jurados de votación, pues no había claridad si se iban a auditar o no. En cuanto a la solicitud de hacer pruebas de funcionalidad y exposición del código fuente para el software Disproel, se requirieron “cláusulas de confidencialidad” para partidos políticos, misiones electorales y entes de control (Fundación Karisma, 2023).

Por otro lado, de acuerdo con los informes de la Fundación Karisma y la Misión de Observación Electoral (MOE) respecto al nuevo software electoral para la inscripción y selección de jurados de votación: (i) hubo acuerdos de confidencialidad y no divulgación en las revisiones del código con la Registraduría Nacional; (ii) durante las últimas semanas supuestamente hubo fallas en relación con la confección de la lista y sorteo de jurados; y, (iii) en la jornada electoral las autoridades electorales optaron por usar y adaptar el software de Disproel, lo cual limitó el ejercicio de veeduría externa frente a este último cambio (Fundación Karisma, 2023; MOE, 2023).

Estas críticas sobre quién y cómo se cuentan los votos, y qué sistemas se utilizan para facilitar y transparentar el proceso, se suman a las críticas y fallas que ya se habían detectado en los procesos anteriores. Por ejemplo, uno de los antecedentes es el fallo del 8 de febrero de 2018 del Consejo de Estado¹⁷ a favor de la denuncia realizada por el Movimiento Independiente de Renovación Absoluta (MIRA) que, después de un estudio detallado de los formularios E-14 y E-24, afirmaba, entre otros cargos, que existió un “sabotaje en los resultados de las elecciones para el Senado 2014-2018 a través del software de escrutinio [con la] manipulación a horas indebidas y accesos no autorizados para modificar los resultados” (Sáenz et al., 2018, p. 6).

En resumen, las dificultades que se han presentado con respecto a la realización de las auditorías algorítmicas a los sistemas utilizados en los procesos electorales ilustran las limitaciones de la aplicación de los deberes, principios y estándares de transparencia algorítmica en relación con el escrutinio de elecciones, un proceso central en cualquier régimen democrático.

4.2.3 Caso de la herramienta BETTO

“Para nosotros ese algoritmo es clientelismo”, declaró la presidenta del sindicato Sintrabienesta a un medio de comunicación radial en el contexto de las protestas realizadas por organizaciones de madres comunitarias locales en contra del Instituto Colombiano de Bienestar Familiar (ICBF) en 2021¹⁸. El principal argumento planteado por las organizaciones de madres comunitarias para justificar su protesta era rechazar supuestas irregularidades de contratación asociadas a la herramienta BETTO que estaban afectando a organizaciones que habían sido contratadas en el pasado por el ICBF (W Radio, 2021).

BETTO fue implementado por el ICBF en 2020 con el objetivo de “garantizar la transparencia, objetividad y excelencia en la contratación de los servicios de primera infancia” (ICBF, 2021). El algoritmo funcionaba de manera autónoma para “seleccionar” y evaluar” a los mejores operadores en rankings, con base en los criterios objetivos que habían sido establecidos por el ICBF en la Resolución 7946 de 2021 (ICBF, 2021). Una de las principales funciones consistía en apoyar las funciones de verificación y habilitación de los postulantes a través del índice de Desempeño de las Entidades Administrativas del Servicio (IDEAS) del ICBF. En últimas, BETTO era usado para calificar a los operadores que previamente habían prestado servicios contratados por el ICBF, como las asociaciones de madres trabajadoras¹⁹.

En 2021, la preferencia por la escogencia de operadores ajenos al territorio de la prestación del servicio, supuestamente asociados a dinámicas clientelistas, con poca experiencia y/o trayectoria en el campo, generó preocupaciones en torno a la falta de “claridad” y “publicidad” en el funcionamiento de BETTO. Las protestas nacionales se agudizaron principalmente en lugares como La Guajira²⁰, Bucaramanga²¹ y Valledupar, donde organizaciones locales de madres comunitarias alegaban cumplir con los criterios objetivos (a pesar de lo indicado por los resultados de BETTO); además, en otros casos afirmaban que llevaban varios años prestando el servicio (Colmenares, 2021; Pineda, 2021; Reyes, 2021).

En mayo de 2022 la situación empeoró por la avalancha de denuncias y tutelas interpuestas por las demoras en los procesos de contratación para el segundo periodo del año. Según reportes de prensa, la dilación en los procesos de contratación estaba asociada a denuncias sobre el funcionamiento de BETTO. Primero, se denunció que a partir del uso del sistema el ICBF habría validado certificaciones y documentos falsos que supuestamente presentaron algunos operadores. Segundo, se reclamó que había la discrepancia entre los resultados que arrojaba BETTO y las decisiones finales de contratación de los comités de evaluación regional (El Espectador, 2022, 6 de junio; Mera-Villamizar, 2022).

En noviembre de 2023 el ICBF anunció que “dejó de usar” la herramienta BETTO tras haber realizado una auditoría de control interno al sistema. La institución expresó que “los hallazgos encontrados generan dudas importantes en la transparencia y los resultados del proceso de selección a través de la plataforma”. Principalmente, el ICBF identificó que el sistema de IA “podía modificarse frecuentemente por el factor humano”, lo que propiciaba que la información procesada fuera errónea y, consecuentemente que los resultados de escogencia no coincidieran con “los criterios de calidad propuestos en la selección de operadores” (ICBF, 2023).

En resumen, el tercer caso ilustra cómo procesos de control social que exigían transparencia y debido proceso parecen haber incidido para que una entidad pública realizara una auditoría al sistema de IA que había adoptado. Aún más, el caso también podría verse como uno en el que la exigencia de parte de la sociedad civil organizada frente a la opacidad de un algoritmo habría contribuido a que el Estado aceptara rendir cuentas sobre el uso del sistema.

5. Conclusiones y futuras avenidas de investigación

En este estudio identificamos cómo el Estado Colombiano ha adoptado diferentes instrumentos de política pública para implementar el modelo Estado Abierto, en general; y deberes, principios y estándares de transparencia algorítmica, en particular. Además de estudiar las normas formales sobre transparencia algorítmica, el artículo explora las limitaciones prácticas de estos preceptos a través de un estudio de caso comparado.

La consagración de normas vinculantes sobre transparencia y la adopción de políticas sobre Estado Abierto no garantiza la efectividad de los objetivos perseguidos a través de la transparencia algorítmica. Los casos estudiados ilustran en particular la limitada disposición de diferentes entidades públicas para poner a disposición información que explique el funcionamiento de los sistemas en ejercicio de actividades de transparencia activa y pasiva.

Además, los casos estudiados ilustran cómo la aplicación de los estándares de transparencia puede estar limitada por factores tales como que la información no pueda ser entendida y usada efectivamente por terceros [understandibüity), los cambios permanentes en el funcionamiento del sistema (temporal instability), la complejidad socio-técnica en la que operan, y los costos asociados a transparentar la información, entre otros (Diakopoulos, 2020).

Una de las limitaciones de este artículo es que no problematizó a profundidad el alcance de los deberes, principios y estándares de transparencia algorítmica. Diakopoulos (2020), por ejemplo, critica el ideal de transparencia algorítmica, señalando que su aplicación puede generar riesgos en determinadas situaciones, tales como que la información revelada se use por terceros para incidir en el resultado del algoritmo (gaming y manipulation), o cómo puede balancearse la transparencia algorítmica con otros derechos y/u objetivos de política pública, por ejemplo, la privacidad y la protección de datos personales, la libre competencia, y los derechos de propiedad industrial.

La literatura sobre transparencia algorítmica en Colombia es incipiente, razón por la que existen otras futuras avenidas de investigación que podrían explorarse a partir de los hallazgos de este artículo. Destacamos tres de ellas. En primer lugar, podría extender el estudio a la transparencia algorítmica respecto de la operación de entidades privadas, ya sea porque cumplan funciones públicas (por ejemplo, proveer servicios públicos) o porque sus actividades económicas tengan un alto impacto en la población (por ejemplo, los servicios financieros). En segundo lugar, sería oportuno estudiar los potenciales vacíos regulatorios en relación con la transparencia algorítmica en Colombia y la manera como se pueden presentar tensiones con legislaciones que protegen otros bienes jurídicos.

Finalmente, podría explorarse el establecimiento de estándares de transparencia algorítmica que desarrollen con mayor detalle las obligaciones de las entidades públicas que utilicen SDA, tomando como punto de partida la propuesta planteada en la Tabla 1 del artículo. Existen pocos casos de estándares de esta naturaleza adoptados por otros Estados, tales como el Algorithmic Transparency Recording Standard desarrollado conjuntamente por el Central Digital and Data Office (CDDO) y el Centre for Data Ethics and Innovation (CDEI) del Reino Unido; la ley valenciana No. 1 del 13 de abril del 2022 (Cotino-Hueso, 2023); y como la Instrucción General que actualmente está preparando el Consejo para la Transparencia (CPLT) en Chile (CPLT, 2022; Lapostol et al., 2023). El reto de diseño, en relación con estos estándares, es que contribuyan a que la información transparentada sea relevante y útil para los actores involucrados, en otras palabras, que la transparencia sea “usable” (Diakopoulos, 2020).

Referencias

Ada Lovelace Institute, AI Now Institute, Open Government, & Partnership. (2021). Algorithmic accountability for the public sector. Learning from the first wave of policy implementation, https://www.opengovpartnership.org/documents/algorithmic-accountability-public-sector/

AIAAIC. (2023). AI, Algorithmic, and Automation Incidents and Controversies-AIAAIC Repository [dataset]. https://www.aiaaic.org/aiaaic-repository

Berryhill, J., Heang, K. K., Clogher, R, & McBride, K. (2019). Hello, World Artificial intelligence and its use in the public sector. (OECD Working Papers on Public Governance, No. 36). OECD. https://doi.org/10.1787/726fd39d-en

Bojórquez-Pereznieto, J. A. (2013). La caja negra del Estado: el reto del Gobierno Abierto. En A. Hofmann, A. Ramírez-Alujas, J. A. Bojórquez-Pereznieto (coords.), La promesa del Gobierno Abierto (pp. 165-192). Itaip. http://148.202.167.116:8080/xmlui/bitstream/handle/123456789/3584/Gobierno_abierto.pdf?sequence=1&isAllowed=y

Brauneis, R, & Goodman, E. P. (2018). Algorithmic Transparency for the Smart City. Yale Journal of Law and Technology, 20, 103-176. HeinOnline.

Buenadicha-Sánchez, C., Galdón, G., Hermosilla, M., Loewe, D., & Pombo, C. (2019). La gestión ética de los datos. Inter-American Development Bank, https://doi.org/10.18235/0001623

Campos-Domínguez, E., & Corojan, A. (2013). Estado del arte del Gobierno Abierto: promesas y expectativas. En A. Hofmann, A. Ramírez-Alujas, J. A. Bojórquez-Pereznieto (coords.), La Promesa del Gobierno Abierto (pp. 119-137). Itaip. http://148.202.167.116:8080/xmlui/bitstream/handle/123456789/3584/Gobierno_abierto.pdf?sequence=1&isAllowed=y

CDDO & CDEI. (2021). Algorithmic Transparency Recording Standard v2.1. Central Digital and Data Office (CDDO) and Centre for Data Ethics and Innovation (CDEI). https://www.gov.uk/government/publications/algorithmic-transparency-template

CDDO & CDEI. (2023). Algorithmic Transparency Recording Standard-Guidance for Public Sector Bodies. Central Digital and Data Office (CDDO) and Centre for Data Ethics and Innovation (CDEI). https://www.gov.uk/government/publications/guidance-for-organisations-using-the-algorithmic-transparency-recording-standard/algorithmic-transparency-recording-standard-guidance-for-public-sector-bodies

Chenou, J.M., & Rodríguez-Valenzuela, L. E. (2021). Habeas Data, Habemus Algorithms: Algorithmic Intervention in Public Interest Decision-Making in Colombia. Law, State and Telecommunications Review, 13(2), 56-77. https://doi.org/10.26512/lstr.v13i2.34113

Cobo, C. (2013). Gobierno Abierto: de la transparencia a la inteligencia cívica. En A. Hofmann, A. Ramírez-Alujas, J. A. Bojórquez-Pereznieto (coords.), La promesa del Gobierno Abierto (pp. 101-118). Itaip. http://148.202.167.116:8080/xmlui/bitstream/handle/123456789/3584/Gobierno_abierto.pdf?sequence=1&isAllowed=y

Colmenares, L. A. (2021). BETTO y el ICBF de La Guajira. Costa Noticias, https://costanoticias.com/betto-y-el-icbf-de-la-guajira-por-luis-alonso-colmenares-rodriguez/

CONPES. (2021). Lineamientos de Política para la Implementación de un Modelo de Estado Abierto (Documento CONPES 4070). Consejo Nacional de Política Económica y Social (CONPES). https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/4070.pdf

Constitución Política de Colombia [Const]. Art. 23. 20 de julio de 1991 (Colombia).

Constitución Política de Colombia [Const]. Art. 74. 20 de julio de 1991 (Colombia).

Contreras, D., & Pefaur, D. (2020). Transparencia Algorítmica: buenas prácticas y estándares de transparencia en el proceso de toma de decisiones automatizadas (Cuaderno de Trabajo No. 17). Consejo para la Transparencia (CPLT). https://www.consejotransparencia.cl/wp-content/uploads/estudios/2020/10/Transparencia-Algoritmica.pdf

Cotino-Hueso, L. (2023). Qué concreta transparencia e información de algoritmos e inteligencia artificial es la debida. Revista Española de la Transparencia (16), 17-63. https://doi.org/10.51915/ret.272

CPLT. (2022, 14 de junio). Sector público chileno avanza en inédita normativa de transparencia algorítmica en América Latina. Consejo para la Transparencia (CPLT). https://www.consejotransparencia.cl/sector-publico-chileno-avanza-en-inedita-normativa-de-transparencia-algoritmica-en-america-latina/

Davies, T. (2020). AI and the State of Open Data. Data for Development, https://www.d4d.net/news/ai-and-thestate-of-open-data/?s=03

Decreto 1263 de 2022. Por el cual se adiciona el Título 22 a la Parte 2 del Libro 2 del Decreto 1078 de 2015, Decreto Único Reglamentario del Sector de Tecnologías de la Información y las Comunicaciones, con el fin de definir lineamientos y estándares aplicables a la Transformación Digital Pública. 22 de julio de 2022

Denis, G., Hermosilla, M., Araeena, C., Sanchez, R., Gonzales, N., & Pombo, C. (2021). Uso responsable de IA para política pública: Manual de formulación de proyectos (la ed.). Banco Interamericano de Desarrollo, https://doi.org/10.18235/0003631

Diakopoulos, N. (2020). Transparency. En M. D. Dubber, F. Pasquale, & S. Das (eds.), The Oxford Handbook of Ethics of AI (pp. 197-213). Oxford University Press, https://doi.org/10.1093/oxfordhb/9780190067397.013.11

Directiva presidencial 03 de 2021. Lineamientos para el uso de servicios en la nube, inteligencia artificial, seguridad digital y gestión de datos. 15 de marzo de 2021.

El Espectador. (2022, 6 de junio). El cruce de versiones por funcionamiento del aplicativo Betto en el ICBF. El Espectador. https://www.elespectador.com/colombia/mas-regiones/el-cruce-de-versiones-por-funcionamiento-del-aplicativo-betto-en-el-icbf/

El Espectador. (2022, 16 de junio). Fiscalía hará auditoría a software de Registraduría previo a elecciones, ¿por qué?. El Espectador, https://www.elespectador.com/judicial/fiscalia-hara-auditoria-a-software-de-registraduria-previo-a-elecciones-por-que/

El Tiempo. (2022, 14 de junio). Gustavo Petro dice que la Registraduría ha negado la auditoría de software. El Tiempo, https://www.eltiempo.com/elecciones-2022/actualidad-electoral/petro-dice-que-la-registraduria-ha-negado-la-auditoria-de-software-680233

El Universal. (2022, 17 de junio). Desautorizan afiscal que ordenó auditoría a software de Registraduría. El Universal. https://www.eluniversal.com.co/politica/desautorizan-a-fiscal-que-ordeno-auditoria-a-software-de-registraduria-CY6717631

Ferreiro-Yazigui, A. (2013). Causales de reserva y recursos: el equilibrio virtuoso entre la transparencia y la defensa de los bienes jurídicos que justifican proteger cierta información. En A. Hofmann, A. Ramírez-Alujas, J. A. Bojórquez-Pereznieto (coords.), La promesa del Gobierno Abierto (pp. 51-67). Itaip. http://148.202.167.116:8080/xmlui/bitstream/handle/123456789/3584/Gobierno_abierto.pdf?sequence=1&isAllowed=y

Fundación Karisma. (2022). Informe de la observación primera vuelta presidencial Colombia 2022. Alertas y recomendaciones sobre la implementación de tecnología de cara a la eventual segunda vuelta de las elecciones presidenciales de 2022. Fundación Karisma. https://web.karisma.org.co/wp-content/uploads/2022/05/Informe-Observacion-primera-vuelta-1.pdf

Fundación Karisma. (2023, 18 de octubre). Comunicado de prensa 02. Observación técnica a las elecciones regionales de 2023. Fundación Karisma. https://web.karisma.org.co/comunicado-de-prensa-02-observacion-tecnica-a-las-elecciones-regionales-de-2023-se-mantienen-restricciones-del-contratista-a-la-observacion/

Garrido, R., Lapostol, J. P., & Hermosilla, M. P. (2021). Transparencia algorítmica en el sector público. GOB LAB UAI; Consejo para la Transparencia. https://goblab.uai.cl/wp-content/uploads/2021/10/ESTUDIO-TRANSPARENCIA-ALGORITMICA-ENEL-SECTOR-PUBLICO-GOBLAB-CPLT-nal....pdf

Guío, A., Tamayo, E., & Gómez-Ayerbe, P. (2021). Marco ético para la inteligencia artificial en Colombia. Departamento Administrativo de la Presidencia de la República.

Gutiérrez, J. D. (2023, 6 de julio). Repositorios y registros públicos de algoritmos. Blog Foro Administración, Gestión y Política Pública. https://forogpp.com/inteligencia-artificial/repositorios-y-registros-de-algoritmos/

Gutiérrez, J. D., & Muñoz-Cadena, S. (2023a). Adopción de sistemas de decisión automatizada en el sector público: cartografía de 113 sistemas en Colombia. GIGAPP Estudios Working Papers, 10(270), 365-395.

Gutiérrez, J. D., & Muñoz-Cadena, S. (2023b). Building a repository of public algorithms: Case study of the dataset on automated decision-making systems in the Colombian public sector. En L. Belli & W. B. Gaspar (eds.), The Quest for AI Sovereignty, Transparency and Accountability: Official Outcome of the UN IGF Data and Artificial Intelligence Governance Coalition (pp. 325-340). Getulio Vargas Foundation; FGV Direito Rio. https://www.intgovforum.org/en/filedepot download/288/26421

Gutiérrez, J. D., Muñoz-Cadena, S., & Castellanos-Sánchez, M. (2023). Sistemas de decisión automatizada en el sector público colombiano (Versión VI). Universidad del Rosario, https://doi.org/10.34848/YN1CRT.

Gutiérrez R., J. D. (2020). Retos éticos de la inteligencia artificial en el proceso judicial. En ICDP (ed.), Derecho Procesal #NuevasTendencias. XLI Congreso Colombiano de Derecho Procesal (pp. 499-516). Instituto Colombiano de Derecho Procesal (ICDP); Universidad Libre.

ICBF. (2021, 30 de enero). Conoce cómo fue el proceso de selección de operadores. Portal ICBF - Instituto Colombiano de Bienestar Familiar ICBF. https://www.icbf.gov.co/proceso-de-seleccion-servicios-integrales-de-primera-infancia-2021/proceso-seleccion-operadores

ICBF. (2023, 16 de noviembre). Plataforma BETTO deja de ser herramienta de selección de operadores del ICBF. Portal ICBF - Instituto Colombiano de Bienestar Familiar ICBF. https://www.icbf.gov.co/noticias/plataforma-betto-deja-de-ser-herramienta-de-seleccion-de-operadores-del-icbf

La Libertad. (2022, 10 de junio). Luis Guillermo Pérez sugiere auditoría forense a software de elecciones. Diario La Libertad, https://diariolalibertad.com/sitio/2022/06/10/luis-guillermo-perez-sugiere-auditoria-forense-a-software-de-elecciones/

Lapostol, J. P., Garrido, R., & Hermosilla, M. P. (2023). Algorithmic Transparency from the South: Examining the state of algorithmic transparency in Chile’s public administration algorithms. En2023 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’23), Chicago, IL, USA (pp. 227-235). https://doi.org/10.1145/3593013.3593991.

Ley 1712 de 2014. Por medio de la cual se crea la Ley de Transparencia y del Derecho de Acceso a la Información Pública Nacional y se dictan otras disposiciones. 6 de marzo de 2014.

Ley 1755 de 2015. Por medio de la cual se regula el Derecho Fundamental de Petición y se sustituye un título del Código de Procedimiento Administrativo y de lo Contencioso Administrativo. 30 de junio de 2015.

Mera-Villamizar, D. (2022, 1 de agosto). ICBF: el fracaso de Betto como síntoma. El Espectador. https://www.elespectador.com/opinion/columnistas/daniel-mera-villamizar/icbf-el-fracaso-de-betto-como-sintoma/

MOE. (2023, 10 de octubre). Octavo informe presentado por la MOE a la Comisión Nacional para la Coordinación y seguimiento de los procesos electorales. MOE - Misión de Observación Electoral. https://www.moe.org.co/octavo-informe-presentado-por-la-moe-a-la-comision-nacional-para-la-coordinacion-y-seguimiento-de-los-procesos-electorales/

OGP. (2023). The Skeptic's Guide to Open Government-2022 Edition. Open Government Partnership - OGP. https://www.opengovpartnership.org/skeptics-guide-to-open-government-2022-edition/

Oquendo, C. (2022, 16 de mayo). Las cajas negras del ‘software’ electoral en Colombia. El País, https://elpais.com/internacional/2022-05-16/las-cajas-negras-del-software-electoral-en-colombia.html

Ortiz, J. (2022, 24 de mayo). En plena crisis el Registrador le quitó dientes a la auditoría de las elecciones. La Silla Vacía, https://www.lasillavacia.com/historias/silla-nacional/en-plena-crisis-el-registrador-le-quito-dientes-a-la-auditoria-de-las-elecciones/

Pineda, J. L. (2021, 5 febrero). Madres comunitarias en Bucaramanga exigen claridad en la contratación del Icbf. Vanguardia, https://www.vanguardia.com/area-metropolitana/bucaramanga/madres-comunitarias-en-bucaramanga-exigen-claridad-en-la-contratacion-del-icbf-IA3367208

Porter, Z., Zimmermann, A., Morgan, P., McDermid, J., Lawton, T., & Hábli, I. (2022). Distinguishing two features of accountability for AI technologies. Nature Machine Intelligence, 4(9), 734-736. https://doi.org/10.1038/s42256-022-00533-0

Porumbescu, G., Meijer, A., & Grimmelikhuijsen, S. (2022). Government Transparency: State of the Art and New Perspectives. Cambridge University Press. https://doi.org/10.1017/9781108678568.

Ramírez-Alujas, Á. V. (2011). Gobierno Abierto y modernización de la gestión pública. Tendencias actuales y el (inevitable) camino que viene. Reflexiones seminales. Revista Enfoques: Ciencia Política y Administración Pública, IX (15), 99-125.

Ramírez-Alujas, Á. V. (2013). Gobierno Abierto. Eunomia. Revista en Cultura de la Legalidad (5), 201-216.

Resolución 666 del 24 de abril de 2020. Por medio del cual se adopta el protocolo general de bioseguridad para mitigar, controlar y realizar el adecuado manejo de la pandemia de Coronavirus COVID-19. Ministerio de Salud y Protección Social. https://www.minsalud.gov.co/Normatividad_Nuevo/Resolución%20No.%20666%20de%202020.pdf

Resolución 7946 del 2021 [Instituto Colombiano de Bienestar Familiar]. Por la cual se derogan las resoluciones 5743 de 2020, 6098 de 2020, 6694 de 2020,320 de 2021 y 371 de 2021, y se unifica el procedimiento administrativo para la selección de contratistas habilitados en el Banco Nacional de Oferentes y las reglas para seleccionar a los contratistas, establecidas en el capítulo IV. 21 de octubre de 2021. https://www.icbf.gov.co/sites/default/les/resolucion_no._7946-2021.pdf

Reyes, N. (2021, 6 de febrero). Madres comunitarias indignadas por plataforma Betto del ICBF. Diario del Cesar, https://www.diariodelcesar.com/archivos/125039/madres-comunitarias-indignadas-por-plataforma-betto-del-icbf/.

Richardson, R. (2022). Defining and Demystifying Automated Decision Systems. Maryland Law Review, 81(3), 785-840.

Sáenz, R, López, J., & Hernández, S. (2018). Propuesta de protocolo de auditoría para el software de escrutinio de las elecciones de Colombia en 2018 (Artículo 45, Ley 1475 de 2011). Laboratorio de Seguridad digital y privacidad de la Fundación Karisma - KLAB, con la colaboración de La Misión de Observación Electoral - MOE. https://www.moe.org.co/wp-content/uploads/2018/04/Protocolo-de-auditor%C3%ADa-para-el-software-de-escrutinio-de-las-elecciones-de-Colombia-en-2018.pdf

UNESCO. (2023a). Ethical impact assessment A tool of the Recommendation on the Ethics of Artificial Intelligence. Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura - UNESCO, https://www.unesco.org/en/articles/ethical-impact-assessment-tool-recommendation-ethics-artificial-intelligence

UNESCO. (2023b). Kit de herramientas global sobre IA y el estado de derecho para el poder judicial. Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura - UNESCO. https://unesdoc.unesco.org/ark:/48223/pfD000387331_spa

Upegui-Mejía, J. C. (2020). Acción de tutela formulada por el ciudadano Juan Carlos Upegui Mejía en contra de la Agencia Nacional Digital el Instituto Nacional de Salud y el Ministerio de Salud y Protección Social

Urueña, R. (2019). Autoridad algorítmica: ¿cómo empezar a pensar la protección de los derechos humanos en la era del “big data”? Latin American Law Review, 1(2), 99-124.

Valderrama, M., Hermosilla, M. R, & Garrido, R (2023). State of the Evidence: Algorithmic Transparency. Open Government Partnership; GobLab (Universidad Adolfo Ibáñez). https://www.opengovpartnership.org/documents/state-of-the-evidence-algorithmic-transparency/

Venturini, J. (2021). Informe Observatorio Covid-19 del Consorcio Al Sur: Un análisis critico de las tecnologías desplegadas en América Latina contra la pandemia. Al Sur. https://www.alsur.lat/sites/default/files/2021-06/Informe%20Observatorio%20Covid-19%20del%20Consorcio%20Al%20Sur%282%29.pdf

W Radio. (2021, 3 de marzo). Trabajadores del ICBF denuncian irregularidades en plataforma para atender a niños. W Radio. https://www.wradio.com.co/noticias/actualidad/trabajadores-del-icbf-denunrian-irregularidades-en-plataforma-para-atender-a-ninos/20210303/nota/4114097.aspx

Wirtz, B. W., & Müller, W. M. (2019). An integrated artificial intelligence framework for public management. Public Management Review, 21(7), 1076-1100. https://doi.org/10.1080/14719037.2018.1549268.

Notas

Notas