Vídeo experimental y procesos creativos con inteligencia artificial: Algunas obras de Ben Bogart

Experimental video and creative processes with artificial intelligence: Some works by Ben Bogart

La promesa de la inteligencia artificial (AI) deslumbra. La cantidad de elementos a valorar es ingente, desde la generación de prácticas artísticas inéditas (Gómez-Gómez & Rubio-Tamayo 2023; Davenport & Mittal 2022; Farchy & Dennis 2020), las consecuencias laborales y económicas o las problemáticas éticas y morales (Bernaschina 2023). Su irrupción en el terreno de la creación audiovisual tiene numerosos aspectos reseñables. No es el menor el relacionado con la creación experimental, aunque su genealogía se remonte a un grupo de herramientas que abarca desde los computer graphics generated o CGI -que ampliaron el panorama de lo posible y visible audiovisual, con films como Matrix (Hermanos Wachoswki, 1999)- hasta toda una generación de efectos visuales como el seguimiento de formas o la captura de movimiento. Variadas técnicas de animación, el colorgrading, los efectos visuales (VFX) o el digital painting han profundizado la softwarización del cine y creación audiovisual al servicio de la experimentación desde las posibilidades de los primeros plugins basados en algoritmos. Desde entonces, la inteligencia artificial produce películas y contenidos audiovisuales en la sombra.

En otro estadio más, el desarrollo computacional y el software de código de programación han implementado fórmulas para el análisis y visualización de datos de maneras creativas, dando lugar a una producción audiovisual generativa, cuya lógica se ha unido a la de la base de datos, en una gran cantidad de proyectos audiovisuales de pretensión interactiva, donde el espectador tenía un importante rol de participación. Desde aquí la manipulación o hipertrucaje de vídeos para cambiarlos de contexto, resignificarlos o reapropiarse supone una creación y recreación infinita de los materiales, operación que redimensiona o acaba con nociones como la de autor y supone un rasgo de la capacidad videoartista de la tecnología videográfica digital (Mateo & Sedeño 2018).

La imagen en movimiento en el audiovisual experimental contemporáneo se interta en un régimen de «capitalismo informativo, basado en la comunicación y la conexión» (Han 2022, 08). Conectado las veinticuatro horas del día y creyendo en la libertad de expresión producida por imágenes de sí mismo, el sujeto contemporáneo está dominado e intoxicado por esta arquitectura particular, produciendo una cantidad considerable de datos e información que encuentra en la imagen en movimiento un campo fructífero de producción de datos de imagen, vinculado al consumo de imágenes en movimiento.

Las cuestiones en torno al video generativo o, mejor dicho, videos generados por programas de inteligencia artificial y/o editados y alterados por algoritmos van más allá de los derechos de apropiación y manipulación del material audiovisual que circula por Internet. «La capacidad de la IA generativa para crear automáticamente todo tipo de contenidos supone una innovación radical en la forma de producir contenido y conlleva implicaciones en la propiedad intelectual, la veracidad informativa, la identidad personal y la creatividad humana» (Franganillo 2023).

No se trata solo de manipular un conjunto de material audiovisual anónimo que en teoría estaría libre de derechos de autor y/o de la ética de uso y apropiación de los datos y la información producidos y puestos a disposición en Internet, sino de operar la realidad a partir de la crisis de verdad instalada, tal como indica Byung-Chul Han con el término «infocracia» (2022). La imagen en movimiento generada por la inteligencia artificial produce en ocasiones imágenes falsas que participan de una contradicción contemporánea: cuanto más evolucionan los recursos de creación de imágenes que simulan la realidad y pretenden crear imágenes con la misma capacidad humana, más imágenes ‘falsas’ se producen. El autor hace suyas las palabras de Nietzsche, para quien «la verdad es una construcción social que sirve para permitir la vida humana común» (citado en Han 2022, 82).

Para la investigadora y profesora Dora Kaufman (2022), el problema de la IA radica en el sesgo ético presente en las distintas etapas de la IA. Ejemplifica dos puntos. Primero, el sesgo ético en la generación de datos: cuando, por ejemplo, un conjunto de datos de imágenes es generado por países desarrollados que tienen acceso a tecnología avanzada, estas imágenes tienen un estándar normativo descrito anteriormente. Y en segundo lugar, cuando se analizan los modelos desarrollados mediante hiperparámetros (mediante selección de variables), quienquiera que desarrolle los modelos, quien tome la decisión de crear el modelo, siempre se basa en la funcionalidad de la tecnología y no le preocupa el impacto social. Quien crea la herramienta, la diseña independientemente del impacto social, por lo que para Dora Kaufman (2022) resulta bastante preocupante y arriesgado asociar la autonomía de la inteligencia artificial para crear obras de arte o piezas artísticas, ya que los frutos están todos sesgados. Entre estos frutos se encuentran la deshumanización y la individualización resultantes de las redes sociales que se disuelven en grupos y/o tribus, las que dificultan la vida en común, haciendo cada vez más necesario crear bienes comunes (Grear & Bollier 2020).

También cabe señalar que, por un lado, crecen las investigaciones sobre el uso de bases de datos y archivos videográficos que remiten a los orígenes del vídeo como dispositivo de grabación, documento y/o almacenamiento de datos e información (Rodríguez Resendiz 2020) en forma de imagen secuencial en movimiento muy estudiado y analizado por las teorías sobre las imágenes de archivo (Derrida 1995). Por otro lado, se observa un aumento de los recursos de edición, llevados al máximo potencial por los algoritmos de AI. El montaje, especialmente el que surge con el vídeo, generó la ruptura de la narrativa lineal basada en el montaje cinematográfico y configura la estructura fundamental del campo videográfico, basada en operaciones como el collage o el mashup. Esta operación de edición y/o manipulación de la imagen se lleva al máximo con la inteligencia artificial, que amplía las innumerables capas y pasajes entre imágenes.

Los recursos para la creación de vídeos con AI están provocando una revolución en la producción de diferentes formatos audiovisuales y, además, el audiovisual experimental ha explorado la IA en sus procesos creativos, provocando un importante impacto en la creación artística audiovisual, que puede relacionarse con la performatividad del lenguaje vídeo. Actualmente, se asiste cada día a nuevas repercusiones, controvertidas o no, sobre el uso de tecnologías generativas –software y algoritmos de Inteligencia Artificial– que están promoviendo un crecimiento exponencial del material audiovisual ya sea a través de la alteración de otros vídeos, a través de apropiación y remezcla, o incluso de textos (solicitudes y entradas) cuyos resultados, en algunos casos, dificultan el reconocimiento o incluso la autenticación de dichos vídeos.

En este escenario, la complejidad de producir nuevas audiovisualidades en el campo experimental se refleja en una experiencia estética efímera y fragmentaria que opera en el flujo y a través de una manipulación vertiginosa de la imagen y el movimiento. Esta manipulación rápida y, en ocasiones, impulsiva de la imagen en movimiento ha sido promovida por la industria de la AI para alimentar el capitalismo de datos y que, fomentando el uso de herramientas gratuitas de inteligencia artificial, se apropia de bancos de vídeos para alterar la estética y recombinar imágenes y sonidos. con la intención de producir audiovisuales con otros recursos maquínicos distintos a las cámaras. En resumen, las imágenes en movimiento resultantes de las IA siguen siendo el resultado de codificaciones abstractas traducidas en visualidades heredadas de imágenes numéricas, generadas por procesos de aprendizaje automático y/o aprendizaje profundo.

La metodología de investigación utilizada en este trabajo realiza un estudio exploratorio sobre el tema con vistas a una investigación cualitativa, así como a la interpretación y discusión de las obras-ejemplos presentadas con forma de un texto ensayístico, de carácter crítico-reflexivo y que encuadre a los videos experimentales generativos como resultantes de dos perspectivas. Por un lado, son producto de la popularización de la tecnología y el capitalismo de datos (Han 2022) en todas las industrias culturales (Apolo Valdivia 2022; Avdeef 2019; Hunter-Tilney 2023) y, por otro, con ellos algunos artistas exploran de forma experimental y poética las cuestiones de dominación y crisis de la democracia a través del arte y la experiencia estética. Sin embargo, ambos son reflejo de la plataformatización de la vida, la cultura y, sobre todo, el audiovisual.

Dentro del desconocido oasis creativo que puede representar el campo de la AI, el videoarte sigue siendo una presencia constante, ampliando el campo de la experiencia audiovisual contemporánea, a partir de diferentes apropiaciones de la inteligencia artificial. Lo que se pretende con la breve descripción de algunos trabajos de vídeo experimentales resultantes del uso de la AI es plantear respuestas a una inquietud que ha sido la base de otras investigaciones en el campo del videoarte generativo (Sarzi-Ribeiro & Bressanin 2023).

La continuidad del vídeo y el mantenimiento de la experiencia audiovisual en el arte digital reitera el fenómeno de las prácticas videográficas como prácticas culturales surgidas de la performatividad videográfica (Sarzi-Ribeiro & Rocha 2022). Este es el caso de un importante conjunto de obras presentes en la categoría de videoarte del Festival de Lenguaje Electrónico (FILE) realizado en 2022, en el SESI, en São Paulo. De ese conjunto elegimos la descripción del vídeo «A través de la neblina de la mente de una máquina podemos vislumbrar nuestra imaginación colectiva (Blade runner)»¹, de Ben Bogart (figura 1). Este videoarte llama la atención porque contiene aspectos referentes a la visualidad y la estética algorítmica, que remiten a la capacidad de la AI para producir lo visible: ¿qué puede o necesita “ver” una herramienta de AI para producir una imagen?

Y en este sentido quizás la respuesta se dirige a preguntarnos por la relación del artista con las imágenes a través del lenguaje: si antes el mecanismo de producción tenía que ver con el aprendizaje de la técnica de un dispositivo (cámara, software de edición no lineal por ordenador), ahora el vínculo con la imaginación ocupa este espacio y el ejercicio está en saber cómo conducir la expresión lingüística para lograr del algoritmo la forma visual deseada. En esta capacidad enunciativa se encuentra una clave creativa.

Figura 1
«A través de la neblina de la mente de una máquina podemos vislumbrar nuestra imaginación colectiva (Blade runner)»

Ben Bogart, 2017

https://vimeo.com/213741599

El título del videoarte de Bogart hace referencia a la frase dicha por el protagonista de Blade eunner en la película de Ridley Scott (1982) y se compone de imágenes abstractas ligeramente onduladas que crean campos de colores, manchas y capas transparentes de suave cromatismo, en una atmósfera de poca luz delimitada por sombras en contraste con grandes regiones oscuras. Los campos de color, como nieblas, también se revelan en forma de transparencias y focos de colores que aparecen en diferentes regiones de la pantalla de video, bailando como un ballet de luces. Mientras que los sonidos metálicos llevan huellas de un sonido electrónico y fluyen entre la complejidad de los fallos y los sonidos continuos, debido al proceso de autoorganización, la estética es el resultado de la recomposición algorítmica de píxeles y sonidos de la película Blade runner.

Bogart programó la AI para ver la película, observar formas, patrones y reorganizar las imágenes y sonidos, generando una nueva composición plástica que dio como resultado el videoarte, que también forma parte de la categoría de arte generativo. La AI separó extractos de la película por similitudes en color y forma y muestras de audio (voces, sonidos de la ciudad y otros) y aunque esta interacción destruyó la composición original, conservó las propiedades estadísticas subyacentes.

La estructura de la obra es un resultado emergente de la interacción entre la subjetividad de la máquina y la estructura subyacente de Blade Runner. La evolución y el desarrollo del paisaje sonoro y el campo de color de cada escena son logros del proceso de aprendizaje automático, posible gracias a un algoritmo de aprendizaje automático autoorganizado. El lento movimiento del entorno de imagen y sonido está marcado por cambios drásticos que ocurren en la imagen y el sonido correspondientes a los cortes entre escenas en el original² [traducción propia].

Sin embargo, los algoritmos observaron los sonidos y las imágenes y operaron sobre estos datos, traduciéndolos en una abstracción caótica, resultado de una estética algorítmica que recompone fragmentos visuales. Pero el resultado es frustrante, las imágenes tienen un contenido de abstracción que roza la monotonía, que, de hecho, el sonido robótico es incapaz de cambiar. Mientras se visiona la obra se puede pensar: «¿es esto? Sí, esto es lo que el algoritmo puede hacer con lo que puede interpretar de lo que ve, es decir, datos abstraídos que generan patrones cromáticos y sonoros».

En 2014, Bogart inició una serie de trabajos con IA bajo el nombre de «Watching and dreaming», resultado de su investigación doctoral en artes y tecnologías interactivas en la Universidad Simon Fraser. En su tesis (2008), el artista desarrolló una teoría integrativa para analizar los mecanismos cognitivos y neurobiológicos de la percepción, las imágenes mentales, las ensoñaciones y los sueños. El objetivo de Bogart va más allá de la investigación estética con algoritmos, ya que los vídeos que resultan de esta serie suponen un desafío para un público acostumbrado a reservar para la ciencia o la ciencia ficción el papel de actores de las transformaciones tecnológicas. Aquí se topan con obras que se apropian de la IA para cuestionar «la naturaleza construida de nuestras propias percepciones»³.

En «Watching and dreaming» (2016), Bogart utilizó complejos algoritmos para recomponer millones de fragmentos de imágenes y audio de dos conocidas películas de ciencia ficción, 2001: A space odyssey (1968) y Blade runner (1982). El programa identificó similitudes en color y tamaño, forma y sonidos y agrupó sonidos e imágenes para finalmente crear una reconstrucción de estos datos.

El resultado es una trama compuesta de collages abstractos que permiten al público identificar algunos aspectos familiares de las películas, mezclados, recompuestos, a partir de otra configuración de formas, personajes, paisajes, objetos. Es el caso de una figura que se puede ver sentada en un sofá rojo o caminando por una ciudad, de la que existen fragmentos, detalles, en el umbral de la legibilidad, siendo suficientes para desencadenar la memoria visual del público que reconoce huellas de las películas originales.

esta serie de trabajos es el resultado del aprendizaje automático impulsado estadísticamente por algoritmos de visión por computadora de AI que intentan comprender representaciones cinematográficas populares, desarmarlas y reconstruirlas. La comprensión de las máquinas se manifiesta en su capacidad para reconocer y, eventualmente, predecir la estructura de las películas que ven. Las imágenes producidas en las películas son el resultado tanto de la proyección de la estructura imaginaria del sistema como de la estructura de las películas mismas⁴ [traducción propia].

El trabajo alcanza la abstracción caótica y genera construcciones imaginativas oníricas que imposibilitan la lectura de la estructura.

Estas obras ejemplifican cierta estética de los artefactos video u obras videográficas experimentales con AI y contienen algunas operaciones artísticas, en cierto modo clásicas, como el bricolage o collage cultural, la cita-pastiche y la automatización. Todas ellas formaban parte del panorama de herramientas conceptuales de la primera vanguardia y de las siguientes, como ya describió Manovich (2001) como pertenecientes al media art, siendo estas los referentes históricos básicos de la producción visual experimental. Esto resulta compatible con algunos trabajos ya realizados, que resaltan la paradoja de una estética retro de las obras audiovisuales producidas mediante algoritmos (López Delacruz 2023).

Las imágenes contemporáneas multiplican su performatividad, sus funciones. El campo del video experimental supone un territorio amplio que genera una producción visual que recoge del contexto cultural todas sus vicisitudes, problemáticas y expectativas, adecuado para estudiar las incursiones de las herramientas de la llamada AI generativa.

En las obras videoartísticas presentadas, el resultado se dirige a una profundización de la abstracción y relación con el sonido que se remonta a los orígenes de los audiovisuales, a través de la sinergia entre el ruido y la fragmentación de sonidos e imágenes. El proceso de deconstrucción y reconstrucción de imágenes y sonidos desencadenado y operacionalizado por la AI, se remonta a los procesos creativos del arte contemporáneo de vanguardia que se ha encontrado ante un gigantesco banco de imágenes, legitimadas por la historia del arte. Con este archivo o colección comenzó a crear otras innumerables imágenes basadas en la mezcla, el collage, apostando por operaciones de automatización. Esto se debe a la performatividad intrínseca del vídeo, especialmente en el ámbito experimental, que provoca diferentes desarrollos estéticos y éticos como los que deben observarse en los audiovisuales producidos con IA.

Finalmente, esto conduce a preguntarse si la experiencia que la inteligencia artificial en el video experimental propone es novedosa, definidora de un paradigma estético inédito acorde con su imaginario… Quizás nos encontramos en una fase demasiado temprana para responder a esta pregunta, pero quizás la preocupación del artista debería conducir a subvertir la lógica de las herramientas y la funcionalidad de algoritmos para exponer los sesgos detrás de la programación de las máquinas.