Del video-mapping a la representación digital: espacio y mediación

From Video-Mapping to Digital Representation: Space and Mediation

Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-SinDerivar 4.0 Internacional.

Nuestra problemática se resume en una posible lectura del video-mapping como un dispositivo multi-espacial que opera en el contexto informático y real. Esta técnica es determinada por la materialidad de un software que da información y proyecta lumínicamente los procesos visuales y sonoros. Con la ayuda de un proyector de imágenes que se encuentran en movimiento, fijas o sintéticas se amplían los hábitos simbólicos de interpretación del espacio físico. Por tanto, hay relaciones simbólicas entre el ordenador y este dispositivo de visión que nos permite pensar sobre la función que posee el video al utilizar representaciones digitales en el espacio numérico (software y el buscador geográfico) y el espacio de proyección (sala, museo, fachada, ciudad).

En primer lugar, Lev Manovich en su libro El lenguaje de los nuevos medios de comunicación nos ofrece una serie de conceptos clave que permiten analizar el video-mapping más allá de su condición técnica y nos ubican en un contexto más amplio dentro de la cultura digital, que tributa a la imagen informática. Esta problemática de asociar la técnica del mapeo videográfico con los cinco principios (representación numérica, modularidad, automatización, variabilidad y trans-codificación) ayuda a entender la dimensión del video-mapping ligada a sus condiciones materiales, sistémicas, procesuales y perceptuales. Surgen, así, una serie de interrogantes trans-disciplinarias al respecto: ¿cuál es el rol de la representación digital en el contexto del frame? ¿En qué sentido se identifica la modularidad en el software y en su espacio de proyección? ¿Cómo se comporta lo automático en el video-mapping? ¿Este dispositivo técnico se convierte en sonido en el contexto de la variabilidad y la expansión de los medios en el paisaje sonoro o visual? ¿Cuáles son sus posibles lecturas de descodificación tanto en lo virtual como lo real?

Contestando estas preguntas, desde nuestro planteamiento, el propósito metodológico es comparar estos principios de Manovich con la configuración del video-mapping. Pensándolo, no solo como un programa de computador, sino esclareciendo los espacios (virtuales y reales) de interacción de estos medios en tanto que cruces programados por el código digital, que va más allá de ser un software de mapeo y corrección geométrica 3D. Nos concentraremos en como este dispositivo espacial representa lo numérico, lo geográfico y lo ambiental desde diversos enfoques y puntos de encuentro teóricos. Empero, escogemos ese camino para asociar el software a una estructura espacial de imágenes que se hilvanan en la producción de un espacio virtual, el cual se proyecta, asimismo, a un espacio real, sin interesarnos en el análisis del sistema operativo.

Nos volvemos a interrogar, ¿cómo funciona el video-mapping como lenguaje numérico en el espacio? Desde este contexto, nuestro objetivo es analizar la representación digital como lugar y como mediación a partir de Manovich, quien delimita la estructura del artículo. Esta problemática del lenguaje numérico explicado por el autor plantea unas estrategias de mediación espacial. Allí, se intersecan códigos más allá de un objeto mediático, el cual se podría definir, inicialmente, en cuanto a sus herramientas de control que ayudan a plantear múltiples usos condicionados por la materialidad digital que tiene una ubicuidad en el espacio intermedial. Una mediación espacial la podemos distinguir como un conjunto de interacciones de medios manuales, mecánicos y digitales que tienen un lugar físico concreto: sala, galería, museo, fachada arquitectónica o paisaje. Actuar en un ambiente mediático nos obliga a observar todos los soportes que intervienen en el lugar, incluyendo recursos plásticos y simbólicos como la pintura, el dibujo, la foto de satélite, el video e internet. Allí se incorporan plataformas (análogas, electrónicas y digitales) en diversas producciones icónicas con sus sintaxis figurativas o abstractas que tienen sus propias lógicas de producción. Con esto, repasamos los métodos digitales colaborativos entre los medios, asociando imágenes visuales, sonoras, espaciales y topográficas que asumen una labor colaborativa, activa y transversal de carácter instrumental.

No pensamos solamente en el software operativo u objeto mediático como reproductor del espacio físico, sino en la implicación de la tecnología medial desde sus múltiples procesos de representación digital. En este sentido, hacemos alusión a la imagen proyectada como lugar de cruces fortuitos, sustituyendo la sala de cine, para crear un recinto de inmersión lumínica. Nos preguntamos, también, sobre la naturaleza de las imágenes que intervienen en la creación, modificación, edición y procesamiento visual, describiendo sus métodos de intermediación con la tecnología informática desde estos cinco principios de Manovich. También, con el fin de ir jerarquizando este aparato crítico nos centraremos en Manovich, sin dejar de lado algunas nociones y conceptos de otros autores en un segundo plano teórico. Para seguir respondiendo a estas preguntas, es necesario considerar las ideas de Marshall MacLuhan (1964), Rosalind Krauss (1979), Pierre Schaeffer (1983), Jürgen E. Müller (2006), Silvestra Mariniello (2009), Jean Claude Soulages (2011), Giorgio Agamben (2015), George Didi-Huberman (2014), Henry Lefebvre (1974), Stéphan Vial (2013) y Jean-Luis Déotte (2015).

Estos autores son pertinentes en cuanto al estudio de la imagen estructural, la reproducción artística (Benjamin, 2003) digital y los pasajes urbanos (Lefebvre) virtuales en tanto que ambientes de inmersión que construyen ciertos tipos de saberes espaciales originarios de las pantallas (Soulages). Podemos contestar, además, estas preguntas entrando en el vasto universo de los Medias Studies(Müller) y los Software Studies encaminados a la especulación sobre la tecnología como materialidad (el hardware como artefacto, las interfaces y los efectos observables en la cultura) aplicada a las artes y las humanidades digitales. Igualmente, cabe resaltar los campos trans-disciplinarios relacionados con la Medienwissenschaft alemana, los Media studies, los études médiatiques canadiennes, aún más, la mediología que profundiza en los “aparatos” mancomunados a las artes visuales y la instalación artística que se acercan a la noción de intermedialidad, conjuntamente, con los Sound Studies que analizan los dispositivos multimedios como técnicas híbridas en lugares de intercambios. Déotte hace alusión a los aparatos, no solamente como extensión y mensaje, sino, como lo plantea MacLuhan (1964), a los paradigmas de la alfabetización sobre los medios que los abordan y los contextos donde se extienden (2015, p. 2).

La máxima “el medio es el mensaje” se centra en el dominio de los artefactos de significación, a través de la mecanización y automatización eléctrica de los monitores y la extensión de nuestro cuerpo hacia el espacio infinito, el cual es sustituido por lo tecnológico. También, se observan estas prácticas mediáticas en tanto que manipulación de dispositivos integradores inclusivos y exclusivos de tecnologías dependientes de las articulaciones y de los procesos espaciales como lo hizo la perspectiva renacentista (Déotte, 2015, p. 2) a inicios de la modernidad y el claroscuro barroco del siglo XVIII. Estos aparatos tradicionales resultan, en sí mismos, conectores disciplinarios de fuerzas ambientales y de relaciones de dominación estéticas determinadas por sistemas de representaciones, con sus puntos y esferas de acción orientadas a la cultura y movilidad tecnológica. Para Müller el concepto de intermedialidad, no solamente es espacio, sino que responde a un contexto histórico delimitado por las ciencias sociales del siglo XVIII al siglo XX, que observa la división de los diferentes campos académicos de las artes, vinculados al Romanticismo y la práctica universitaria² (2006). Además, alrededor de la noción de progreso como modernidad de la cultura de la información, la cultura digital (Doueihi, 2008) y la sociedad de pantallas determinan unas prácticas y exploraciones con dispositivos multisensoriales, las cuales se representan por las “teorías-yuxtamediáticas” (Müller, 2006, p. 101).

A raíz de las observaciones teóricas de los autores mencionados, se puede vislumbrar otras lecturas que se podrían asociar al video-mapping y su evolución natural de los medios digitales desde el espectáculo, lo escénico, la arquitectura y lo urbano. Por tanto, el lugar de la investigación actual sobre estos temas paradigmáticos contribuye al entrecruzamiento de saberes institucionales como la historia del arte, las prácticas artísticas, la visualidad y el paisajismo. El paisajismo conduce a la producción simbólica posible en el espacio de las representaciones (Lefebvre, 1974), técnicas y tecnológicas, donde los medios interaccionan, se editan, se transportan y se transforman en imágenes como una manera de producir el universo digital.

Este artículo se divide en dos partes. La primera amplía y reflexiona sobre las estrategias de mediación en el espacio, utilizando los cinco principios de Manovich aplicadas al video-mapping. La segunda parte, aborda un caso de estudio centrado en una investigación-creación intermedial denominada “Territorios de la Catástrofe”, donde se adapta la técnica video-espacial con mapeo de objetos y superficie planas, al emplear diversos recursos mediáticos. Por último, con estos cinco principios intentamos problematizar este artefacto visual como software que se extiende al contexto de las pantallas.

Vamos a centrarnos en los aportes teóricos de Manovich, el cual está delimitado por las estrategias del espacio de pantallas y las maneras de operatividad de sus estructuras en alusión a la conexión de los medios estudiados por algunos autores citados. Estas reflexiones giran en torno a la modularidad espacial; la representación numérica con frames; la transcodificación desde una mirada tautológica; la automatización de la dimensión lumínica-intermedial y la variabilidad del objeto sonoro en el espacio de pantallas. Con estos puntos mencionados relacionamos los tipos de producción de espacios del video-mapping en tres áreas: a) el espacio del hardware (tangible) y el software (lógico), b) el espacio de las pantallas (monitor, pantalla de proyección, imagen informática) y c) el espacio interno o arquitectónico-urbano como soporte de apropiación (Lefebvre) de esas proyecciones.

Nos interesa entender el espacio en los medios y en los contextos donde se localizan las proyecciones alejándonos de las nociones de la física de espacio-tiempo(Lefebvre) y acercándonos al espacio de la imagen de video, plástico, arquitectónico, urbano y de la ubicuidad geográfica. Con estas condicionantes se pueden extender, integrar y difundir los ambientes digitales que representan, procesan, transmiten y almacenan datos sensoriales, pero que se extrapolan mutuamente, generando encuentros ilimitados de imágenes compuestas por escalas, posiciones, proporciones y resoluciones. El sonido como la imagen son procesados por la informática, expandiéndose y coincidiendo en el espacio físico, pero produciendo un ambiente digital proyectado en las superficies naturales-artificiales: a) tangibles: paisaje, fachadas, paredes, pisos, techos y b) intangibles: niebla, vapor, luz. Asimismo, entendemos por pantallas esas superficies materiales (digitales y proyectadas) donde los dos componentes se entremezclan y convergen con diversos orígenes mediáticos.

Primeramente, es necesario preguntarse sobre la modularidad como parte del espacio-pantalla: ¿qué es un dispositivo modular en el espacio? La modularidad es determinada por unos límites consignados a un cierto fin. Las proyecciones modulares “constan de partes independientes, cada una de las cuales se compone de otras más pequeñas y así, sucesivamente, hasta llegar al estadio de los ‘átomos’ más pequeños, que son los pixeles, los puntos 3D o los caracteres de texto” (Manovich, 2005, p. 76). Esta modularidad escalar se entiende más allá del espacio del ordenador, pero se delega a otras espacialidades que dialogan con un dispositivo conductual. Agamben (2015) se acerca de una forma general a este término de dispositivo, indicando que todas las condiciones de gobierno, que orientan y funcionan, forman parte de sistemas más complejos como los modulares. Estos módulos abrazan elementos articulados, tales como individuos y piezas con funciones precisas, emparentadas a la capacidad de capturar, guiar, controlar y orientar comportamientos humanos con sus puntos de vista y lógicas de poder (p. 11).

El video-mapping es un dispositivo que preside el espacio puesto, que modula, desde la amplitud del software, las “informaciones divisibles” separadas en partes distintas o piezas: sonidos, fichas y documentos en formatos numéricos como HTML, que se manipulan en la pantalla-terminal. Estos formatos se asemejan al fractal por ser objetos agrupados y condicionados a escalas. Por tanto, un espacio digital puede ser resaltado sobre la pantalla-objeto, que constituye el espacio real, al visualizar información de colecciones como píxeles, caracteres y polígonos a diversas gradaciones (Manovich, p. 75).

Un tipo de producción de espacio (Lefebvre) se puede asociar a la modularidad, la cual establece una construcción en distintas gradaciones. De acuerdo con Manovich (2005), la modularidad le da importancia a la “estructura fractal de los nuevos medios” (p. 75), pues un fractal es una agrupación representada en escalas. Todo lo que puede ser representado mediante pruebas moderadas y se organiza en un objeto de mayor tamaño y conserva así, su identidad individual y podrá extraerse sin modificar el todo (Manovich, 2005, p. 76). Esto conlleva a la representación digital en objetos más grandes manteniendo su identidad con los componentes físicos del hardware.

Más bien, el video-mapping como dispositivo audiovisual constituye una modularidad del artefacto tecnológico en el dominio panorámico como si fueran patrones fractales en el espacio proyectado. Este dispositivo audiovisual indica acciones y condiciona lenguajes de la máquina de luz (proyector), la cual logra un desplazamiento de su halo luminoso hacia los campos internos o externos de los objetos y superficies receptoras de esa luz-icónica. Recordemos que el proyector, como un medio periférico, es un portal que genera pantallas (otros medios), las cuales se organizan de acuerdo con la lógica del software. También, es un aparato que condiciona la iluminación y la linterna de proyección configurada.

Asimismo, este dispositivo audiovisual delimita usos técnicos que influyen en nuestra conducta espacial en relación con los artefactos artesanales-digitales y las escenografías de props virtuales. Al contrario de los dispositivos artesanales (pintura, dibujo, escultura modelada), los dispositivos electrónicos y digitales (como las cámaras de vigilancia) han conducido al usuario a ser sujetos de control (Limare, 2015, p. 13) condicionados por la operatividad del proyector. Esa operatividad organiza patrones visuales, en los que la modularidad se define por ese control óptico (Agamben, 2015, p. 10), el cual puede ser representado, manipulado y proyectado in situ, e integra el movimiento conducido del cuerpo con la pantalla (Manovich, p. 155). Aún con los teléfonos portables e inteligentes, el usuario-cybord puede realizar video-mapping generando proyecciones íntimas en su cuerpo, ligadas a la manipulación de la visualidad retiniana desde la mano.

Pensamos que la representación numérica se enmarca en un frame o imagen al delimitar todos los objetos de los nuevos medios que detentan un marco visual en el espacio de proyección del video-mapping. Entendemos el frame como un espacio dotado de particularidades estructurales que ayuda, pero integra la imagen del monitor-ordenador, la imagen en fondos periféricos y la(s) imagen(es) proyectada(s) en otras pantallas-superficies. Estos frames “son representaciones numéricas” (p. 72) manipuladas algorítmicamente que se expanden en superficies iluminadas con límites precisos. Este ambiente de dispositivos proyecta imágenes fijas o en movimiento que se organizan desde cero, generando una conversión a partir del código digital determinado por la “función matemática” o la “manipulación algorítmica” (p. 72). En este caso, el software de aplicación para realizar video-mapping contiene un cerco construido en sí mismo como un sistema de “parámetros de imagen” donde el espacio es programable (p. 73).

Esta espacialidad hecha por el software, desde la pantalla-terminal constituye una digitalización del espacio físico, dentro del cual se organiza y se establecen principios estructurales de imagen electrónica que incluyen la toma de muestras visuales. Además, la resolución y el tratamiento de datos continuos, donde la cuantificación de cada muestra se agrupa, se encuadra y se comprende de acuerdo con un valor numérico dentro de una realidad no material. En suma, el video-mapping se define como un dispositivo mediático que proyecta animación-imagen fija con limites irregulares sobre superficies concretas, que se transforman en fotogramas o video-gramas a gran escala, desde una carpeta de datos, cuantificando y manipulando muestras digitalizadas proyectadas, temporalmente, en las paredes o superficies.

Asimismo, estas muestras proyectadas controlan el cuerpo en el espacio, cuando este se moviliza y penetra, por actos performáticos (muy usual en danza y teatro), la “composición digital” (Manovich, p. 209) del frame con su “tecnología de simulación” (p. 209). Estos frames responden, inicialmente, al encuadre rectangular del ordenador, pero se arman en un discurso visual, sobrepasando el rectángulo de pantalla y adaptándose a las posibilidades de los planos excéntricos construidos por el software sin fronteras, sin bordes operados con cálculos precisos. Ahora bien, ¿cuál es el rol de la representación numérica en el espacio del frame? Dado que la fotografía digital en la pantalla puede ser un ejemplo de representación, a la luz de este principio de Manovich, podemos pensar al encuadre rectangular de la misma, el cual se inserta en la cultura mediática. Pero hay que admitir que, el frame de la pantalla del ordenador interpone un sistema de conocimientos deícticos-técnicos que se refieren a la naturaleza de la imagen como medium, complementándose con el logos-visual (Mariniello, 2009, p. 72). Se entiende que este logos-visual se encapsula como imagen fotográfica digital y, a la vez, como pantalla de trabajo, la cual se centuplica en formatos irregulares proyectados sobre los muros, espacios y objetos. Pero, el logos-visual de la fotografía fija, que es trabajada en el software, actúa en el discurso mediático al exponer sus contenidos digitales como mensajes en movimiento.

Consideramos de utilidad definir esta representación numérica en cuatro dimensiones: en primer lugar, el savoir-faire se acopla con la operatividad de su representación espacial, a través del cual el código de programación se proyecta en un punto que se vuelve programable visualmente. En segundo lugar, la fotografía o imagen fija queda autónoma a pesar de que se mezcla con otras imágenes, precisamente, porque está enmarcada en un framing numérico. En tercer lugar, Mariniello (2009) hace referencia a esa condición de la fotografía como un medio en sí mismo que apela al logos: “si una de las características de la modernidad era la constitución del sujeto en relación con el logos, aquí se trata de la constitución del sujeto en relación con el medium intermedial fotográfico, en relación con el ‘framing’” (p. 72). Finalmente, si el frame del video-mapping se aleja de un logos convertido en médium, se multiplica en tanto que formato y contenido digital.

En conclusión, el frame circunscribe y resguarda la imagen temporal y la imagen fija, como lo hace el marco en una pintura barroca; más bien de una manera ilimitada sin barreras espaciales donde los contenidos se difunden y se proyectan al infinito. Entonces, nos hacemos esta interrogante ¿Qué se entiende por infinito? El video-mapping aspira a naturalizarse y a confundirse con las estrategias de colaboración, al hacer invisibles sus organizaciones y añadir el “pensamiento de la mediación y la inmanencia” (Mariniello, 2009, p. 62) de una forma axiomática. La inmanencia es permanente y la mediación es un espacio que no tiene delimitación en el contexto de la representación numérica.

Según Manovich, la transcodificación constituye una traducción a otro formato. Cuando se pasa de un dibujo hecho a mano o pintura hacia una foto fija, o bien, hacia una proyección, se plantea una disposición que incluye digitalizaciones, transposiciones, traducciones y permutaciones. Estos procesos se asemejan a la informatización de los recursos utilizados en el contexto de capas de nuevos y antiguos medios que se expanden en el espacio y se completan con las proyecciones entre fondos. El video-mapping está compuesto por un contexto espacial intercambiable y de actualización en el mundo de la escena. Este articula diversos medios y se concentra en la disposición sobre pantallas proyectadas, las cuales pueden ser leídas desde esas armazones de luz, color, sonido, cámara, objetivos, montajes, que se salen del marco tradicional y del plano general. Asimismo, se transmuta a otros medios cuando las imágenes son procesadas en el software, proyectándose a los marcos (que invaden el cuerpo, los objetos y los ambientes sin fronteras, discontinuas) por agrupaciones de formatos que conviven o se niegan a compartir una sola dimensión técnica.

Por ende, la transcodificación, además de ser una traducción a otros mensajes técnicos (Manovich), es una mirada tautológica porque sus códigos son parte de la operatividad del software y se interpretan mientras se traducen mutuamente. Esa mirada parte de la hermenéutica y la codificación estética planteada por Didi-Huberman en su libro Eso que vemos, eso que nos ve (2004). Los códigos traducidos nos miran desde el ordenador y la imagen proyectada es contemplada por el usuario. Por ejemplo, la desestructura entre fondos proyectados obliga a un atisbo sobre las complejidades perceptuales de la mirada en ambientes producidos por el video-mapping, los cuales tienen un esqueleto visible indeterminado e insuficientemente concreto, que permiten esa lectura. Estos pueden ser abordados por un “ejercicio de tautología” (Didi-Huberman, 2014, p. 21) y una verificación de los sentidos. Las pantallas son interpretadas culturalmente, pero de una forma limitada, con poca claridad estructural asumiendo lecturas inciertas.

Estos vaciamientos de los bordes de las pantallas hacen evidente el significante del video-mapping con respecto a lo que vemos (materialidad) y que nos observa (connotación) desde las migraciones a otros formatos. La oscuridad absoluta de la caja negra, con la negación de luminosidad y el ilusionismo espacial (Didi-Huberman, 2014), al utilizar la luz como recurso, compone significantes vaciados de contenidos, los cuales presentan una materialidad que se hace irrefutable en la pantalla-global (Soulages, 2011) del ordenador conectado eternamente a internet. Somos nosotros quienes decidimos si llenar esos significantes técnicos de significados o dejarlos vacíos. La estructura de las proyecciones no se ve claramente: está evacuada en el mundo virtual y la realidad aumentada, que representa objetos tridimensionales, cuerpos y ambientes. Nosotros habitamos en el vaciamiento de los conceptos de la imagen cuando entramos a interactuar con las superficies específicas de las pantallas. Los aspectos significantes de las mismas se observan de dos lugares: desde su enfoque perceptivo, donde se descifra (por ejemplo: los reflectores que se atraviesan y habitan en la superficie de la arquitectura) y desde el lugar donde se operan. Estos aspectos, también, son relacionados con su alto nivel sensorial en contraposición a su naturaleza numérica, la cual no se advierte a simple vista debido a su “código numérico” (Doueihi, 2013) que programa el lenguaje digital.

Esa mirada tautológica que recalca la estructura hace alusión al discurso de los artistas contemporáneos (Tony Oursler, Mona Hatoum, Krzysztof Wodiczko) que fomentan los espacios abstractos donde se aprecian las apariencias, las ilusiones y no hay que decir nada más de lo que los ojos ven. “Y esa misma indiferencia se atribuye el estatus de un modo de satisfacción frente a lo que es evidente, evidentemente visible: lo que veo es lo que veo, y con eso me basta” (Didi-Huberman, 2014, p. 21). Podríamos parafrasear la idea de Huberman indicando que lo que vemos en los telones es lo existe, pero lo que advertimos no tiene una estructura clara, puesto que es virtual debido a la interfaz de usuario y el código binario de la máquina. Los discursos tautológicos se asocian a unas pantallas vistas sin sentimientos (2014, p. 34) que se contrarrestan con los datos procesados, que se traducen, que niegan a un imaginario de la narración que no van más allá de las proyecciones. Estas tienen una materialidad aparente, aunque parece que poseen una inmaterialidad adentrada en los fenómenos de sombras y reflejos de espejos, en las superficies etéreas que inventan una temporalidad, donde los significados estarían a la altura de esa lectura simbólica. En fin, la desestructura de las pantallas considera otras lógicas invisibles en el video-mapping como un trabajo de dispersión y transcripción de códigos.

El video-mapping ubicado en la ciudad nocturna es determinado por estructuras circulares que terminan donde empiezan otras, pues, las proyecciones se operan automáticamente en circuitos repetidos. Estos aparecen y se ejecutan, se hacen de luz por sensores activados sobre las fachadas de los edificios, reconfigurando ciclos de “experiencias perceptuales” (Boisclair, 2015) culturales. Estas vivencias pueden someterse a la reproducción icónica que define el régimen de la visualidad dentro del espacio urbano de la noche. El video-espacio de las penumbras y las secuencias mediáticas permite que el sonido interaccione en la oscuridad, aprovechando las caras de los edificios como imagen, la cual entra en lopping automáticamente.

Podemos dividir la automatización del lopping de video-mapping en dos aspectos: la dimensión lumínica e intermedial en el marco espacial. La dimensión lumínica se puede contemplar según Manovich en su regeneración persistente, al utilizar la codificación numérica y la modularidad mediada por la lógica del software. La imagen de luz que se construye desde el programa toma en cuenta las continuidades icónicas y sónicas, dentro de las cuales surgen cortes y prácticas de mapeo por medio de plantillas y dispositivos omnipresentes en el contexto de las proyecciones como closed loop. Se indica, asimismo, la función intermedial con la mezcla del hardware y el software, cuando lo automático se pasa de un medio a otro, o cuando los medios se convergen en circuitos cerrados, donde hallamos una automatización de la “creación, manipulación y acceso” (p. 77). Como lo explica Manovich, se han usado ordenadores para generar poesía con simuladores de conversión humana (bots). Además, tenemos el teatro virtual con sus actores simulados que interactúan con las pantallas, “en respuesta a las acciones del usuario” (p. 79).

En otro orden de ideas, nos enfrentamos con la creación de proyecciones que se repiten cíclicamente a gran escala, que cubren edificios simulados de la ciudad poética-anónima, convirtiéndola, a la vez, en mediática. De esta forma, ofrecen múltiples planos-videos dirigidos a los peatones-consumidores. La luminosidad y la dirección del mapeo del proyector, en esos contextos, se pueden corregir automáticamente en la proyección directa sobre las superficies de las edificaciones. Precisamente, en este sentido, esos bucles estéticos se expanden en el espacio urbano como caras exteriores, invitando al paseante y al ciudadano a ser observados con detenimiento. La ciudad nocturna se llena de reflectores con ciclos automáticos donde predomina la repetición continua de videos callejeros, que flotan en la oscuridad, conviviendo con el tiempo real en looping. Podemos encontrar puntos en común en el proemio de la ciudad, de modo que, sus multitudes y sus frontispicios son representaciones de imaginarios repetidos y condicionados por automatismos reales y virtuales.

El video-mapping articula la imagen plástica transformándose en efectos intermediales repetidos sin fin. En este caso, esta operación de medios corresponde a un tipo de focalización en el entorno interno y externo del programa de cómputo, el cual es controlado desde el panel del ordenador hacia el espacio. Con este instrumento se plantean diversas rutas de interacción, tanto video autónomo, como isomorfismo perceptual, los cuales definen los aspectos estéticos, táctiles y materiales de las pantallas proyectadas en los inmuebles. Los efectos ilusionistas condicionan la dirección visual, tal como lo plantea Justo Villafañe (2006, p. 187). La estimulación de la visión estructuralista de las pantallas que se reproducen o se engendran a partir del video tradicional, con un solo marco, reconocen las superficies fragmentadas de cada medio en convergencia y cohabitan en un parque o monumento. Por ejemplo, los frames que se proyectan en las fachadas de una ruina pueden establecer y contribuir, también, a la implicación de medios antropológicos y al perfeccionamiento de aspectos técnicos y de sus vinculaciones etnográficas.

Los principios —intermedial y lumínico— nos ayudan, precisamente, a pensar lo escénico del urbis, por proyecciones, como un entorno autosuficiente donde cabe la posibilidad de generar una experiencia de mural urbano al convivir con nuevos medios en grandes extensiones. Al sobrepasar las ideas de la imagen digital transformada en objetos de diversas secuencias visuales sobre soportes transparentes u opacos, se generan recuadros y fragmentados de luz en los detalles arquitectónicos. Pues, sus imágenes conviven dentro de pantallas, como objetos luminosos que sirven para informar y generar experiencias de la recepción estética fuera del museo, buscando bucles de proyección que se disparan al exterior, al romper los límites de la imagen estética tradicional. En ese caso, la imagen plástica, cuando se hace pantalla inmaterial y perceptual (Vial, 2013), se vuelve imagen sincronizada, gracias a los focos de los proyectores localizados en diversos sitios. En conclusión, los modelos no lineales de relaciones en los que se cruzan medios con sus propios regímenes constituyen sistemas técnicos (Vial, 2013), lumínicos en la medida que se interponen formando entornos cinéticos y ópticos, que colaboran de una manera pluri-direccional al conjunto de las proyecciones urbanas.

Según Manovich, la variabilidad se integra al sonido como objeto en el ambiente proyectado. Todo sonido producido por los nuevos medios existe en versiones distintas y, a la vez, se hace interminable donde la modularidad causa descomposiciones en pequeñas porciones desequilibradas, que se adaptan a los usos de esas variables “mutables” y “líquidas” (p. 82). Las versiones de lo icónico consiguen entronizarse en los sonidos acoplándose a las secuencias de movimiento del video-mapping, las cuales sustituyen o colaboran en la construcción del sentido. La imagen sonora se puede definir, desde Michel Chion, vinculada a lo perceptual y a lo semiótico, esto involucra prácticas de escucha que se transforman en objeto de comunicación. Chion hace alusión a la teoría de Pierre Schaeffer que está delimitada por la audición unida a la acústica. Dicha teoría amplía esta noción de imagen, la cual se explica como una guía para comprender los objetos sonoros, que son artefactos que producen sonido.

Asimismo, valoramos el video-mapping como un tipo de artefacto digital mediante el cual converge el sonido con el espacio visual caracterizado sin estructura, diegético (relativo a la narrativa), vacío, significante y compuesto de frames de luz. El sonido se potencializa por la imagen proyectada y esta invade el espacio iluminado, pero lo hace a su manera. El sonido podría ser un objeto sonoro que se importa al software y que tiene una materialidad que contiene herramientas de corrección y de optimización, aparte de incidir en la configuración rítmica de la imagen. El sonido se adecúa a su naturaleza, pero continúa siendo autónomo y dominante a pesar de su indiferencia con la imagen, la cual confirma su nivel sensorial. El sonido se altera y se superpone mediante filtros, el cual se difunde por el software de aplicación u otros programas de edición de video. Así, funciona como imagen sonora y genera diversas tareas con énfasis en las proyecciones sincrónicas no-figurativas y no-icónicas, al establecer “sistemas anamórficos” (Chion & Schaeffer). Eso podría describir el fenómeno del sonido que se acompaña de lo visual, para existir en el espacio, permitiendo una deformación de la condición de visualidad, que produce una realidad física concreta, muy cercana a la tipo-morfología shaefferiana (Chion & Schaeffer, p. 24).

Es decir, el sonido en el video-mapping se digitaliza como imagen sonora, en tanto que unidad más pequeña de lo visual, constituyéndose en una representación controlada y azarosa, la cual está determinada por la posición de los instrumentos y protocolos de producción sonora. Los sonidos visuales pueden estar incluidos en las representaciones gráficas de los ecos de las maquinas informativas y los sonidos del video como maquinaria de procesamiento, almacenamiento y reconstrucción de información audiovisual. Estos se convierten en una agrupación de ondas que se propagan al acompañar un medio visual y producir variaciones de distancia entre pantallas.

A su vez, los medios visuales y sonoros se diversifican en información perceptual y solidaria en un espacio interno. Se habla de imagen sonora cuando el sonido se combina con la imagen o la complementa. El video-mapping recompone la información visual y sonora en ambientes ópticos y acústicos donde se toman en consideración los aspectos físicos del proceso inconcreto en la producción, transmisión, recepción y control de los sonidos interaccionados con la imagen visual de un recinto o espacio abierto. En este sentido, este software se asemeja a la configuración visual y sus aspectos ópticos o estadios de creación, irradiación, captura y lectura de las informaciones proyectadas, las cuales gozan de autonomía. El medio acústico como imagen y material creativo comparte el mismo sitio de difusión del campo del video que no consigue existir, en algunos casos, sin la contraparte del sonido. La acústica de una sala puede determinar las relaciones perceptuales de lo visual, en el caso de las proyecciones con sonidos coordinados con imágenes. Es decir, ese conjunto de condiciones (luz, espacio, difusión, proyección) como las distinciones sonoras de un lugar que se penetra, es relativa a la propagación y la difusión del sonido al determinar las condiciones de proyección visual en un campo en expansión estructural.

Krauss hace alusión a la extensión de los medios como un tipo de variabilidad espacial pero que se puede interpolar a la resonancia. Nosotros incluimos el sonido expandido integrado a la instalación, y que para Manovich implica construir versiones en un contexto digital que genera otras formas de inclusión de lenguajes (p.38). Principalmente, la escultura sonora o la misma proyección son fusionadas en el espacio virtual o expandido como lo realiza el Land Art. Las pantallas (que sustituyen la escultura) se desmaterializan y se suspenden en un territorio simulado en la web o el espacio físico. Estas variaciones de la instalación plantean un diálogo con paisajes sonoros combinados a los lenguajes estéticos en el espacio, el cual no es un “medio vacío” sino simbólico y humanista (marxista) (Lefebvre, p. 40).

También, esa variabilidad responde a modelos de inclusión intermedial a partir de la “transferencia de materiales y técnicas” (Mariniello, 2009, p. 62) en un contexto expandido (Krauss). Si mezclamos la escultura con la arquitectura saldrá la escultura-urbana; si fusionamos la imagen con el sonido emergerá en esa ecuación la imagen sonora. Asimismo, en este caso, una pintura que se asocia a un video-público genera una video-pintura, aludiendo en sí mismo a la invitación al movimiento visual de la ciudad écranique. Específicamente, esas variaciones colaborativas con el espacio urbano aumentado pueden establecer unas dinámicas que están fuera de los territorios conocidos como calles, perspectivas y bulevares que invitan al video-mapping a introducirse al paisaje sonoro proveniente de las bocinas, muchedumbre y actividad urbana.

De ahí la importancia de conocer la imagen sonora en un contexto amplio, puesto que el sonido se presenta como una estructura que se sale de los bordes. El sonido es des-estructurador. Cuando el sonido dialoga con la imagen del video-mapping surge un trabajo colectivo de medios donde aparecen interacciones complejas de jerarquías y de poderes sensoriales, en el que cada uno cumple la ocupación específica hacia una sola vía o varias rutas perceptuales inconexas. El mismo espacio editado es copartícipe de la imagen y el sonido, los cuales se tornan vinculantes. El contexto solidario de esa inclusión de vías de comunicación y expansión de las materialidades en el espacio elástico, propuesto por Krauss, se observa en tanto un lugar en común entre lo concreto y lo virtual, cuando la percepción sensible toma una posición, sin importar si viene de fuentes sonoras o icónicas. En conclusión, la imagen sonora que surge de esta percepción total de las proyecciones hechas en video-mapping podría explicarse como la expresión de un sonido abierto mancomunado a una imagen ya sea mental, espacial o territorial.

A la luz de los cinco principios de Manovich analizados se nutren una serie de recursos teóricos, aplicados a la producción intermedial “Territorios de la catástrofe” (2015). En ella se emplea la técnica del video-mapping como representación digital y se producen videoinstalaciones en laboratorio delimitadas por un protocolo de exploración, el cual sistematiza los recursos empleados en el espacio. Este proyecto artístico presenta, por tanto, una doble dimensión de estos principios, los cuales se asocian al software como fábrica de proyecciones y a la lectura del receptor en el contexto de un espacio de inmersión.

La investigación mediática alrededor de esta obra incluye, además, una recopilación exhaustiva de conocimientos sobre el componente geográfico tomado de imágenes de satélites que se descomponen fractalmente hacia formas abstractas y se yuxtaponen a las imágenes de catástrofe acompañadas de sonidos urbanos. El video-mapping, en esta instalación fractal que procesa estas imágenes, tiene una función de inventario del espacio urbano macro-micro, estableciendo una condición simbólica con la ciudad en estado de alerta. El sonido que viene de las imágenes de la destrucción ecológica o social se torna visual, pero estructurado proporcionalmente. Esto podría definirse como sensación o impresión producida en el oído, por un conjunto de vibraciones que se propagan por la cámara web o video móvil que contiene una determinada infraestructura de componentes de emisión inmediata. El sonido es un dato que se obtiene de sonidos insólitos y de capturas de videos amateur tomados de servidores en formatos de redes sociales al generar un ambiente acústico-visual que incorpora espacios laberínticos, fragmentados y azarosos de la arquitectura y el contexto urbano en despojos.

Además, la modularidad o dispositivo espacial de este proyecto artístico y mediático actúa en ese contexto urbano, pero se puede dividir en procesos al pasar de un medio a otro, en varias escalas. Recordemos que la modularidad es una transferencia de tamaños. Esto quiere decir, según Mariniello que “el material y la tecnología transferidos se transforman durante el proceso, ya que su identidad y su sentido son función de una relación con un contexto” (p. 62). Estas transferencias son activadas por el sistema operativo, mantienen sus propiedades analógicas gracias al transporte de contenidos a plataformas como papel, pintura, Photoshop, SketchUp, Final Cut y Millumin. Este ambiente modular de las cualidades analógicas de los medios se resume en su posibilidad de administrar tareas compartimentadas de trasmisiones, tales como el tratamiento de imagen en su reproducción y proyección en vivo.

La representación numérica se delimita con el frame, el cual conlleva unos bordes concretos y, en particular, indica una materialidad visual y sonora que depende de ordenadores o servidores para editarse. Una edición conlleva un acto de reemplazo de símbolos, pero en una sola forma, donde se identifica el contenido del dispositivo de proyección como programa de montaje de información. También, se permite el pasaje incorpóreo hacia numerosos medios y herramientas de interfaz sutiles y fácilmente identificables, en el que las pantallas suplantan el entorno al figurar lo material. En esta representación digital, numerosos medios intercambian sus estructuras originales de producción y difusión. El código numérico hace inmaterial al dispositivo artístico, el cual enmarca lo proyectado en el espacio de las pantallas, haciendo una separación entre lo real y lo digital, así como diferencia los niveles de iconicidad de las imágenes proyectadas, alteradas durante el proceso informático y sus traslados a otros medios técnicos binarios.

La transcodificación asume la digitalización de los medios tradicionales en otros, sin embargo, sus estructuras se ajustan “a las convenciones establecidas de la organización de los datos por un ordenador” (Manovich, 2005, p. 92). El valor de la instalación artística es la responsable de la integración de esos datos, que tienen su origen en la imagen plástica (pintura, dibujo) digitalizada, traduciéndose a otra dimensión. Esto es consecuencia de trabajarse un mapeo montado en video sobre las superficies del recinto, paredes y techos negros, dentro de los cuales las imágenes son difundidas, simultáneamente, con cámara rápida y variación altamente cromática.

Lo icónico del video, es sabido, puede ser referido por su materialidad bidimensional, como un recurso sensible conducido por proyectores y lentes de alta resolución, que controlan la deformación y la potencia de la difusión lumínica. Dentro de sus facetas de imagen, el video exige una constitución temporal-fija, que no es extraña, pues se inclina más al formato de fresco digital (Imagen 1) hecho con video-mapping desde la pantalla del software. Mediante el uso de escrituras particulares constituidas por la luz, se revelan relaciones analógicas, sistémicas y a-sistémicas con los formatos de proyección. Además, se torna necesario pensar que este pasaje de materialidades-formatos son imitaciones de otros medios, cuyas particularidades toman su forma integral o fragmentada de otras materialidades. Manovich (2005) señala que, la imagen informatizada en el contexto de la transcodificación pertenece al lado de la cultura humana, y entra de manera automática en diálogo con otras imágenes refiriéndose con “semas” y “mitemas” culturales. En este sentido, puede aseverarse que la noción de imagen mimética se acerca a los “semas” por sus grados de similitud o abstracción, o bien significación. Esta es transformada al ser movida a otro medio digital en el que lo sonoro colabora con los dispositivos ópticos determinados por esa transcodificación.

Imagen 1
Fresco digital hecho con video-mapping a partir de la pantalla del software
Laboratoire 7 Projecteur et diffusion “Mapping vidéo” 38-3

La automatización se entiende en las combinaciones de bucles repetidos de iluminación en el espacio. Poissant (2008) reflexiona sobre la multiplicación interminable de las proyecciones automáticas programadas como práctica espacial. Estas pueden marcar procesos en el medio material, ya que la máquina de la visión (sistema informático, interfaz y terminales) tiene por objetivo la transferencia de información, ideas y acontecimientos, desde la naturaleza misma de la técnica digital, videográfica y fotográfica. Cada medio, dispositivo o aparato se alterna automáticamente para provocar la proyección vaporosa de luz, acompañada de una imagen sonora integrada y complementada en su individualidad.

En fin, la imagen que viene del video-mapping es inmaterial, pues, se presenta como un espacio que se expande hacia territorios ópticos, hápticos e irreales con sus propias herramientas de control lumínico. Esa parte textural y visual de las proyecciones resume su constitución intangible, donde cada pantalla indica maneras de percibir cada especificidad de los rayos de luz que penetran las superficies materiales. La pantalla se ve como un ente perceptible sutilmente por sus peculiaridades efímeras, pero su proyección es meramente óptica-pictórica, al generar dudas de su materialidad inmediata. Además, las superficies receptivas colaboran con otros dispositivos digitales, mecánicos y electrónicos de producción de imágenes. En ese sentido, hay un individuo que aprecia lo impalpable, creando una dependencia con la luminosidad artificial y su debilidad de resistir y potencializarse en todo el espacio.

Al decir variabilidad damos a entender el espacio de pantallas que evidencian la proyección mediante intervenciones de imágenes temporales, tomando en cuenta la técnica de cine Mise en abyme (meta-imágenes) al provocar versiones, sobre las cuales se imbrican eternamente un video sobre otro. Estas proyecciones superpuestas constituyen interfaces de pantallas de la obra “Territorios de la catástrofe” realizada con Millumin y en la que se ofrece una intercalación de videos cortos en versiones heterogéneas en línea. Los videos proyectados en superficies vastas ayudan a la conformación de la instalación sobre la ciudad moderna en distopía, descompuesta, modular y anti-material, en un territorio imaginario, abstracto y digital comunicado por el buscador geográfico. Asimismo, se observa la interfaz proyectada desde la consola del software dirigida a los muros del laboratorio, registrándose en vivo por el servidor de video YouTube, el cual queda inserto inmediatamente en la pantalla del blog (Imagen 2)

Imagen 2
Interfaces de pantallas de la obra “Territorios de la catástrofe” realizada con Millumin
Fuente: Laboratoire 7 Projecteur et diffusion “Mapping vidéo” 38-3.

Este proyecto resulta variable desde su materialidad, pues, en este procedimiento intervienen las técnicas manuales (croquis, dibujos, pinturas, plantas) y los conocimientos de conceptualización de la pintura digital, hasta entrar en la faena de la edición de videos y gráficos. Cada video es examinado no como videoarte, sino como una malla altamente cromática, sin narración y con superficies en movimiento. Principalmente, se abstraen formas geométricas modernas sobre las etapas y fases de los desastres representados en sus imágenes ambiguas.

En otros términos, el video-mapping ayuda a indagar la instalación hecha de retazos icónicos donde la modularidad, en varias escalas se proyecta como campo expandido. Este campo se refiere al paisaje captado por el navegador virtual Google Street View, dentro del cual se simbolizan datos geomáticos importados de las capturas de escalas y proporciones de las calles. Todas las estrategias de mediación se concentran en este software, en tanto que campo expandido (Krauss), en el que camina el flâneur virtual (Rojas, 2016), que integra la pintura-pantalla(Soulages, 2011) a la pantalla-global, la cual se inserta en la pantalla-objeto. Es decir, estas pantallas de interfaz de alto nivel se transforman en mural digital y grafiti-numérico que muestran con avidez escenas de sobrevivencia transformadas por mapeos expresivos.

Encontramos, asimismo, en este campo, una representación de la geografía concentrada por medio de datos de un sistema de variables. En esta variabilidad de formatos geográficos se realizan productos vinculados a la exploración de los dispositivos-pantallas hechos en papel, construidos en estructuras de pared. En estas se concretan proyecciones multi-temporales y se sujetan, por consiguiente, a estas imágenes digitales y plásticas, que muestran la ruina geográfica de diversos lugares del mundo capturados por vistas panorámicas y fotos digitales de satélite. En esta obra, la pantalla-global corresponde a la pantalla del ordenador conectada a la web, dentro de la que se ofrece un universo audiovisual tecnificado en línea, la cual se envía a los proyectores organizados estratégicamente en el espacio. Las imágenes de Google tienen trayectorias ilimitadas y se transforman en ilusiones que, al unísono, mapean el espacio. Todo lo anterior corresponde al vínculo con el hardware y el software y sus interfaces hasta llegar a la proyección. En ese sentido, la pantalla-objeto se compone de espacios organizados que pueden delimitarse por bordes concretos, estos son maquillados por las proyecciones efímeras orientadas por las fuentes de luz del video-mapping. En tal sentido, las estrategias mediáticas de los “Territorios de la Catástrofe” explican esta obra integrando el frame, la desestructura, la función intermedial, la dimensión lumínica, la imagen sonora, la experiencia expansiva, la inmaterialidad y la dinámica de la inmersión.

Como lo hemos demostrado, el video-mapping constituye un medio de comunicación que plantea una problemática centrada en la aplicación de los cinco principios analizados por Manovich y otros autores, los cuales conllevan convergencias mediáticas y formas del lenguaje digital. Entonces, respondemos a las preguntas incluidas en la introducción: ¿cuáles relaciones representativas se establecen con el espacio y el tiempo en la expansión de medios? El video-mapping es un dispositivo de representación numérica y diegética que colabora con otros dispositivos programados, pero, también, contiene límites ilusorios ópticos. Estos se expanden automáticamente al utilizar archivos virtuales determinados por un sistema de codificación visual-acústica. Estos dispositivos performativos reproducen los metadatos en cruces intermediales, ya que se entrelazan documentos con implicaciones culturales o espaciales. Esta hipótesis corresponde bien a esta pregunta ¿cómo se identifica la modularidad de software? Las correspondencias entre el espacio-tiempo se concentran en la imagen-ritmo del video-mapping, cuyo contacto con la imagen visual, el sonido visual, la imagen sonora y los medios digitales aumenta los campos expandidos determinados por la transcodificación de escrituras de pantallas que se proliferan en el ambiente real y virtual.

Y continuamos: ¿cuáles son las estrategias de variabilidad de este dispositivo técnico? Estas responden a la operación del software diversificado con el espacio, en tanto que soporte lógico, el cual administra la base de datos que se transforman en luz. Existe, además, el dispositivo interactivo como control de conductas. Estas responden a valores estéticos y a las dinámicas virtuales, lo que admite la dependencia de los intervalos del ordenador en relación con el movimiento.

demás, ¿qué es la imagen sonora en el contexto de las estrategias del frame en la difusión del video-mapping? Esta organiza un sistema de marcos irregulares que se integran a la lógica del sonido proyectado, narrado, mediático y experimentado. Además, plantea la problemática de un paisaje sonoro sin estructura, vacío y significante que es operado con el software. Este programa informático, de hecho, responde a la lógica del objeto técnico expandido, al cumplir la función de contraste espacial donde el usuario-productor interviene en la escucha de los formatos y de los significados interpretados en el espacio sonoro.

Además, ¿qué es la imagen sonora en el contexto de las estrategias del frame en la difusión del video-mapping? Esta organiza un sistema de marcos irregulares que se integran a la lógica del sonido proyectado, narrado, mediático y experimentado. Además, plantea la problemática de un paisaje sonoro sin estructura, vacío y significante que es operado con el software. Este programa informático, de hecho, responde a la lógica del objeto técnico expandido, al cumplir la función de contraste espacial donde el usuario-productor interviene en la escucha de los formatos y de los significados interpretados en el espacio sonoro.

Por último, ¿cómo funciona el video-mapping en el contexto del lenguaje numérico en la obra “Territorios de la Catástrofe”? El lenguaje numérico responde al aspecto inmaterial de este software de proyección múltiple e indefinido, ya que es un programa que permite que las pantallas visualicen operaciones icónicas dantescas, intuitivas y expresivas de la ciudad destruida. Es, pues, propio reivindicar las imágenes y sonidos (del andar y el penetrar geolocalizados) que se producen y habitan en esos mundos físicos delimitados por los frames del ordenador. En fin, estos universos espaciales existen en versiones distintas de variabilidad, donde los formatos de las pantallas se presentan sin estructuras claras. En fin, esas estrategias de expansión del video-mapping en una obra artística establecen un diálogo con la virtualidad; desde la pantalla-global y las pantallas-lienzos; desde lo extensivo de la imagen, lo sonoro y lo espacial, que dan cuenta de esos territorios del desastre, los cuales se proyectan en las superficies visualizadas por las fuentes de luz de los proyectores.