1. INTRODUCCIÓN

La capacidad para reconocer lo que representan las imágenes y comprender las metáforas es vital para los seres humanos. Las imágenes se entienden de manera preliminar como fuertes representaciones sensoriales, representaciones sencillas de objetos visuales (una escultura realista de un caballo) o representaciones de objetos auditivos (un silbido que significa el canto de un mirlo). Las metáforas, en su forma más radical, se comprenden como representaciones cognitivas complejas de objetos cognitivos (como entender la noción de desarrollo a través de la noción de escalar). Tanto las imágenes sensoriales como las metáforas cognitivas dependen de un recurso mental humano esencial para percibir similitudes y diferencias. Se han dedicado diversas investigaciones en varias disciplinas a estudios en profundidad sobre estas y otras áreas relacionadas. Sin embargo, existen pocos intentos de formar una descripción amplia de las interrelaciones esenciales entre las diversas formas de conectar entidades perceptivas y cognitivas entre sí a través de la similitud.

La noción semiótica de iconicidad es adecuada para esta tarea. La iconicidad debe entenderse como la percepción de entidades mentales o materiales como representaciones de objetos a través de la similitud, lo que requiere ciertas capacidades cognitivas. Gran parte de la iconicidad es monomodal, lo que significa que el signo o representamen “algo que representa para alguien algo en algún aspecto o capacidad” (Peirce 1932: 228) evoca un objeto en la mente que es del mismo tipo que el representamen (por ejemplo, algo visual que representa algo visual). Sin embargo, también existe la iconicidad intermodal (algo visual que representa algo auditivo), que será el foco de atención en este artículo por su posición mediadora entre imágenes y metáforas.

La iconicidad incluye, por tanto, la metaforicidad. Dentro de los marcos de la teoría de la metáfora conceptual, Charles Forceville introdujo la noción de metáfora multimodal, que está, en parte, relacionada con la iconicidad intermodal. Forceville sostiene, de manera importante, que, dado que el núcleo de la metaforicidad está en la cognición más que en las palabras, “una teoría de la metáfora en toda regla no puede basarse únicamente en sus manifestaciones verbales” (2009: 21-22). La exactitud de esta afirmación se hace aún más evidente cuando la perspectiva se amplía a la iconicidad en general, incorporando no solo metáforas sino todo tipo de representaciones basadas en similitudes. Las metáforas cognitivas, sostengo, constituyen un extremo en la escala de la iconicidad donde las imágenes sensoriales constituyen el otro. En el caso de las imágenes formadas por semejanza sensorial no es posible, por definición, manifestarlas verbalmente.

Sin embargo, la noción de Forceville de metáfora multimodal no es suficiente para el propósito de este artículo, que es trazar un mapa del amplio campo de la iconicidad que va desde las imágenes hasta las metáforas. Los “modos”, explica, deben entenderse como tipos comunicativos como el lenguaje escrito, la música, las imágenes, los gestos, los olores y el tacto (2009: 21-23). Como el mismo Forceville enfatiza, esta noción de modo no está definida de manera satisfactoria, y yo sostengo que este es el caso en todas las investigaciones realizadas dentro del paradigma de la multimodalidad en la tradición de Kress y van Leeuwen (2001), basado en concepciones pragmáticamente ordenadas de modo, pero teóricamente toscas. En comparación con este paradigma de investigación, en mi trabajo trato una noción de modo más detallada y claramente definida (Elleström 2010a), la cual describiré a continuación con el fin de ofrecer una estructura conceptual refinada que permita una comprensión clara de la iconicidad intermodal.

Además, sostengo que no basta con limitar la metaforicidad al dominio cognitivo. De hecho, muy a menudo ocurre que las representaciones metafóricas son esencialmente cognitivas en el sentido de que tanto el representamen como el objeto son entidades predominantemente conceptuales (como la noción de viaje que representa la vida) que pueden resultar de diversas representaciones sensoriales, como palabras habladas, gestos, películas o dibujos animados que significan las dos nociones interrelacionadas. Sin embargo, en general, la metaforicidad y la iconicidad también pueden desencadenarse directamente por una percepción sensorial que adquiere la función de un representamen que, a través de la similitud, hace presente un objeto en la mente (como la visión de una columna rota sobre una tumba representando la muerte). Por lo tanto, en mi opinión, que desarrollaré con más detalle a lo largo del artículo, una teoría completa de metáfora debe abordar no solo la noción de que las metáforas cognitivas pueden resultar de todo tipo de representaciones verbales y no verbales, como demostró Forceville, sino también la noción de que las representaciones metafóricas como tales pueden estar constituidas por percepciones más que por conceptos. Es decir, en los términos semióticos de Charles Sanders Peirce, el representamen y/o el objeto pueden ser sensoriales más que cognitivos. Tal comprensión de la metáfora permite ubicarla con facilidad dentro de los amplios marcos de la iconicidad y explicar su relación con la noción aparentemente distante de imagen. La fórmula para tal conexión es la iconicidad intermodal.

La iconicidad intermodal, tal y como yo la defino, es la iconicidad que cruza las fronteras de diferentes tipos de modos materiales, espaciotemporales y sensoriales y entre estructuras sensoriales y configuraciones cognitivas. Por ejemplo, un signo bidimensional, o representamen, puede representar un objeto tridimensional (la mayoría de las fotografías se toman para representar el espacio, incluida la profundidad), y un representamen visual puede representar un objeto auditivo (los puntos y líneas en un mensaje en Morse pueden representar pitidos cortos y largos). Esto se debe a que nuestra mente, hasta cierto punto, tiene la capacidad de percibir semejanzas no solo dentro de la misma área, sino también entre diferentes áreas sensoriales y diferentes ámbitos mentales. Sugiero que lo que, en general, llamamos metáfora es esencialmente una iconicidad intermodal compleja, o una iconicidad que cruza las fronteras de los dominios cognitivos.

Si bien generalmente damos por sentado que la iconicidad intermodal existe, creo que es vital teorizar sobre esta iconicidad que cruza fronteras materiales, espacio-temporales, sensoriales y cognitivas, por la sencilla razón de que es un fenómeno extremadamente extendido que enriquece, matiza y flexibiliza la comunicación y el pensamiento, conectando dominios perceptuales con dominios conceptuales. Además, las muchas facetas de la iconicidad mono e intermodal se comprenderán mejor si no se estudian de forma aislada, lo que restringe el acceso a perspectivas relevantes.

En resumen, el objetivo de este artículo es sugerir un marco conceptual general para la iconicidad intermodal que permita relacionar entre sí diferentes tipos de iconicidad monomodal e intermodal. Para ello, trazaré el mapa de algunas de las notables y amplias capacidades cognitivas que hacen posible la producción de significados icónicos y las relacionaré entre sí con la ayuda de una estructura conceptual. Mi argumento principal es que la percepción y la concepción de imágenes y metáforas (como se definirán más adelante) debe entenderse como los dos extremos en un continuo de representación icónica donde la iconicidad intermodal cubre la aparente brecha entre iconicidad monomodal, sensorial y cognitiva. Este continuo es posible debido a la fuerte conexión entre la percepción sensorial y el pensamiento.

Este artículo es esencialmente una explicación teórica formulada con la ayuda de las nociones semióticas de Charles S. Peirce. Sin embargo, se basa sustancialmente en hallazgos empíricos en la investigación psicológica, cognitiva y neurológica, defendiendo una visión sobre la iconicidad y la semiótica en general que fusiona investigaciones meticulosas de fenómenos específicos sobre interrelaciones conceptuales críticas. Por tanto, el modelo teórico resultante debería ser de interés para una amplia gama de áreas de investigación orientadas a la construcción de significado. El esquema es el siguiente: la primera sección ofrece una descripción general de los modos materiales, espaciotemporales y sensoriales y sus interrelaciones. A continuación, delinearé con cierto detalle la noción de iconicidad intermodal. A esta descripción le sigue el bosquejo de una estructura conceptual que permita trazar grados de similitud e iconicidad con la ayuda de la modalidad cruzada. Después se ofrece una amplia gama de ejemplos para ilustrar el continuo de la iconicidad desde la imagen hasta la metáfora, incluida una gran cantidad de casos intermodales. A continuación, sigue una breve discusión sobre cómo la noción de los esquemas imagen podría incorporarse en la estructura conceptual propuesta y, finalmente, una conclusión.

2. MODOS MATERIALES, ESPACIOTEMPORALES Y SENSORIALES

Para comprender correctamente lo que quiero decir con iconicidad monomodal e intermodal, la iconicidad debe situarse en el contexto de la comunicación, entendida en el sentido más amplio como transferencia o intercambio de importación cognitiva entre mentes. Aunque aquí delimito la perspectiva de la comunicación al ámbito humano, parece haber también iconicidad en la comunicación con y entre animales como los simios (Perlman, Tanner y King 2012). Defino los productos mediales como las entidades intermedias de la comunicación: elementos físicos y fenómenos (artificiales o corporales), generados por alguien, que tienen la capacidad de desencadenar determinadas respuestas mentales en un perceptor (Elleström, en prensa). Estos productos mediales pueden ser, por ejemplo, palabras habladas, gestos, caricias, textos escritos, dibujos, películas, canciones o sitios web. La percepción de los productos mediales implica significación, lo que indica que la importación cognitiva se crea en la mente del perceptor sobre la base de los rasgos específicos del producto medial. Es decir, un producto medial actúa como un representamen o, más bien, un conjunto de representamens.

Sugiero que las cualidades básicas de los productos mediales deben entenderse en términos de tres modalidades pre-semióticas, o tipos de rasgos mediales: la modalidad material, la espaciotemporal y la sensorial (Elleström 2010a). Para funcionar como vínculos entre mentes para actuar como representamens en la comunicación todos los productos mediales deben tener necesariamente rasgos materiales, espaciotemporales y sensoriales. Por eso las modalidades pre-semióticas son importantes para destacar en el contexto de la creación de significado icónica. Llamo a estos rasgos fundamentales, modos. Los productos mediales suelen ser multimodales (lo que significa, en mi terminología, que pueden ser, por ejemplo, tanto temporales como espaciales o audiovisuales). Además, describo el proceso de creación de significado de productos mediales en términos de una modalidad semiótica que consta de tres modos principales: iconicidad (representación creada sobre la base de la similitud entre representamen y objeto), indexicalidad (basada en la contigüidad) y simbolicidad (basada en hábitos) (Peirce 1932: 302). Aquí, se analiza el primer modo semiótico. Sin embargo, la iconicidad rara vez funciona aislada de la indexicalidad y la simbolicidad.

Los modos materiales pueden entenderse principalmente como diferentes estados de agregación: los productos mediales pueden estar en forma sólida, líquida o gaseosa. Sin embargo, los modos materiales también pueden entenderse como materialidad orgánica frente a inorgánica. Todos los modos materiales se pueden combinar libremente.

Se puede decir que lo espaciotemporal consta de cuatro dimensiones o modos: ancho, alto, profundidad y tiempo. En el mundo que nos rodea, estas cuatro dimensiones siempre están presentes juntas. Sin embargo, nuestras percepciones a menudo se basan en partes o aspectos del mundo que no participan de las cuatro dimensiones, como cuando percibimos las cualidades esenciales de productos mediales como, por ejemplo, imágenes fijas bidimensionales. Sin embargo, las combinaciones de dimensiones no se pueden seleccionar libremente y los sentidos individuales no pueden percibir todo tipo de constelaciones espacio-temporales.

Los modos sensoriales pueden concebirse de formas muy complejas, con distinciones en varios niveles. Tenemos diferentes tipos de receptores: células sensibles a los estímulos. Los extraceptores registran cambios en el entorno externo, los interoceptores son sensibles a las condiciones internas y los propioceptores nos dan información sobre la longitud y la tensión en fibras musculares y tendones. Nuestros cinco sentidos son, para ser más precisos, los cinco órganos de los sentidos que registran cambios en el entorno exterior: ojos, oídos, órgano olfativo, órgano gustativo y piel. Sin embargo, estos órganos de los sentidos no están compuestos simplemente por cinco tipos diferentes de receptores. Tanto los órganos olfativos como los gustativos constan de quimiorreceptores, y la piel consta de receptores mecánicos y termo-receptores. Además, los órganos de los sentidos no funcionan de forma aislada. Algunos tipos de vibración, por ejemplo, pueden ser escuchados y sentidos por todo el cuerpo. Sin embargo, me parece apropiado decir que la percepción de los cinco sentidos externos constituye los principales modos sensoriales: ver, oír, sentir, degustar y oler. Todos estos modos se pueden combinar libremente en productos mediales.

Los sentidos también están interrelacionados de formas aún más intrincadas. Las sensaciones simultáneas de diferentes sentidos a menudo se afectan entre sí. La percepción de una facultad sensorial puede ser diferente si se combina con la percepción de otra (Stein, Spence y Calvert 2004: 1-150). Los estímulos concurrentes procesados por diferentes sentidos pueden interferir entre sí y obstaculizar la percepción, pero también pueden coincidir y reforzarse entre sí (Martino y Marks 2000).

Hasta ahora, mi descripción de los modos materiales, espaciotemporales y sensoriales ha tenido el propósito de aclarar las propiedades básicas de los productos mediales que actúan como representamens. Sin embargo, estos modos también pueden usarse para caracterizar los objetos de los productos mediales: lo que representan, lo que provocan en la mente del perceptor. Mientras que los objetos representados, como los conceptos abstractos, pueden tener un carácter casi puramente cognitivo, los objetos que se hacen presentes en la mente en la significación también pueden ser más o menos concretos y físicos. La pintura de una cara representa una cara porque las características de la pintura son similares a las características de los rostros físicos reales, ya que se almacenan como recuerdos en nuestras mentes (cf. mis extensas discusiones sobre esto en Elleström, 2014). Por lo tanto, los productos mediales tienen ciertos rasgos materiales, espaciotemporales y sensoriales y, de la misma manera, los objetos que representan de manera icónica pueden tener los mismos u otros rasgos materiales, espaciotemporales y sensoriales, o pueden tener una naturaleza cognitiva.

Contemplada a la luz de este amplio espectro de interrelaciones representamen-objeto, la base de la iconicidad, la similitud, resulta ser una noción muy compleja que captura capacidades cognitivas dinámicas y de amplio alcance que trabajan de manera intermodal. Las nociones de similitud y diferencia y sus muchas variantes han sido durante mucho tiempo cruciales para la investigación psicológica, especialmente para comprender la cognición superior. Sin embargo, la sensibilidad a la similitud y la diferencia funciona desde la percepción sensorial más elemental hasta los tipos más avanzados de cognición (Smith et al. 2013: 598). Esto se ilustrará en las siguientes secciones del artículo.

3. ICONICIDAD INTERMODAL

Se puede discernir una abundancia de tipos y variaciones de similitud intermodal y, por tanto, de iconicidad intermodal. Aquí solo puedo dar una idea general de estas variantes y sus interrelaciones, centrándome en la iconicidad intermodal en el contexto de la investigación empírica intermodal. Tomo prestado el término iconicidad intermodal de Felix Ahlner y Jordan Zlatev (2010), quienes también conceptualizaron e investigaron la iconicidad (el caso especial del simbolismo sonoro) con la ayuda de la semiótica peirceana. Sin embargo, su perspectiva era principalmente lingüística y, de hecho, la mayoría de las investigaciones empíricas sobre iconicidad se refieren al lenguaje, incluido el lenguaje de señas (ver Perniss, Thompson y Vigliocco 2010), una parte importante pero limitada de la iconicidad. Para Ahlner y Zlatev, además, la iconicidad intermodal se refiere únicamente a la iconicidad intersensorial: no consideran los aspectos materiales y espaciotemporales. Este es, en realidad, el caso de prácticamente todas las investigaciones en diversas disciplinas: la intermodalidad solo concierne a las relaciones entre diferentes sentidos.

Si bien la noción de iconicidad suele estar ausente en la investigación psicológica, cognitiva y neurológica, estas áreas científicas tienen mucho que decir tanto sobre la noción de similitud como sobre intermodalidad en general, entendida como varios tipos de interacción entre los sentidos. La evidencia empírica de la existencia y la multiplicidad de la producción de significados icónicos se produce de manera abundante casi a diario, y la investigación científica intermodal es relevante para iluminar el lugar de la iconicidad en un campo cognitivo más amplio de interacción intermodal. El fenómeno intermodal más conspicuo, investigado durante mucho tiempo por la ciencia, es la sinestesia. Para algunas personas, existen conexiones muy fuertes e ineludibles entre diferentes sentidos o entre diferentes aspectos del mismo campo sensorial (por ejemplo, una determinada forma puede desencadenar la percepción de un determinado color). Estas conexiones son parte de una realidad perceptiva y no son causadas por asociaciones secundarias. No se aprenden y son consistentes en el tiempo. Sin embargo, la sinestesia es un fenómeno altamente (aunque no completamente) idiosincrásico.

Como tal, el extraño fenómeno de la sinestesia está, por lo tanto, solo remotamente relacionado con la iconicidad, que no solo prevalece, sino que es una piedra angular en toda comunicación y creación de significado. Sin embargo, algunos experimentos indican claramente que los sinestésicos hacen conexiones intermodales más fuertes entre, por ejemplo, el sonido de la palabra y el significado de la palabra; como si tuvieran capacidades intermodales superiores (Bankieris y Simner 2015). La sinestesia y la percepción de similitud intermodal podrían, por tanto, depender de la misma capacidad cognitiva, lo que no excluye que puedan entenderse como fenómenos en gran medida diferentes: uno inmediatamente perceptivo e idiosincrásico, el otro basado en la semejanza percibida e intersubjetivo.

V.S. Ramachandran y Edward M. Hubbard concluyen que “la sinestesia es un fenómeno sensorial concreto cuya base neural puede precisarse y que a su vez puede proporcionar un punto de apoyo una palanca experimental para comprender la base neural de las metáforas” (2005: 149, cf. 169). Toman como un hecho empírico que las percepciones visuales y auditivas pueden parecerse entre sí y discuten el fenómeno en términos de procesos cognitivos de abstracción. La semejanza se percibe a través de una extracción del “denominador común de un conjunto de entidades aparentemente diferentes” (2005: 172), y de la abstracción intermodal como la capacidad de juzgar cuál de dos formas irregulares sentidas con las manos coincide con la forma que se está viendo – siendo éste sólo un pequeño paso hacia una intermodalidad más general entre, por ejemplo, las características de sonido y las formas visuales (2005: 175).

Ramachandran y Hubbard se vuelcan abiertamente en la similitud intermodal, que es de relevancia inmediata para la iconicidad. Sin embargo, gran parte de la investigación en el ámbito de la intermodalidad no enfatiza directamente la similitud, aunque presupone con frecuencia algún tipo de semejanza entre diferentes tipos de percepción sensorial. Si bien existe un gran debate sobre por qué y cómo surgen exactamente los fenómenos intermodales, existen una gran cantidad de investigaciones que demuestran claramente su existencia global (ver Spence 2011 para una descripción extensa). A continuación, se presentará una pequeña selección.

Las interconexiones visuales y auditivas probablemente forman el área intersensorial más investigada. Ya a principios del siglo XX, el influyente psicólogo de la corriente Gestalt, Wolfgang Köhler, argumentó que existen ciertas similitudes entre las experiencias percibidas a través de los diferentes órganos de los sentidos (1929: 242). Con referencias a los hallazgos de D. Usnadze (1924), introdujo las famosas formas ‘maluma’ y ‘takete’ (Figura 1), ilustrando nuestra fuerte tendencia a percibir similitudes entre el sonido de la palabra sin sentido ‘maluma’ y formas visuales redondeadas, y entre el sonido de la palabra sin sentido ‘takete’ y las formas angulares. Desde entonces, estas palabras y formas se han utilizado en diversas variaciones para innumerables verificaciones empíricas de similitudes percibidas entre formas auditivas y visuales, en diferentes culturas e idiomas. Otros experimentos tempranos demostraron que la forma auditiva en breves pasajes musicales da lugar a representaciones visuales con cualidades formales que son sorprendentemente similares (Karwoski, Odbert y Osgood 1942). La investigación empírica también ha demostrado que niñas y niños perciben similitudes entre las percepciones visuales y auditivas (Goswami 2001: 449).

Fig. 1
“Maluma” y “takete” (Köhler 1929: 242)

También se ha investigado a fondo la interacción más general entre la visión y la audición. Se sabe que los barridos de frecuencia auditiva descendente y ascendente guían la atención visual hacia abajo y hacia arriba, respectivamente (Mossbridge, Grabowecky y Suzuki 2011: 136), lo que, por supuesto, está relacionado con nuestra fuerte inclinación a pensar en diferentes frecuencias auditivas como más bajas o altas, en relación con la posición de los objetos en el espacio visual. También se sabe que las impresiones de los distintos sentidos se influyen entre sí, y pueden crear percepciones alteradas; por ejemplo, diferentes sonidos que se escuchan de manera simultánea a la percepción de formas visuales, influyen en la forma en que se perciben esas formas (Sweeny et al.2012), lo que indica que la mente intenta correlacionar los estímulos de diferentes sentidos, haciéndolos más similares (esta es mi conclusión). Además, los experimentos han demostrado que la presencia de patrones ordenados de fondo dentro de un modo sensorial determinado aumenta la inclinación a juzgar los estímulos como coherentes desde otro modo sensorial (Ziembowicz, Nowak y Winkielman 2013), lo que de hecho presupone que una cualidad como la coherencia es modalmente perceptible de manera cruzada y, por lo tanto, que las percepciones coherentes de diferentes sentidos tienen, hasta cierto punto cierto parecido entre sí. Otros resultados que se pueden mencionar son que el ritmo auditivo afecta el reconocimiento visual de palabras (Brochard, Tassin y Zagar 2013) y que los sonidos que se aproximan impactan la percepción visual en términos de tamaño y luminancia, pero no la forma de los objetos (Sutherland, Thut y Romei 2014).

La investigación empírica experimental también ha demostrado la interacción intermodal entre la visión y el tacto. Los estímulos de los dos sentidos pueden coincidir y reforzarse entre sí, o desajustarse y obstruirse (Martino y Marks 2000; cf. Röder, Pagel y Heed 2013). También existe una transferencia del conocimiento de la categoría de objetos entre la visión y el tacto (Yildirim y Jacobs 2013). Como era de esperar, oír y tocar están interrelacionados de manera similar. Por ejemplo, los diferentes sonidos tienden a percibirse como correspondientes a diferentes sensaciones hápticas de forma (Fryer, Freeman y Pring 2014). Estos hallazgos no se explican explícitamente en términos de similitud.

Cabe señalar que también hay investigaciones sobre las correspondencias entre las percepciones sensoriales y las categorías cognitivas. Las primeras investigaciones indicaron que diversos estados de ánimo (provocados por música o por palabras) son paralelos a ciertos colores (Odbert, Karwoski y Eckerson 1942). La psicología experimental temprana también tenía la ambición de explorar estímulos más complejos y afirmaba correspondencias de similitud entre la música y el arte gráfico (Cowles 1935).

Por supuesto, muchas experiencias de correlaciones intermodales y, más específicamente, de similitudes intermodales son, en cierta medida, inducidas culturalmente (Bremner et al. 2013). Aunque a menudo es muy intersubjetiva y en gran medida intercultural, la similitud intermodal experimentada no es inmune al hábito. Esto fue reconocido de forma temprana en investigaciones intermodales pioneras que enfatizaban que las “tradiciones culturales”, la “experiencia con las relaciones en la naturaleza” así como “cualquier disputada unidad entre los sentidos” probablemente se reforzasen entre sí (Karwoski, Odbert y Osgood 1942: 213). De la misma manera, queda claro que la iconicidad a menudo realiza su trabajo cognitivo en colaboración con la indexicalidad y la simbología.

Si bien es evidente que hay mucha investigación empírica sobre similitud intersensorial e iconicidad, este no es el caso de la materialidad y la espaciotemporalidad cruzadas. Por lo tanto, tendré que conformarme aquí con una breve descripción de algunas posibles variaciones de la iconicidad intermodal (cf. Elleström 2010b: 82-97), incluyendo no solo la iconicidad intersensorial, sino también la intermaterial y la interespaciotemporal. Para ilustrar los puntos principales, los ejemplos son sencillos y están comentados de manera esquemática, sin considerar las muchas e intrincadas condiciones presentes incluso en los ejemplos más sencillos de representación icónica.

Un ejemplo de iconicidad intermedial son las líneas materialmente sólidas en una tira de cómic impreso que representa de forma icónica el viento -no sólido- soplando. El dibujo de una materialidad inorgánica puede representar, además, una entidad de material orgánico como una flor. Una escultura de una piedra sin vida puede representar, por semejanza, un cuerpo humano vivo; a la inversa, jugando a los enredos, un cuerpo humano vivo puede representar icónicamente una piedra sin vida. Otro ejemplo de iconicidad entre materiales es una fotografía inorgánica materialmente sólida que representa un líquido como el agua y un cuerpo humano orgánico (Figura 2).

Fig. 2
Fotografía de una persona en el agua

La misma fotografía (Figura 2) puede usarse para ilustrar cruces espaciotemporales en la iconicidad (ver también Elleström 2013): un representamen bidimensional y estático representa un objeto temporal tridimensional. Como es probable que la persona en el mundo representado de la fotografía no se entienda como rodeada de gotas de agua planas e inmóviles, es casi inevitable añadir una tercera dimensión espacial y temporal. A pesar de su restringida bidimensionalidad, la fotografía se asemeja a la escena de un mundo tetradimensional (cf. Benovsky 2012). Una partitura musical de Johann Sebastian Bach (Figura 3) podría servir como otro ejemplo de iconicidad espaciotemporal cruzada, aunque se ve claramente que, en parte, funciona con la ayuda de símbolos: es un representamen bidimensional y estático que representa un objeto temporal, la música (que sin duda también tiene ciertas cualidades espaciales tridimensionales). Asimismo, una representación espacial bidimensional pero intemporal, como un diagrama gráfico, puede representar un fenómeno temporal como el aumento de la temperatura global en la atmósfera.

Fig. 3
Partitura de Johann Sebastian Bach

Debe tenerse en cuenta que no siempre se da el caso de que los representamens menos complejos representen objetos más complejos, como una pantalla de cine bidimensional que representa un mundo tridimensional. También puede ser al revés; un cuadro vivo tridimensional bien puede representar una pintura bidimensional (que, a su vez, por supuesto, puede representar un mundo tridimensional). Con todo, la distinción entre diferentes modos espaciotemporales, como la distinción entre diferentes modos materiales, revela no solo las diferencias típicas entre los tipos de medios, sino también la capacidad de la iconicidad para cruzar estas fronteras.

La partitura de Bach (Figura 3) también es una ilustración de la iconicidad intersensorial; un representamen visual que representa un objeto auditivo: música que suena. Otro ejemplo son las relaciones icónicas bien documentadas, por un lado, entre vocales altas o frontales, proximidad y pequeño tamaño y, por otro lado, entre vocales inferiores o posteriores, por distancia y gran tamaño (Anderson 1998: 212). Son sonidos que representan fenómenos visuales y también hápticos hasta cierto punto. El campo de la iconicidad intersensorial es amplio e incluye productos mediales con elementos que son claramente indexicales. Con la ayuda de una cámara térmica, por ejemplo, se pueden crear iconos visuales de objetos que se detectan a través de su calor. Curiosamente, la iconicidad también puede cruzar las fronteras entre los sentidos humanos y aquellos que solo tienen otros animales, o entre sentidos reales y los puramente hipotéticos. Los iconos visuales pueden representar formaciones de luz ultravioleta que los abejorros ven, pero nosotros no. Como este tipo de luz se extiende por un campo espacial de una manera similar a la luz ordinaria, la fotografía ultravioleta nos ayuda a comprender aproximadamente cómo sería percibir la luz ultravioleta. Las representaciones modernas del espacio exterior también dejan en claro que las superficies visuales se pueden utilizar para representar, a través de la similitud, fenómenos físicos como tipos extremos de radiación electromagnética; fenómenos que (hasta donde yo sé) no se perciben por ningún órgano sensorial humano, aunque pueden ser registrados por instrumentos sofisticados.

Finalmente, debe señalarse que hay que entender que la iconicidad intermodal incluye también el cruce entre la percepción sensorial y el dominio más puramente cognitivo (cf. Elleström 2010b). Por ejemplo, un diagrama gráfico visual puede representar no solo fenómenos concretos como la fluctuación del calor, sino también fenómenos abstractos como la inflación económica. De la misma manera, las formas auditivas de la música pueden representar movimientos mentales como experiencias y sentimientos. Con esto, se está solo a un paso de la iconicidad donde tanto el representamen como el objeto tienen una naturaleza cognitiva.

4. GRADOS DE SIMILITUD E ICONICIDAD

Habiendo definido los modos mediales y explicado la naturaleza de la iconicidad intermodal, ahora es posible aclarar adecuadamente por qué la percepción y la concepción de imágenes y metáforas se entienden preferiblemente como polos en una escala de representación icónica, donde la iconicidad intermodal se arquea sobre la aparente brecha entre iconicidad sensorial y cognitiva. Para poder relacionar diferentes tipos de iconicidad monomodal, intermodal y cognitiva entre sí, y conceptualizar las interrelaciones de manera lúcida, es necesario pensar en términos de grados de similitud y, en consecuencia, grados de iconicidad. Los cruces modales y las operaciones cognitivas pagan un precio por la similitud, por así decirlo, y la similitud intermodal, que implica una cognición más compleja, es más débil que la similitud monomodal.

Sin embargo, los grados de similitud e iconicidad no están objetivamente presentes de una manera definida o fácilmente medible, aunque no sean simples caprichos subjetivos. Las psicólogas Linda B. Smith y Diana Heise sugirieron la noción de “un espacio de similitud estructurado y dependiente del contexto”; “El resultado de pasar tiempo en el mundo, de mirarlo, escucharlo y sentirlo” (1992: 252). Es importante destacar que “la similitud percibida de dos objetos cambia con los cambios de atención selectiva hacia propiedades perceptivas específicas” (1992: 242). En resumen, se podría decir que las bases de las relaciones externas de similitud existen en el mundo real, pero se perciben dinámicamente. En línea con estas observaciones, los semiólogos han afirmado que la iconicidad se caracteriza por “la semejanza parcial de un icono con su referente” y se basa en “la capacidad humana de generalizar a partir de detalles incidentales” (Anderson 1998: 28), y que los signos icónicos remiten “no a las cosas como son, sino a las cosas como son percibidas por alguien y en un contexto determinado” (Tabakowska 2005: 376).

Por tanto, una interpretación icónica implica una selección de ciertas partes y aspectos de cosas y fenómenos. Si bien tal selección puede ser deliberada, también puede ser realizada inconscientemente por los mecanismos interpretativos conectados al procesamiento temprano de los estímulos sensoriales y, por lo tanto, fuera de nuestro control. Sin embargo, la similitud, y por tanto la iconicidad, debe entenderse como más débil o más fuerte. La idea de que la iconicidad puede ser regulada y medida has sido apoyada, desde diversas bases teóricas, por semiólogos como Charles Morris (1971: 273), Earl R. Anderson (1998: 27), Winfried Nöth (2001: 19) y Elżbieta Tabakowska (2003: 362, 372). Incluso Umberto Eco, quien criticó la noción de iconicidad, dejó claro que la similitud, aunque se rige por convenciones culturales, puede ser gradada (1976: 256-258). También hay estudios empíricos que demuestran que la iconicidad experimentada en formas comunicativas como el lenguaje hablado (Perry, Perlman y Lupyan 2015) y el lenguaje de señas (Perniss y Vigliocco 2014) es una cualidad medible.

En dos publicaciones anteriores (Elleström 2010b; 2013: 100-107), defendí extensamente la gradabilidad de la iconicidad en relación con la debatida tricotomía de Peirce, imagen-diagrama-metáfora: tres tipos controvertidos de iconicidad (1932: 277). Además, Matthias Bauer y Christoph Ernst defendieron la idea de que la diferencia entre imagen, diagrama y metáfora se basa en grados de similitud (Bauer y Ernst 2010: 43). Aquí solo resumiré brevemente mis concepciones (que solo siguen en parte las pocas observaciones de Peirce sobre imágenes y metáforas) y agregaré algunos pensamientos nuevos. Básicamente estoy de acuerdo con el estudioso de Peirce, Vincent Colapietro, quien sostuvo que, “[en referencia a la semejanza inmediata, la metáfora está a la mayor distancia de su objeto” mientras que la imagen “se asemeja a su objeto de manera más directa y obvia”. En este sentido, los diagramas son intermedios, “afines en algunos aspectos a imágenes y en otros a metáforas” (2011: 163). No sé si Colapietro estaría de acuerdo en que su explicación enfatiza la gradabilidad de la iconicidad, pero sería extraño decir que solo hay tres distancias bien definidas entre el representamen icónico y su objeto.

La noción clave aquí es la distancia, que también se puede encontrar en las explicaciones psicológicas de las relaciones de similitud. En las teorías formales, como afirman Smith y Heise, la similitud es una función de “alguna combinación ponderada de características y atributos” y, en varios modelos, la similitud se calcula en relación con “la distancia entre los estímulos en el espacio psicológico” (1992: 242-243). El relato de Smith y Heise se refiere a la similitud monomodal entre objetos visuales, y la distancia en la similitud intermodal, lo cual implica diferencias cualitativas flagrantes que difícilmente puede calcularse de manera fácil. Sin embargo, sostengo que, como regla, la distancia entre características válidas para juicios de similitud aumenta cuando la mente tiene que salvar diferencias modales; la distancia entre el representamen icónico y su objeto es en gran medida una distancia en términos de percepción y de la cognición resultante. Desde este punto de vista, el representamen de una imagen está perceptualmente cerca de su objeto, lo que significa que el objeto puede ser percibido sensorialmente de la misma manera que el representamen. Esta es una concepción adyacente a las pocas observaciones del propio Peirce sobre la imagen (ver Elleström 2013: 100-102). El representamen de una metáfora está a una mayor distancia de su objeto, lo que significa que la interpretación de una metáfora incluye saltos cognitivos, tendiendo puentes entre varias diferencias materiales, espacio-temporales y sensoriales, la brecha entre cualidades sensoriales y entidades cognitivas, o entre diferentes dominios cognitivos.

La gradación de la iconicidad implica, por lo tanto, la similitud monomodal, que es hasta cierto punto cuantificable, y a la similitud intermodal, que escapa a cálculos claros. Mi argumento es que las relaciones de similitud deben juzgarse sobre la base de dos parámetros invertidos: la fuerza relativa de semejanza material, espaciotemporal y sensorial, por un lado, y la relativa complejidad de las operaciones cognitivas involucradas en el establecimiento del significado icónico, por el otro. Sostengo que, por regla general, la iconicidad fuerte es comparativamente simple, mientras que la iconicidad débil es comparativamente compleja. En consecuencia, una imagen podría entenderse como un icono basado en una semejanza fuerte, principalmente monomodal, que solo requiere el establecimiento de operaciones cognitivas simples. Por ejemplo, es fácil ver el maniquí de un sastre como una imagen de un ser humano. A la inversa, una metáfora podría entenderse como un icono basado en una semejanza débil, principalmente intermodal, o una semejanza desprovista de características sensoriales que requiere operaciones cognitivas complejas. Por ejemplo, se necesita un trabajo mental bastante intrincado (incluso si parece fácil) para entender la apariencia multisensorial de una rosa como metáfora de la noción emocional y cognitiva del amor, o para percibir la apariencia visual de una línea distorsionada como metáfora del sonido estridente. Según este punto de vista, los diagramas son iconos esquemáticos que no son particularmente fuertes ni débiles, ni tampoco particularmente complejos o simples.

La escala de iconicidad de fuerte a débil y de simple a compleja también se puede ver desde un punto de vista evolutivo. Dado que las imágenes se basan en fuertes similitudes materiales, espaciotemporales y sensoriales y solo requieren operaciones cognitivas bastante simples, muchos animales las comprenden fácilmente. Las metáforas, por otro lado, se basan en una semejanza material, espaciotemporal y sensorial débil, pero requieren operaciones cognitivas complejas que están más allá de las capacidades mentales de la mayoría, si no de prácticamente todos, los animales, con la excepción de los seres humanos. La facultad de dominar las metáforas requiere la capacidad más básica de dominar las imágenes, y no al revés.

La metaforicidad, por tanto, implica una interpretación compleja e incluye la capacidad de discernir semejanzas entre diferentes modos materiales y espaciotemporales, entre sensaciones de estímulos entregados por diferentes facultades sensoriales, entre lo sensorial y lo cognitivo y entre diferentes dominios cognitivos. Las interpretaciones metafóricas pueden fusionar fenómenos aparentemente diferentes de formas muy significativas. Este nivel superior de complejidad cognitiva y abstracción, que va más allá de las cualidades simples de las imágenes, a menudo incluye un alto grado de generalidad; puede implicar una gran precisión cognitiva y contribuir a la creación de nuevos conocimientos. La complejidad está garantizada por la relativa debilidad de la similitud entre representamen y objeto, por así decirlo, lo cual no excluye la posibilidad de metáforas que tengan representamens y objetos sensorialmente perceptibles; esto sólo significa que están conectados de una manera cognitivamente más compleja en comparación con la conexión inmediata y más evidente entre el representamen y el objeto de una imagen. Por lo tanto, el significado de una pintura abstracta se crea mediante metáforas visuales en lugar de imágenes visuales.

Si bien el modelo conceptual sugerido para interrelacionar representaciones icónicas sobre la base de modalidades cruzadas destaca lo que creo que son los factores más centrales para comprender el cambio gradual de la imagen a la metáfora, debe enfatizarse nuevamente que el rango imagen-metáfora no es una serie simple y calculable de representaciones icónicas. Esto es evidente considerando las muchas variedades existentes de iconicidad intermodal, a veces esquiva. También hay que destacar, una vez más, que el grado de similitud percibida que desencadena la iconicidad es el resultado de relaciones tanto monomodales como intermodales. Se podría argumentar que el principio general para disminuir los grados de similitud e iconicidad es la estilización, entendida como una reducción de cualidades y detalles en el representamen. La aplicabilidad de la estilización depende de nuestra capacidad para abstraer ciertas propiedades relevantes. Para poder establecer relaciones de similitud entre modalidades, se debe prestar atención a propiedades comparables, mientras que las propiedades distintivas de diferentes tipos de percepciones deben dejarse de lado. Sin embargo, la estilización también actúa en las relaciones de similitud monomodal, aunque no forzada por las condiciones modales. Un nivel básico de estilización es necesario para crear similitudes entre modos, pero es opcional para crear similitudes monomodales. En cualquier caso, la estilización se basa en nuestras capacidades de abstracción y se suma a la complejidad cognitiva de la iconicidad.

El principio de estilización en la iconicidad monomodal e intermodal se puede ilustrar con algunos casos que se centran en los modos sensoriales. Un producto multimedia, como un dibujo arquitectónico visual que representa un edificio visual, puede ser muy completo y, por tanto, sensorialmente fuerte. En principio, la iconicidad monomodal puede basarse en una similitud casi completa. Por otro lado, el dibujo de un niño de una casa es normalmente mucho más estilizado, lo que significa que la relación de similitud con edificios particulares tiende a ser más débil. De la misma manera, un producto medial, como un diagrama visual del ruido del tráfico en una determinada región, puede ser extremadamente detallado en términos de nivel de sonido registrado, pero también se puede elegir una presentación visual menos detallada para resaltar fluctuaciones más generales (lo que facilita la comparación con el ruido del tráfico en otras regiones). Una representación visual tan estilizada de los sonidos hace que la relación de similitud sea sensorialmente más débil: son perceptibles menos detalles visuales, lo que reduce la cantidad de detalles auditivos representados. Sin embargo, también hay una cantidad de estilización ineludible. Las representaciones visuales solo pueden ser similares a los objetos auditivos en ciertos aspectos, representando cualidades de sonido como el volumen y el tono, dejando de lado otras que son más difíciles o incluso imposibles de abstraer de manera transversal. La estilización en la iconicidad inermodal es, por tanto, en parte opcional y en parte necesaria.

5. DE LA IMAGEN A LA METÁFORA

Habiendo delineado conceptualmente la gradabilidad de la iconicidad, ahora la ilustraré a través de una serie de ejemplos en la escala de iconicidad de fuerte a débil y de simple a compleja, comenzando con imágenes, continuando con diagramas y terminando con metáforas (entendido como un continuo). De acuerdo con el tema general del artículo, se hará hincapié en la iconicidad intermodal como puente entre los dos extremos: la iconicidad monomodal, basada en los sentidos y la iconicidad cognitiva. Se observarán cruces de fronteras materiales, espaciotemporales y sensoriales, restringidos principalmente a la visión y la audición para mantener el enfoque. Como en el caso de la semiosis en general, el representamen de un signo icónico es, para incidir sobre ello, “algo que para alguien representa algo en algún aspecto o capacidad” (Peirce 1932: 228), lo que en efecto significa que los ejemplos siguientes son instancias posibles, pero no necesarias de iconicidad, derivadas de una atención más o menos selectiva.

Sin embargo, las imágenes realmente fuertes son el resultado de similitudes sensoriales virtualmente ineludibles. Por lo tanto, una grabación de música en vivo reproducida completamente en estéreo envolvente de alta calidad es un ícono monomodal muy fuerte (y ciertamente un índice) de música en vivo: una imagen que consiste en un representamen auditivo que es tan similar a su objeto auditivo que pueden ser casi indistinguibles. Del mismo modo, un actor es normalmente un representamen audiovisual que representa un objeto audiovisual, un determinado personaje humano. Representamen y objeto tienen además modos espaciotemporales y materiales idénticos. Si bien una muñeca mecánica en movimiento representa también una imagen muy fuerte de un ser humano, implica una modalidad de materialidad cruzada: la materia inorgánica representa la materia orgánica. También es probable que una escultura realista de una persona se perciba como una imagen relativamente fuerte, aunque la interpretación icónica se base en similitud material y espaciotemporal: la escultura es estática, pero se entiende que representa un objeto temporal que cambia en el tiempo.

Dado que mi ambición es trazar la iconicidad como un continuo más o menos gradable, sería contraproducente sugerir fronteras definidas entre imágenes y diagramas. Por lo tanto, es una elección bastante pragmática comenzar a usar el término diagrama cuando se introduce la similitud intersensorial en el campo icónico. La percepción mental de la similitud intersensorial es ciertamente más débil y cognitivamente más compleja que la similitud monosensorial. Por tanto, un sonómetro con pantalla visual tiene la capacidad de representar de forma visual las calidades sonoras cambiantes en forma de diagrama. Al leer un poema y descubrir que el tamaño de la letra disminuye constantemente, no es descabellado verlo como un diagrama de disminución del volumen del sonido en el aspecto auditivo latente de la lectura: el sonido representado. Estos son ejemplos de iconicidad visual a auditiva que incluyen diferentes tipos de modalidad cruzada espaciotemporal y material. Los diagramas con representamens auditivos y objetos visuales son, por ejemplo, un ritmo y una melodía que representan los movimientos de un animal, y el volumen de voz decreciente de un comentarista de fútbol que emula una velocidad de juego decreciente. Ambos iconos intersensoriales se ven reforzados por las correlaciones temporales entre representamen y objeto.

Desde los cruces sensoriales, materiales y espaciotemporales hay solo un pequeño paso para cruzar la frágil frontera entre lo sensorial y lo cognitivo. Los gráficos de curvas de tendencias económicas son un tipo de diagrama bien conocido con representamens visuales y objetos cognitivos. También, el creciente campo de visualizaciones de grandes cantidades de datos numéricos en material estadístico generadas por ordenador son un ejemplo de la fuerza de las relaciones esquemáticas entre los dominios visual y cognitivo, creando representaciones icónicas relativamente fuertes. El caso más obvio y más amplio de fenómenos auditivos que representan entidades cognitivas es la música, que representa estados emocionales. La forma en que nos sentimos corresponde en gran medida a la forma en que se comporta el cuerpo, simplemente porque las emociones son sentidas y producidas por el cuerpo, y el cerebro es parte del cuerpo. Por lo tanto, las experiencias corporales significativas como el ritmo, la velocidad, la pausa, la dinámica, el movimiento y la tensión pueden representarse con cierta precisión mediante expresiones auditivas similares, a menudo con la ayuda de correspondencias temporales.

Una vez más, no deseo sugerir un cierto criterio para que la iconicidad se convierta en metafórica en lugar de esquemática. Más bien, el tipo metafórico de iconicidad emerge gradualmente a medida que disminuye la similitud sensorial y aumentan la estilización y la complejidad cognitiva. Así, también la similitud percibida entre percepciones sensoriales puede resultar en una iconicidad comprendida como metafórica. Por tanto, una forma roja llamativa (salient) y distintiva en una fotografía puede percibirse como metáfora de un sonido de trompeta igualmente notorio. Las formas visual y auditiva son débilmente similares en cuanto a que destacan fácilmente; sin embargo, una interpretación tan icónica requiere una atención selectiva pronunciada y una abstracción bastante compleja: mientras que la forma visual está demarcada espacialmente, la forma auditiva está temporalmente diferenciada. De manera parecida, algo auditivo puede ser una metáfora de algo visible debido a factores contextuales que lo apoyen. Las tendencias básicas para conectar el tono con el brillo se activan en ciertos contextos donde las voces profundas o las notas bajas se perciben como metáforas de la oscuridad visual.

Debilitando aún más la base de similitud perceptiva directa, una percepción sensorial puede representar metafóricamente un objeto cognitivo. Los motivos negros en una pintura o la ropa negra pueden ser metáforas de la muerte, fuertemente respaldadas por convenciones y, por tanto, tanto iconos como símbolos. La base de similitud quizás más primaria es la noción de ausencia; mientras que el negro se caracteriza por la ausencia de color y luz, la muerte se caracteriza por la ausencia de vida (y, en consecuencia, la capacidad de percibir el color y la luz, lo que agrega el elemento indexical). Si bien esta similitud es innegable, se hace evidente solo como resultado de una atención selectiva pronunciada y una abstracción cognitiva. Por supuesto, la negrura puede activarse como un representamen simbólico de la muerte incluso sin un marco icónico de la similitud latente. Operaciones cognitivas similares se esconden detrás de la percepción de figuras visuales como círculos u “ochos acostados”, y formas auditivas como repeticiones persistentes de figuras musicales monótonas, como metáforas de la eternidad.

Ahora llegamos finalmente al extremo icónico donde ni el representamen ni el objeto son una percepción, sino una entidad cognitiva. Estos casos a menudo se denominan metáforas conceptuales o cognitivas. Como son internos a la mente, por así decirlo, son partes vitales del pensamiento y el razonamiento. Sin embargo, también pueden ser generados por información externa como productos de medios comunicativos, tanto verbales como no verbales. Si bien la iconicidad en el lenguaje se puede encontrar en muchos niveles y en varias variedades (como diagramas y metáforas donde las cualidades visuales o auditivas del lenguaje escrito o hablado actúan como representamens), las metáforas cognitivas son los ejemplos más investigados de iconicidad basada en el lenguaje. Una frase como “la vida es una putada y luego te mueres” es un buen ejemplo. Es principalmente simbólico en el sentido de que las palabras y sus interrelaciones deben, en primer lugar, decodificarse como signos habituales. Después de eso, es probable que los objetos que representan estén correlacionados entre sí sobre la base de la similitud: la “putada”, malévola o cruel, se convierte en una metáfora de la vida.

Sin embargo, los textos verbales escritos o hablados, que funcionan principalmente a través de símbolos, no son los únicos tipos de medios comunicativos que pueden crear metáforas basadas en la cognición. También los tipos de medios como la danza, la fotografía y el cine se basan en una variedad de modos mediales pre-semióticos, materiales, espaciotemporales y sensoriales, y en iconos e índices, así como en símbolos como signos primarios, y pueden inducir metáforas cognitivas. Una película que presente una criatura malévola, yuxtaponiéndola con las duras condiciones de vida y muerte del protagonista, podría generar una metáfora cognitiva comparable, aunque ciertamente no idéntica, a la inducida por la frase verbal anterior. Esto es a lo que Forceville se refiere como metáfora multimodal (2009), que claramente no es lo mismo que la iconicidad intermodal.

6. ESQUEMAS IMAGEN

La gradación de la iconicidad desde imágenes totalmente sensoriales a metáforas totalmente cognitivas, con la iconicidad intermodal como variación intermedia, es posible debido a la profunda relación entre lo que percibimos y cómo pensamos. Si bien ha sido necesario discutir las percepciones y la importancia cognitiva como entidades separadas para seguir el hilo del argumento, una de las principales preocupaciones de este artículo es, en realidad, respaldar la opinión de que es difícil separar las sensaciones perceptivas de las operaciones cognitivas. No hay oposición mutuamente excluyente entre ambas (como en presente-ausente), solo una oposición en grado (como en cerca-distante).

Esta premisa está respaldada por la investigación contemporánea sobre esquemas-imagen, a menudo relacionada con el estudio de la metáfora cognitiva. La opinión de que la metaforicidad es esencialmente conceptual, un fenómeno cognitivo e incluso neurológicamente rastreable, más que una preocupación principalmente lingüística, está estrechamente relacionada con la opinión de que tiene mucho que ver con la percepción y la experiencia corporal. Las metáforas verbales, se ha dicho, “constituyen la expresión lingüística de la dotación neural necesaria para tratar la información sensorial” (Cacciari 2008: 426). De acuerdo con esto, sostengo que las representaciones icónicas están dentro de la frontera del dominio cognitivo y deben entenderse en relación con la iconicidad que realmente incluye elementos perceptivos (en forma de representamens u objetos), como en el caso del sonido musical que representa metafóricamente entidades cognitivas (ver Zbikowski 2008).

Mark Johnson ha demostrado que nuestras mentes están vinculadas al cuerpo (embodied). Su noción de esquemas imagen, entendidos como “estructuras gestalt pre-conceptuales”, está formada por experiencias corporales y varios tipos de percepción (Johnson 1987: 74) que capturan los vínculos mentales y conectan dominios cognitivos relacionados a través de la similitud. Es decir, constituyen denominadores comunes, mentalmente estilizados que hacen perceptible la semejanza entre dominios asociados a través de la abstracción. Ahora bien, si los esquemas imagen son vínculos entre varios dominios cognitivos vinculados al cuerpo, también deben funcionar como uniones entre esos mismos dominios cognitivos y las percepciones (cf. Cienki 2005: 435, quien sostiene que los gestos ofrecen ‘manifestaciones’ de esquemas imagen, y advierte que el libro de Johnson contiene diagramas visuales que representan esquemas imagen cognitivos). En consecuencia, los esquemas imagen también deben formar vínculos entre diferentes modos sensoriales (como sugiere Rohrer 2005: 174-182; cf. Popova 2005) y entre diferentes modos espaciotemporales y materiales. De hecho, esta función de los esquemas imagen debe entenderse como parte integral de la idea general de que son estructuras Gestalt pre-conceptuales derivadas de las percepciones del entorno y las experiencias de ser un cuerpo en el mundo. Los esquemas imagen son “estructuras recurrentes de, o en, nuestras interacciones perceptivas, experiencias corporales y operaciones cognitivas” (Johnson 1987: 79).

Mi conclusión es que los esquemas imagen no son necesarios en imágenes (como se definen en este artículo), que son sensorialmente muy fuertes y cognitivamente simples; se introducen gradualmente en la iconicidad intermodal y son absolutamente esenciales para realizar una iconicidad sensorialmente débil, especialmente las metáforas cognitivas. En sus formas más básicas, los esquemas imagen hacen posible la iconicidad intermodal elemental, basada en percepciones de similitud, por ejemplo, entre arriba y abajo en lo que vemos, oímos y sentimos (la “dirección vertical” es un esquema aplicable a varios modos sensoriales), o entre más o menos tiempo y espacio (“cantidad” es un esquema aplicable a distintos modos espaciotemporales). En formas más avanzadas y compuestas, los esquemas imagen hacen posibles metáforas cognitivas más complejas.

La vinculación corporal de los esquemas imagen mentales explica la continuidad de la iconicidad desde las imágenes hasta las metáforas, ya que permiten relaciones de similitud que cruzan las fronteras de los modos sensoriales y los dominios cognitivos. La base perceptiva de la similitud se mueve gradualmente, por así decirlo, desde la superficie sensorial exterior en imágenes al interior en los esquemas imagen en el caso de las metáforas cognitivas. Por tanto, la variación desde imagen a metáfora puede verse como un continuo desde percepción exterior a percepción integrada cognitivamente. En consecuencia, la complejidad cognitiva de la iconicidad sensorialmente débil podría explicarse en términos de una dependencia crítica de los esquemas imagen.

7. CONCLUSIÓN

La atención minuciosa a las tres modalidades mediales pre-semióticas, que consisten en los modos material, espaciotemporal y sensorial, ha hecho posible analizar la iconicidad de los productos mediales de una manera más refinada en comparación con lo que se puede lograr con otras dicotomías estándar más categóricas como son texto-imagen y medio visual-medio verbal. Como resultado, la iconicidad intermodal se ha establecido como el área intermedia de la iconicidad que conecta dos extremos: la iconicidad basada en la semejanza sensorial pura y la iconicidad basada en la semejanza cognitiva pura. Esta unión es posible porque la percepción y la cognición están estrechamente relacionadas.

El resultado de este artículo es, por lo tanto, una noción más refinada de iconicidad intermodal, formada con la ayuda de modalidades mediales pre-semióticas, y un modelo conceptual para trazar grados de similitud e iconicidad, de imagen a metáfora, con la ayuda de esta noción desarrollada. Estos resultados, que están de acuerdo con la investigación empírica existente y son compatibles con la noción de esquemas imagen, aumentan nuestras posibilidades de estudiar la iconicidad de manera más metódica como una característica esencial de la comunicación y el pensamiento.

El desarrollo de nociones y modelos refinados es obviamente necesario para el trabajo teórico y analítico. Sin embargo, también la investigación empírica y experimental se quebranta sin marcos conceptuales adecuados. Entendemos en gran medida nuestro mundo en términos de conceptos, y uno no puede sacar más de los experimentos de lo que pone en ellos conceptualmente; es por eso que los marcos conceptuales pre-científicos son esenciales. La metodología experimental consiste en gran medida en aislar factores cruciales para poder observar correlaciones y desviaciones significativas y, a menos que se detecte una serie satisfactoria de factores desde el principio y se incorpore al diseño experimental, el resultado se verá empobrecido.

En el caso de la iconicidad, incluida la metaforicidad, los factores que deben diferenciarse son en gran parte de naturaleza conceptual, y deben incorporarse al plan experimental desde el principio para que puedan tenerse en cuenta. Es por ello que la metaforicidad no debe estudiarse separada de la iconicidad en general. Sus factores cruciales son muy compartidos o, al menos, limítrofes con los de la iconicidad en general. Es de esperar que el marco teórico que he desarrollado aquí pueda utilizarse como modelo para investigaciones metódicas y empíricas de la creación de significado icónico en general, incluidos los fundamentos de similitud perceptual y conceptual y la vasta área entre ellos.

REFERENCIAS BIBLIOGRÁFICAS

AHLNER, F. and ZLATEV, J. (2010). Cross-modal iconicity: A cognitive semiotic approach to sound symbolism. Sign Systems Studies 38: 298-348.

ANDERSON, E.R. (1998). A Grammar of Iconism. Madison/Teaneck: Farleigh Dickinson University Press.

BANKIERIS, K. and SIMNER, J. (2015). What is the link between synaesthesia and sound symbolism? Cognition 136: 186-195.

BAUER, M. and ERNST, C. (2010). Diagrammatik: Einführung in ein kulturund medienwissenschaftliches Forschungsfeld. Bielefeld: Transcript.

BENOVSKY, J. (2012). Photographic representation and depiction of temporal extension. Inquiry 55(2): 194-213

BREMNER, A.J., CAPAROS, S., DAVIDOFF, J., FOCKERT, J. DE, LINNELL, K.J. and SPENCE, C. (2013). “Bouba” and “Kiki” in Namibia? A remote culture make similar shape–sound matches, but different shape–taste matches to Westerners. Cognition 126: 165-172.

BROCHARD, R., TASSIN, M., and ZAGAR, D. (2013). Got rhythm … for better and for worse: Cross-modal effects of auditory rhythm on visual word recognition. Cognition 127: 214-219.

CACCIARI, C. (2008). Crossing the senses in metaphorical language. In The Cambridge Handbook of Metaphor and Thought, R.W. GIBBS (ed.), 425-443. Cambridge: Cambridge University Press.

CIENKI, A. (2005). Image schemas and gesture. In From Perception to Meaning: Image Schemas in Cognitive Linguistics, B. HAMPE (ed.), 421-441. Berlin and New York: Mouton de Gruyter.

COLAPIETRO, V. (2011). Image, diagram, and metaphor: Unmined resource and unresolved questions. In Semblance and Signification [Iconicity in Language and Literature 10], P.MICHELUCCI, O. FISCHER, AND C. LJUNGBERG (eds), 157-171. Amsterdam and Philadelphia: John Benjamins.

COWLES, J.T. (1935). An experimental study of the pairing of certain auditory and visual stimuli. Journal Experimental Psychology 18(4): 461-469.

ECO, U. (1976). A Theory of Semiotics. Bloomington: Indiana Univ. Press.

ELLESTRÖM, L. (2010a). The modalities of media: A model for understanding intermedial relations. In Media Borders, Multimodality and Intermediality, L. ELLESTRÖM (ed.), 11-48. Basingstoke: Palgrave-Macmillan.

ELLESTRÖM, L. (2010b). Iconicity as meaning miming meaning, and meaning miming form. In Signergy [Iconicity in Language and Literature 9], J. Conradie, R. Johl, M. Beukes, O. Fischer and C. Ljungberg (eds), 73-100. Amsterdam and Philadelphia: John Benjamins.

ELLESTRÖM, L. (2013). Spatiotemporal aspects of iconicity. In Iconic Investigations [Iconicity in Language and Literature 12], L. ELLESTRÖM, O. FISCHER, and CH. LJUNGBERG (eds), 95- 117. Amsterdam and Philadelphia: John Benjamins.

ELLESTRÖM, L. (2014). Material and mental representation: Peirce adapted to the study of media and arts. The American Journal of Semiotics 30(1/2): 83-138.

FORCEVILLE, C. (2009). Non-verbal and multimodal metaphor in a cognitivist framework: Agendas for research. In Multimodal Metaphor, C. FORCEVILLE, and E. URIOS-APARISI (eds), 19-42. Berlin and New York: Mouton de Gruyter.

FRYER, L., FREEMAN, J. and PRING, L. (2014). Touching words is not enough: How visual experience influences haptic–auditory associations in the “Bouba–Kiki” effect. Cognition 132: 164173.

GOSWAMI, U. (2001). Analogical reasoning in children. In The Analogical Mind: Perspectives from Cognitive Science, D. Gentner, K. J. Holyoak, and B. N. Kokinov (eds), 437-470. Cambridge, Mass.: MIT Press.

JOHNSON, M. (1987). The Body in the Mind: The Bodily Basis of Meaning, Imagination, and Reason. Chicago: University of Chicago Press.

KARWOSKI, T.F., ODBERT, H.S. and OSGOOD, C. E. (1942). Studies in synesthetic thinking: II. The role of form in visual responses to music. Journal of General Psychology 26: 199-222.

KÖHLER, W. (1929). Gestalt Psychology. New York: Horace Liveright.

KRESS, G. and VAN LEEUWEN, T. (2001). Multimodal Discourse: The Modes and Media of Contemporary Communication. London: Hodder Arnold.

MARTINO, G. and MARKS, L.E. (2000). Cross-modal interaction between vision and touch: The role of synesthetic correspondence. Perception 29: 745-754.

MORRIS, C. (1971). Writings on the General Theory of Signs. The Hague and Paris: Mouton.

MOSSBRIDGE, J. A., GRABOWECKY, M. and SUZUKI, S. (2011). Changes in auditory frequency guide visual–spatial attention. Cognition 121: 133-39.

NÖTH, W. (2001). Semiotic foundations of iconicity in language and literature. In The Motivated Sign [Iconicity in Language and Literature 2], O. FISCHER and M. NÄNNY (eds), 17-28. Amsterdam and Philadelphia: John Benjamins.

ODBERT, H.S., KARWOSKI, T.F. and ECKERSON, A.B. (1942). Studies in synesthetic thinking: I. Musical and verbal associations of color and mood. Journal of General Psychology 26: 153-173.

PEIRCE, C.S. (1932). Collected Papers of Charles Sanders Peirce II: Elements of Logic, C. HARTSHORNE AND P. WEISS (eds). Cambridge, MA: Harvard University Press.

PERLMAN, M., TANNER, J.E. and KING, B.J. (2012). A mother gorilla’s variable use of touch to guide her infant: Insights into iconicity and the relationship between gesture and action. In Developments in Primate Gesture Research, S. Pika and K. Liebal (eds), 55-72. Amsterdam and Philadelphia: John Benjamins.

PERNISS, P., THOMPSON, R.L. and VIGLIOCCO, G. (2010). Iconicity as a general property of language: Evidence from spoken and signed languages. Frontiers in Psychology 1: 227.

PERNISS, P., and VIGLIOCCO, G. (2014). The bridge of iconicity: From a world of experience to the experience of language. Philosophical transactions of the royal society: Biological sciences: 369.

PERRY, L.K., PERLMAN, M. and LUPYAN, G. (2015). Iconicity in English and Spanish and its relation to lexical category and age of acquisition. PLoS ONE 10(9).

POPOVA, Y. (2005). Image schemas and verbal synaesthesia. In From Perception to Meaning: Image Schemas in Cognitive Linguistics, B. HAMPE (ed.), 395-419. Berlin and New York: Mouton de Gruyter.

RAMACHANDRAN, V.S. and HUBBARD, E.M. (2005). The emergence of the human mind: Some clues from synesthesia. In Synesthesia: Perspectives From Cognitive Neuroscience, N. SAGIV AND L. C. ROBERTSON (eds), 147-190. Oxford: Oxford University Press.

RÖDER, B., PAGEL, B. and HEED, T. (2013). The implicit use of spatial information develops later for crossmodal than for intramodal temporal processing. Cognition 126: 301-306.

ROHRER, T. (2005). Image schemata in the brain. In From Perception to Meaning: Image Schemas in Cognitive Linguistics, B. HAMPE (ed.), 165-196. Berlin and New York: Mouton de Gruyter.

SMITH J.D., FLEMMING, T.M., BOOMER, J., BERAN, M.J. and CHURCH B.A. (2013). Fading perceptual resemblance: A path for rhesus macaques (Macaca mulatta) to conceptual matching? Cognition 129: 598-614.

SMITH, L.B. AND HEISE, D. (1992). Perceptual similarity and conceptual structure. In Percepts, Concepts and Categories, B. Burns (ed.), 233-272. Amsterdam: Elsevier.

SPENCE, C. (2011). Crossmodal correspondences: A tutorial review. Attention, Perception, & Psychophysics 73(4): 971-995.

STEIN, B.E., SPENCE, C., and CALVERT, G. (2004). The Handbook of Multisensory Processes. Cambridge, MA: MIT Press.

SUTHERLAND, C.A.M., THUT, G. and ROMEI, V. (2014). Hearing brighter: Changing in-depth visual perception through looming sounds. Cognition 132: 312-323.

SWEENY, T.D., GUZMAN-MARTINEZ, E., ORTEGA, L., GRABOWECKY, M. and SUZU- KI, S. 2012. Sounds exaggerate visual shape. Cognition 124: 194-200.

TABAKOWSKA, E. (2003). Iconicity and literary translation. In From Sign to Signing [Iconicity in Language and Literature 3], W. G. Müller and O. Fischer (eds), 361-376. Amsterdam and Philadelphia: John Benjamins.

TABAKOWSKA, E. (2005). Iconicity as a function of point of view. In Outside-In – Inside-Out [Iconicity in Language and Literature 4], C. MAEDER, O. FISCHER, and W.J. HERLOFSKY (eds), 375-387. Amsterdam and Philadelphia: John Benjamins.

USNADZE, D. (1924). Ein experimenteller Beitrag zum Problem der psychologischen Grundlagen der Namengebung. Psychologische Forschung 5(1): 24-43.

YILDIRIM, I. and JACOBS, R.A. (2013). Transfer of object category knowledge across visual and haptic modalities: Experimental and computational studies. Cognition 126: 135-148.

ZBIKOWSKI, L.M. (2008). Metaphor and music. In The Cambridge Handbook of Metaphor and Thought, R. W. GIBBS (ed.), 502-524. Cambridge: Cambridge University Press.

ZIEMBOWICZ, M., NOWAK, A. and WINKIELMAN, P. (2013). When sounds look right and images sound correct: Cross-modal coherence enhances claims of pattern presence. Cognition 129: 273-278.

Notas