Año 11 - Número 21 - 2020
Virtualidad, Educación y Ciencia	ISSN: 1853-6530

La perspectiva multimodal en el estudio de los EVEA.

El descubrimiento de lo obvio

The multimodal perspective in the study of VLE.

The discovery of the obvious

Viviana Corina Svensson

Universidad Nacional del Comahue, Argentina

E-mail: corinasvensson@gmail.com

Resumen

Este trabajo pretende mostrar la relevancia de la perspectiva semiótica multimodal para el análisis de entornos virtuales de enseñanza y de aprendizaje (EVEA)1. Para ello, se enmarca la teoría en el paradigma que le dio origen, se definen y caracterizan sus elementos fundamentales y se sintetizan sus particularidades. La multimodalidad posibilitaría el descubrimiento de lo obvio en la creación de significado dentro del espacio virtual del aula, ya que no habla de reglas ni códigos sino de prácticas y recursos utilizados para la creación de significado. Esta reflexión epistemológica da cuenta de la necesidad ineludible de este enfoque para el análisis de los EVEA debido a los cambios en las prácticas de lectura y escritura en entornos mediados por tecnología y de los sujetos inmersos en ellos.

Palabras clave: multimodalidad; semiótica; creación de significado; EVEA.

Abstract

This work aims to show the relevance of the multimodal semiotic perspective for the analysis of virtual teaching and learning environments (VLE). For this purpose, the theory is framed in the paradigm that gave rise to it. The fundamental elements of theory are defined and characterized: ‘multimodal’, ‘mode’, ‘modality’, ‘text’ and “multimodal genre”. They operate as interpretive codes of textual productions and focus on certain aspects and problems that help to structure and understand reality. At the same time, they attribute an order and an interpretive logic to multimodal production. The conclusion derived from the microanalysis accounts for an inescapable need for this approach due to the changes in the reading and writing practices in learning environments mediated by technology and in the subjects immersed in them.

Keywords: multimodal semiotic; VLE; analysis; multimodal text; interpretation.

1 Investigación enmarcada en el PI 04-V113/18. “El aula virtual y sus actores en la educación universitaria”, dirigido por

la Prof. Juana Porro.

Fecha de recepción: Octubre 2019 • Aceptado: Abril 2020

SVENSSON, V. (2020). La perspectiva multimodal en el estudio de los EVEA. El descubrimiento de lo obvio Virtualidad, Educación y Ciencia, 21 (11), pp. 9-22.

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/

Fundamentos e Investigación

Viviana Corina Svensson

1. Introducción

La semiótica discursiva desplaza la lengua como medio exclusivo de representación y pasa del paisaje comunicativo y representativo de la lengua al paisaje semiótico. Es decir, que la lengua se corre de ese espacio central para dar lugar a textos multimodales, entendidos como modos de representación y comunicación que coexisten dentro del mismo texto (Kress y van Leeuwen, 2010, Bezemer y Kress, 2015; Jewitt, et al., 2016) El análisis semiótico que proponen estos autores se focaliza en la textualidad, en los orígenes sociales y en la producción del texto, tanto como en su lectura. Se diferencian de la semiótica social y de las prácticas convencionales de la semiótica porque parten del supuesto de que los intereses de quien produce un signo llevan una relación motivada entre significante y significado y, por lo tanto, a signos motivados. Quien produce un signo trata de generar la representación más apropiada de lo que quiere significar. Por eso el interés está directamente cifrado en los medios formales de representación y comunicación.

En este sentido, el propósito de este trabajo es dar cuenta de la importancia de la semiótica multimodal para el análisis de los EVEA, ya que posibilitaría revelar los procesos de construcción de sentido ―significación e interpretación o lo que se denomina ‘semiosis’― que dan forma a los sujetos y a la sociedad representada en el aula virtual de un campus.

Método

El diseño propuesto para esta investigación es de tipo ‘interpretativo’ (Ynoub, 2007), pues se trata de comprender los procesos de producción de sentido mediados por tecnología digital. Se aplicó el estudio de caso basado en el microanálisis de datos aportados por el aula virtual correspondiente al seminario de posgrado “Diseño e Intervención en ambientes enriquecidos con tecnologías” (DIAET) de la carrera de posgrado Especialización en Educación Mediada por Tecnología Digital, modalidad a distancia, que se dicta en el Centro Universitario Regional Zona Atlántica de la Universidad Nacional del Comahue, Argentina. La manera de objetivar la experiencia observacional fue a través de la modelización organísmica/funcionalista, asumiendo relaciones funcionales parte/todo (Ynoub, 2015:45). Para ello, se enmarcó la teoría en el paradigma que le dio origen; se definen y caracterizan los conceptos clave: ‘metafunciones’, ‘sistema semiótico’ ―que involucra los conceptos de: ‘modo’, ‘modalidad’, ‘framing’, ‘género’, ‘texto’ y ‘contexto’―, ‘significado multimodal’ y ‘articulación multimodal’. Estos operaron como códigos interpretativos de las producciones textuales y orientaron la mirada analítica hacia determinados aspectos y problemas que ayudaron a estructurar, analizar y comprender ese EVEA.

2.Antecedentes

2.1.La multimodalidad aplicada al análisis de los EVEA

El avance tecnológico en lo que va del siglo XXI produjo cambios que afectaron las características de la web y a los usuarios que interactúan en y con ella (O’Réilly, 2005; Cobo Romaní y Pardo Kuklinsky, 2007). Así, se habla de web semántica (3.0), que no solo permite la conversación e interacción entre sus usuarios sino también, actuar de forma proactiva1 ayudándolo a realizar una

1  Características de la web 3.0: búsquedas inteligentes, rapidez, conectividad de dispositivos, contenido libre, accesibilidad

y vinculación a los datos, facilidad de navegación, datos en la nube.

10 VEsC - Año 11 - Número 21 - 2020: 9-22

https://revistas.unc.edu.ar/index.php/vesc/workflow/index/29433/5

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/

Viviana Corina Svensson

Fundamentos e Investigación

navegación más personalizada. En este sentido, un entorno virtual de enseñanza y de aprendizaje (EVEA) tendría la impronta de la web 3.0. Esto significa, un uso inteligente ―tanto de los docentes como de los estudiantes― de las tecnologías de la información y comunicación (TIC) para su dominio instrumental, junto con la adquisición de competencias para que los actores usuarios de los EVEA sean capaces de convertirse en “prosumer” (productor y consumidor activo de información). En esta investigación sostenemos la idea de que el domino de la teoría multimodal permitiría la apropiación y otorgamiento de significado a la densa información disponible en un aula virtual y representada a través de múltiples lenguajes (Área Moreira y Ribeiro Pessoa, 2012).

2.2. La teoría semiótica multimodal

La creación del Círculo Semiótico de Newtown en Australia (1980) reunió a teóricos interesados en el análisis de nuevas textualidades. Sus integrantes (Gunther Kress, Bob Hodge, Theo van Leeuwen, Martin, entre otros) comprendieron que la lingüística textual era insuficiente para el análisis de textos en los que se combinan diferentes modos de realización del lenguaje, por ejemplo, textos publicitarios, fílmicos, musicales o videos. A partir del supuesto de que todo texto es esencialmente multisemiótico, se apoyaron en la Lingüística Sistémico Funcional de Halliday, en la lingüística crítica, la semiótica ―fundamentalmente de Peirce, aunque también influenciados por la corriente europea, básicamente por Barthes y Eco― y la teoría social, para centrar los estudios en los ‘modos’, la ‘modalidad’ y su interacción. Por eso destacan que no se trata simplemente de la adición de modos en la construcción de significado de textos multimodales, sino que este se dará por la integración e interacción entre ellos en la producción textual.

La teoría multimodal (Kress y van Leeuwen, 2001; 2010; Unsworth, 2011; Jewitt, Bezemer y O’Halloran, 2016) centra su interés en la interacción de los diferentes modos para la producción de significado. Por un lado, ofrece categorías para analizar cómo las opciones en la combinación de las modalidades se instancian simultáneamente en un texto, y, por otro, aporta herramientas para interpretar la manera en que tales elecciones agregan un significado particular. En líneas generales, el significado de esta teoría se basa en la noción de la motivación de los signos: la relación entre el significante y el significado no es arbitrario sino ‘motivado’. El concepto de ‘modo’ es central, y se entiende como un conjunto de recursos determinados por la sociedad y la cultura en la que surgen y que sirven para crear significado de acuerdo con las posibilidades de los usuarios. (Kress, 2014; Jewitt, Bezemer y O’Halloran, 2016). En el apartado siguiente se ampliará este concepto.

Los primeros trabajos enmarcados en esta perspectiva teórica se relacionan con el estudio de las formas en que las imágenes y la lengua funcionan tanto por separado como de manera integrada en la construcción de significado: The gramar of Legitimation (van Leeuwen, 1995) Reading images The grammar of visual design (Kress y van Leeuwen, 1996); Literacy in the New Media Age (Kress, 2003); Multimodal Discourse: the modes and media of contemporary communication (Kress y van Leeuwen, 2001), Multimodal Discourse Analysis. Systemic Functional Perspectives (O’Halloran, 2004), entre otros.

En la actualidad, la importancia de este enfoque radica en que involucra a la Lingüística Sistémico Funcional (SFL) y a la semiótica social de una manera transdisciplinaria; es decir, los teóricos se esfuerzan por conjugar objetivos comunes, lenguaje común y metodologías útiles para el abordaje de los textos producidos en un entorno cada vez más multimedial.

https://revistas.unc.edu.ar/index.php/vesc/workflow/index/29433/5

VEsC - Año 11 - Número 21 - 2020: 9-22 11

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/

Fundamentos e Investigación

Viviana Corina Svensson

3. Elementos fundamentales de la teoría

La semiótica multimodal utiliza para la descripción teórica conceptos de la Lingüística Sistémica Funcional (SFL). Esto incluye los de ‘metafunciones’, ‘sistema semiótico’ ―que involucra los de: ‘modo’, ‘modalidad’, ‘framing’, ‘género’, ‘texto’ y ‘contexto’―, ‘significado multimodal’ y ‘articulación multimodal’. Tales conceptos operan como códigos interpretativos de las producciones textuales y orientan la mirada hacia determinados aspectos y problemas que ayudan a estructurar y comprender la realidad, atribuirle un orden y una lógica interpretativa a la producción multimodal. A continuación, se explican los conceptos que sustentan la teoría.

3.1. Las metafunciones

Siguiendo la SFL (Halliday, 1979) que plantea la hipótesis metafuncional, la lengua y otros recursos semióticos son elementos (herramientas) multifuncionales para crear significado y estructurar las cosas en la realidad. Esta hipótesis establece que los modos semióticos sirven a tres ―o cuatro (Kress y van Leeuwen, 1996:40) ― metafunciones como un sistema completo de comunicación: ideacional (experiencial, lógica), interpersonal y textual.

La metafunción experiencial relaciona un proceso con uno o más participantes y la enmarca de manera circunstancial, es decir, una configuración experiencial significa un ‘evento’. La metafunción lógica se refiere a la conexión entre eventos y construye significado de una manera más abstracta que la experiencial. Halliday sostiene que la metafunción lógica es fundamental para la lengua, pero es más difícil de describir en otros modos; ya que solo la lengua tiene una estructura multivariante claramente definida (la cláusula) como su principal medio para realizar eventos, y, dado que la metafunción lógica se realiza mediante aquellos elementos que conectan y combinan eventos (es decir, conjunciones en y entre cláusulas), es problemático para describirla en modos que no funcionan con cláusulas. En el apartado siguiente veremos cómo se realiza esta función en el EVEA. La metafunción interpersonal se refiere a la interacción entre el productor y el perceptor (de un texto); organiza los recursos que utilizamos cuando asumimos roles dialógicos diferentes y complementarios en un intercambio de significado. La metafunción textual organiza los recursos que utilizamos para crear textos coherentes y con sentido de acuerdo con el contexto. El uso de las metafunciones para pensar sobre otros modos semióticos fue un paso importante para relacionar actos multimodales. En el sonido, la música y las imágenes, la ideación se apoya en lo interpersonal porque son fenómenos que se interpretan como interpersonales.

3.2. Sistema semiótico

Cada sociedad crea sus propios sistemas semióticos que le permiten elaborar discursos complejos y coherentes a través de la integración multimodal (van Leeuwen, 2015). Así, el sistema semiótico se concibe como un conjunto de signos que tienen un modo de operación, un dominio de validez, un funcionamiento particular y una combinación que posibilita la construcción de significado coherente en un determinado contexto (Parodi, 2015; Poulsen, 2017). Este sistema se caracterizaría por el orden específico de las unidades y respondería a una forma de conceptualizar y significar; lo que produciría un uso singular del espacio (canvas). Para darle sentido y significado a las unidades del sistema semiótico se definirán los conceptos de ‘modo’, ‘modalidad’, ‘framing’ y ‘articulación multimodal’.

12 VEsC - Año 11 - Número 21 - 2020: 9-22

https://revistas.unc.edu.ar/index.php/vesc/workflow/index/29433/5

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/

Viviana Corina Svensson

Fundamentos e Investigación

3.2.1. El Modo

El concepto de ‘modo’ es controversial por tratarse de un término polisémico. En el marco de la SFL, el término refiere al canal de comunicación (oral o escrito). En cambio, en la teoría multimodal hace referencia al uso organizado de los recursos materiales para fines de creación de significado, haciendo énfasis en la “conformación” social. Por eso se preguntan ¿qué aspectos de la organización semiótica tienen en común todos los modos? Kress y Van Leeuwen (2001) lo definen como la forma abstracta de organizar la construcción de significados que pueden realizar significados ideacionales, interpersonales y textuales, y que pueden hacerlo, en principio, en medios materialmente diferentes: con sonido, gráficamente o en ambos medios. Así se distingue el “modo gráfico o visual” del “modo verbal” del lenguaje o del texto (Kress & van Leeuwen, 1996, 2001; Bateman, 2009; Kress, 2009). Por otra parte, Lemke (en Andersen et al, 2015: 126), define el modo como “un sistema de contrastes significativos entre formas en una comunidad que tiene convenciones para la interpretación de esas formas y contrastes como paradigmas y sintagmas”. En este sentido, la lengua es un modo porque puede realizar las tres metafunciones y lo hace en forma de discurso oral o en forma de escritura. La comunicación visual también es un modo, ya que realiza las tres metafunciones y lo hace de maneras materialmente diferentes, como dibujos, fotografías, pinturas, películas, etc. (Kress y van Leeuwen, 2006).

Los modos se materializan en un ‘medio’, entendido como los recursos2 (incluida la articulación corporal a través del habla, los gestos, etc.) que materializan el significado pero que también pueden producir significado. Por ejemplo, en un EVEA creado con Moodle se puede manifestar un uso creativo del medio a través de las distintas herramientas que ofrece esa plataforma para la creación de objetos de aprendizaje3 (van Leeuwen, 2011).

3.2.2. La Modalidad

La teoría multimodal entiende por ‘modalidad’ el grado en que un signo o un texto pretende ser una representación de algo verdadero o real. Kress y van Leeuwen proponen que la modalidad es “en cierta medida” realizada “en la forma del mensaje en sí”, ya que el texto proporciona pistas sobre la confiabilidad de los mensajes, guiando a los receptores a decidir si lo que se ve o se escucha es “verdadero, real, real, o [...] una mentira, una ficción, algo fuera de la realidad” (Kress y van Leeuwen 2006: 154). Según Hodge y Kress (1988: 124), la modalidad “se refiere al estado, la autoridad y la realidad de un mensaje, o su estado ontológico, o su valor como verdad o hecho”. Sin embargo, Kress y van Leeuwen enfatizan que los juicios de modalidad no son evaluaciones de la verdad o del estado ontológico de una “proposición” como tal, sino el grado en que la proposición se representa como verdadera o real (2006: 154-55).

En los textos verbales, el concepto de modalidad “se refiere al valor de verdad o credibilidad de las declaraciones (realizadas lingüísticamente) sobre el mundo” (Kress y van Leeuwen 2006: 155). En la gramática funcional sistémica, modalidad es parte de la metafunción interpersonal. Es la expresión

2  El término ‘recursos’ es una categoría general que abarca recursos ‘materiales’ tales como nuestro cuerpo, o papel y lápiz, cámaras, computadoras, software, etc.; y ‘no materiales’, como saber cómo construir una oración o una narración, una imagen, etc. En la era de la inteligencia artificial, la distinción entre los recursos materiales e inmateriales puede difuminarse a medida que el conocimiento semiótico se incorpora a las herramientas materiales (van Leeuwen, 2005).

3  Para L’Allier (1997), un objeto de aprendizaje “se define como la experiencia estructural más pequeña e independiente que contiene un objetivo, una actividad de aprendizaje y una evaluación” (L’Allier, 1997, traducción propia).

https://revistas.unc.edu.ar/index.php/vesc/workflow/index/29433/5

VEsC - Año 11 - Número 21 - 2020: 9-22 13

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/

Fundamentos e Investigación

Viviana Corina Svensson

del hablante acerca de una evaluación de certeza o probabilidad de lo que está diciendo; es “el juicio del hablante, o la solicitud del juicio del oyente, sobre el estado de lo que se dice” (Halliday y Matthiessen 2004: 172). La modalidad expresa “la probabilidad en grados intermedios entre polaridad positiva y negativa; es interpretar la región de incertidumbre que se encuentra entre ‘sí’ y ‘no’” (Halliday y Matthiessen 2004: 176) Verbalmente, la modalidad se expresa con recursos tales como verbos auxiliares modales, como poder y deber, adverbios modales como quizás, probablemente, ciertamente; adjetivos modales y sustantivos como probable y probabilidad (ver Halliday y Matthiessen, 2004, sección 4.5. 2 y 4.5.3; Kress y van Leeuwen 2006: 155; Van Leeuwen 2005: 162-63).

En la semiótica multimodal, que adapta la gramática de Halliday al análisis de otros sistemas de signos, la modalidad se refiere al grado en que las cosas se representan “como si fueran reales, como si realmente existieran de esta manera, o como si no existieran, aunque sean fantasías, caricaturas, etc.” (Kress y van Leeuwen 2006: 156). La modalidad se expresa visualmente a través de recursos que indican aumentos o disminuciones e incluye marcadores de modalidades graduables por medio de una escala (Kress y van Leeuwen 2006: 160-63)4. Las pautas de modalidad son sociales, dependen de lo que se considere real (o verdadero o sagrado) en el grupo social para el que la representación está destinada (Kress y Van Leeuwen 2006: 158). La verdad visual no es absoluta, pues puede estar en el ojo del espectador, quien ha tenido un entrenamiento cultural y se encuentra determinado por su historia y entorno social (Kress y Van Leeuwen 2006: 158). Por lo tanto, las representaciones y evaluaciones de la modalidad dependen del propósito de la representación, las necesidades de los usuarios y las convenciones de representación, ya que están restringidas por género y medio.

3.2.3. El framing

El ‘framing’ es el marco de trabajo (encuadre) y sirve para conectar o separar entidades representadas. Un marco puede ser bidimensional o tridimensional y usarse para indicar que, en una composición, ciertos elementos están enmarcados uno del otro y por lo tanto desconectados, mientras que otros que ocupan el mismo espacio (dentro o fuera del marco) pueden ser vistos como pertenecientes, juntos. Así, cuando nos referimos a un entorno digital hay que tener en cuenta dos categorías semióticas básicas (Kress, 2003; Pérez, 2009:61): pantalla y bloque5.

Hacia el interior de un aula virtual, la pantalla y el bloque posibilitan distinguir en la interfaz tres tipos de zonas de comunicación (Pressman, 2002): 1) zona de trabajo, 2) zona de control del aula y

3)zona del contexto de la acción. La zona de trabajo es el espacio principal de comunicación para el usuario (estudiante y docente). En él, el usuario tiene a disposición lo que le sirve para aprender o enseñar (teorías, modelos, ejemplos). También se llevan a cabo las operaciones que se quieren

4  (1) Saturación del color (va desde la saturación a todo color hasta la ausencia de color; es decir, en blanco y negro);

(2)Diferenciación del color (abarca desde una gama de colores máximamente diversificada hasta monocromática); (3) Modulación del color (desde el color totalmente modulado al color plano, sin modular); (4) Contextualización (va desde la ausencia de fondo hasta el fondo más completamente articulado y detallado); (5) Representación (desde la abstracción máxima hasta la representación máxima del detalle pictórico); (6) Profundidad (va desde la ausencia de profundidad hasta la perspectiva máximamente profunda); (7) Iluminación (desde la representación más completa del juego de luces y sombras hasta su ausencia); (8) Brillo (desde un número máximo de diferentes grados de brillo hasta solo dos grados [como, por ejemplo,] blanco y negro, o gris oscuro y gris más claro).

5  Se entiende por unidad ‘pantalla’ (screem) no el medio, sino la unidad de análisis que desplaza al libro; y por ‘bloque’, la subunidad de la UA ‘pantalla’, que surge en las páginas web a partir del framing. Estas dos unidades ‘pantalla’ y ‘bloque’ permiten organizar la dimensión de la interfaz semiótica en subdimensiones: ‘discurso’, ‘diseño’, ‘producción’ y ‘circulación’

(Kress y van Leeuwen, 2010).

14 VEsC - Año 11 - Número 21 - 2020: 9-22

https://revistas.unc.edu.ar/index.php/vesc/workflow/index/29433/5

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/

Viviana Corina Svensson

Fundamentos e Investigación

efectuar (preguntar, responder, alentar, indicar, etc.)6. La zona de control del aula tiene que ver con la posibilidad que tiene el usuario de decidir cuándo sigue la acción: return para el cambio de pantalla o para la confirmación de una respuesta, uso de barras de desplazamiento, scroll o flechas para avanzar o retroceder el contenido. La zona del contexto para la acción se refiere a la zona donde el usuario sabe en qué aula o módulo se encuentra7. Este concepto facilita la delimitación del género multimodal en cuanto ‘artefacto multisemiótico’8 (Parodi, 2015).

3.2.4. El género

El término género tradicionalmente significa ‘tipo de texto’. Los textos se vuelven “típicos” cuando tienen características que se pueden reconocer en otros textos. Estas pueden pertenecer al contenido (como en el caso del género policial), a la finalidad (como en la publicidad), a la forma (como en el limerick), etc. En la descripción de género, Halliday reconoce la complejidad en la manera de asignación de las etiquetas, y dice: “Las etiquetas para categorías genéricas a menudo son funcionalmente complejas: un concepto como ‘balada’ implica no solo una cierta estructura de texto con patrones típicos de cohesión sino también un cierto rango de contenido.” (en van Leeuwen, 2015).9

A pesar del reconocimiento de esta complejidad en la descripción de género, distintos teóricos fijaron su atención a fin de encontrar formas de representar la estructura genérica. Bajtin (1979) lo hizo estableciendo los criterios temáticos, composicionales y estilísticos de enunciados10 para referirse a los géneros discursivos. Maingheneau (1996) revisó el concepto de género discursivo y lo entiende como “dispositivos de comunicación socio-históricamente definidos”, con restricciones que se refieren a: 1) el estatus de enunciadores y coenunciadores, 2) las circunstancias locales de la enunciación, 3) el soporte y los modos de difusión, 4) la longitud y el modo de organización. Parodi

(2015) propone tres criterios de clasificación centrándose en los tipos de artefactos multisemióticos: modalidad (¿qué sistemas participan en el artefacto?), función (¿para qué se emplea?), y composición (¿de qué se constituye ese artefacto?).

En base a estos antecedentes, la semiótica multimodal utiliza el concepto de ‘género multimodal’ para referirse a los significados y a las formas de expresión empleadas en ese tipo de texto para transmitir significados. Los teóricos de esta perspectiva entienden que los géneros no son una colección suelta de tipos de textos, sino que son ‘puntos’ o ‘regiones’ en un espacio completo de posibilidades; es decir, los géneros pueden cambiar, hibridar y colonizar unos a otros. Esto requiere un espacio

6  En Moodle, la zona de trabajo se delimita con la plantilla utilizada. Si es de dos columnas, la zona de trabajo abarca las tres cuartas partes de la pantalla; en cambio, si se utiliza la de tres columnas, la zona de trabajo se restringe al área central de la pantalla, quedando delimitada por dos columnas (una a la derecha y otra a la izquierda del área de trabajo.

7  Se refiere a la ruta o al camino que marca el sistema Moodle a través de hipervínculos que se encuentran utilizando terminología de procesador de texto, en el encabezado de la pantalla.

8  Los artefactos multisemióticos son aquellos elementos creados por la confluencia de múltiples sistemas semióticos y que tienen un rol importante en la construcción del significado global de un texto, correspondiente a un determinado género discursivo.

9  La fuente se obtuvo de la red DiscourseNet “BreMM15: Second International Symposium on the Theory and Practice of Multimodal Research. Interdisciplinary Conference at Bremen University, Germany, 21-22 September 2015”. La conferencia plenaria estuvo a cargo de Theo van Leeuwen y fue oral <https://discourseanalysis.net/en/bremm15-second- international-symposium-theory-and-practice-multimodal-research-interdisciplinary>

10  Un enunciado es una unidad de comunicación e interacción discursiva en el medio social, unidad que varía según la esfera de uso, que responde a distintos tipos y que implica al emisor y receptos no pasivos

https://revistas.unc.edu.ar/index.php/vesc/workflow/index/29433/5

VEsC - Año 11 - Número 21 - 2020: 9-22 15

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/

Fundamentos e Investigación

Viviana Corina Svensson

dentro del cual el género pueda moverse, y también encontrarse (Lemke, 1999; Fainclough, 1992; Bazerman, 1994; citado por Bateman, 2008:20). Entonces, para entender cómo es ese movimiento y encuentro, Bateman (2008) aplicó la teoría de la estructura retórica de Mann y Thompson, al diseño de ‘documentos multimodales’, y creó un modelo denominado GeM (Genre and multimodality)

El documento multimodal ―también denominado ‘artefacto multimodal’― se forma a partir de las prácticas sociales. Estos ‘artefactos multimodales’ se construyen de una determinada manera y con la ayuda de una determinada tecnología: se construyen sobre un lienzo11 soportado físicamente por un artefacto. Cualquier sustrato que se seleccione para el lienzo de un artefacto trae consigo sus propias limitaciones, que están dadas: 1) por el propio lienzo, 2) por la forma en que el artefacto cobra vida, 3) por los usos previstos. Estas tres fuentes de restricciones dan lugar a lo que Bateman (2008) denomina ‘artefacto virtual’.

El modelo GeM se basa en un análisis de ‘capas’ (canvas) responsables de capturar el diseño. En la capa base se describen los aspectos de las condiciones de producción/consumo del documento, incluida la manifestación física. En la capa 2, se centra el análisis en las características relacionadas con las propiedades inherentes al documento que se analiza.

En el proceso de descripción de la capa base, el investigador establece una lista de unidades base a partir de los elementos que realmente se encuentran en una página. Así, se caracteriza la página en términos de cómo lo visualmente perceptible proporciona la expresión material para las distinciones significativas a través del diseño. Para esto, se necesita capturar no solo los elementos individuales, sino también su agrupación de diseño y proximidad espacial, sus relaciones espaciales mutuas, sus propiedades particulares de diseño y su formato. Estos aspectos de ‘maquillaje’ de una página se ubican en lo que Bateman denomina la base de diseño.

El aspecto visual de una página es muy importante porque el usuario necesariamente entra en contacto con el contenido y la organización. Un punto de partida para la organización de los elementos de la capa base es ver configuraciones de elementos visuales que se pueden ubicar de manera visible en la página. Solo cuando tenemos esta visión se puede pasar al análisis funcional y la crítica. Por el contrario, no se pueden colocar elementos juntos ―como un cluster― simplemente porque se cree que están funcionalmente relacionados. Esto debe ser respaldado por las configuraciones espaciales en evidencia en la página.

Para capturar la agrupación visual, Bateman establece tres acciones principales: 1) segmentar del diseño para identificar las unidades mínimas de disposición; 2) recoger la información aportada por el uso de las tipográficas y otras propiedades de disposición de las unidades de disposición básicas; 3) observar detenidamente la información de estructura de disposición: la agrupación de las unidades de disposición en entidades de disposición más complejas y la determinación de las relaciones espaciales.

Para las capas de diseño hay que centrarse en lo que el lector-observador destaca cuando entra a una página. Se trata de verla como un todo. Por eso fija la percepción solo en los elementos más destacados. Las clases de elementos de diseño son: tipográfico, gráfico y composicional. Cada una

11  El término lienzo es una generalización técnica para referirse a cualquier medio que se adopte como sustrato para el artefacto (pape de un tamaño específico, con un espesor determinado y absorbencia particular; una pantalla de computadora de un tamaño o resolución particular).

16 VEsC - Año 11 - Número 21 - 2020: 9-22

https://revistas.unc.edu.ar/index.php/vesc/workflow/index/29433/5

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/

Viviana Corina Svensson

Fundamentos e Investigación

de estas ‘unidades de diseño’ tiene una ‘realización visual’, es decir, se manifiestan a través del modo verbal o del modo gráfico. Estos dos elementos son los únicos que se diferencian en la base de diseño (ver artículo Análisis de portadas de aulas virtuales). De manera que, para ordenar estos elementos, Bateman distingue dos tipos de datos: lineales y no lineales. Los datos lineales hacen referencia al material organizado y desplegado en una sola dimensión (texto lineal); mientras que los datos no lineales, al material que puede accederse a través de distintos puntos, por ejemplo, la representación visual de una pintura, un sitio web, entre otros.

Una vez identificados los elementos verbales y gráficos en la base de diseño, Bateman establece cinco niveles de descripción para un artefacto (virtual o no virtual): 1) Contenido estructural: se trata de observar cómo están organizados los datos ‘a simple vista’ en la construcción del documento; 2) Contenido retórico: establece las relaciones retóricas entre los elementos de contenido y entre los contenidos y el argumento (cómo se argumenta el contenido); 3) Diseño de la estructura: apariencia natural y posición de los elementos en la página para la comunicación; 4) Estructura de navegación: la forma en que el ‘modo’ o ‘los modos’ del documento fueron previstos; 5) Estructura lingüística: la estructura del lenguaje y el diseño de los elementos.

El modelo GeM propuesto por Bateman, más que establecer etiquetas genéricas, proporciona un método para crear y analizar lo que él denomina ‘documentos multimodales’. Se aleja de la concepción más tradicional de género porque entiende que las etiquetas genéricas son prescriptivas, crean plantillas para adaptar una variedad de contenidos y contextos con el fin de estandarizar; y se acerca a las concepciones más modernas al reconocer el anclaje histórico y sociocultural del origen del género. Por eso, su propuesta surge de la concepción de los textos multimodales como complejos y combina para su análisis aspectos retóricos y lingüísticos junto con los propios del diseño gráfico.

3.2.5. El texto multimodal

Tradicionalmente, el término “texto” se ha usado para referirse “mono-modalmente” al texto verbal. Sin embargo, para Kress y van Leeuwen (2001), todos los textos son multimodales, lo que significa que todos los textos, siempre y sin excepción, implican la interacción e integración de varios modos semióticos. Por ejemplo, los sitios web que se basan en –e integran– una variedad de modos semióticos tales como palabras, imágenes (fijas y en movimiento), tipografía, diseño, color, etc. para su significado.

Pero un texto multimodal no se crea agregándole una imagen a un texto verbal o un vínculo hipertextual, sino que se logra produciendo significado multimodal12, lo que implica procesos y resultados de la producción semiótica. La multimodalidad es un término clave en esta teoría, pues el concepto centra su definición en el significado situado y no en el significado como un fenómeno estructural abstracto. La creación de significado multimodal es lo que las personas hacen con los recursos disponibles cuando se comunican e interactúan en la vida cotidiana y, como tales, incluyen todos los tipos y niveles de producción semiótica, desde la creación de una obra de arte hasta actividades triviales como caminar por la calle o estilizar el cabello por la mañana (Poulsen, 2015)

Para crear un texto multimodal ―entendido como sistema de comunicación― este debe satisfacer

12  Poulsen, Søren Vigild. 2015. “Multimodal meaning-making.” In Key Terms in Multimodality: Definitions, Issues, Discussions, edited by Nina Nørgaard https://multimodalkeyterms.wordpress.com/

https://revistas.unc.edu.ar/index.php/vesc/workflow/index/29433/5

VEsC - Año 11 - Número 21 - 2020: 9-22 17

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/

Fundamentos e Investigación

Viviana Corina Svensson

tres requisitos: a) representar y comunicar aspectos relevantes de las relaciones sociales de aquellos que intervienen en la comunicación (función interpersonal); b) representar y comunicar los hechos, estados de cosas, percepciones que el comunicador desea comunicar (función ideacional); y c) hacer posible la producción de mensajes que tengan coherencia internamente como texto y externamente con aspectos relevantes del entorno semiótico (función textual)13.

Estos tres requisitos posibilitan entablar relaciones teóricas con otras disciplinas, fundamentalmente con los estudios visuales que ponen el énfasis en la estructuración sistemática de ‘lo visual’. El aspecto visual ―tanto del texto como del aspecto del lenguaje escrito14― abarca cuestiones que van desde la psicología de la percepción hasta el estudio de las bellas artes15; desde el interés por los textos publicitarios hasta el desarrollo de libros de textos; desde las teorizaciones de la fotografía hasta el interés por el diseño y el estudio del cine. En cuanto a lo estructural, los estudios visuales se interesan por cuestiones relativas a la estructura de la información, los efectos modales, las relaciones de transitividad y la expresión de significaciones interpersonales, sociales y actitudinales.

En este sentido, mirar implica un acto para el que se necesita un evento visual, compuesto por un objeto (una imagen un texto, sonido o música) y un sujeto que experimenta esa imagen visual que es fugaz y subjetiva (Mieke Bal, 2004: 17). De esta relación entre objeto y sujeto se produce el acto de mirar que es impuro, porque la mirada siempre se encuentra encuadrada, delimitada y cargada de afectos; es un acto cognitivo intelectual que interpreta y clasifica. En otras palabras, plantea que no solo la visualidad es lo que caracteriza y define a un objeto, sino el acto de visión que, además, involucra lo sensorial, lo afectivo y lo cognitivo como vías de acceso al conocimiento.

3.2.6. La articulación multimodal

La articulación multimodal se refiere al acto de crear significado con los múltiples recursos o herramientas culturales (por ejemplo, artefactos, instrumentos, hardware, software) disponibles en un contexto y discurso comunicativo (Kress y van Leeuwen 2001; Johannessen, 2011). La articulación siempre es multimodal en el sentido de que se basa en múltiples recursos o los disponibles en ese momento y contextos para la creación de un artefacto multisemiótico, por ejemplo, escribir en el espacio de un aula virtual de Moodle generalmente involucra recursos de lenguaje, color, diseño, tipografía, imágenes fijas, video, etc., y organización de la información en ese espacio delimitado por el software.

4. Resultados. Análisis semiótico multimodal aplicado a un aula virtual

En este apartado se analiza un módulo16 correspondiente al aula virtual del seminario Diseño e

13  Estos requisitos están estrechamente ligados a las tres metafunciones del lenguaje de Halliday (1978, 1985) pero se diferencia de éstas por su significado situado y no abstracto como propone Halliday, cuyas categorías son abstractas y generales aplicables a toda la semiosis social humana.

14  Kress y van Leeuwen (2010) sostienen que el lenguaje es uno de los numerosos modos de comunicación que entran en juego; puede ser el ‘código maestro’ cuando se trata de un texto impreso sin imágenes, o puede no serlo, como cuando se juega a un videojuego, o en el caso de una película.

15  Muchos de los conceptos aplicados al análisis multimodal proceden de la teoría del arte: mirada, focalización

16  El término ‘módulo’ viene del latín (modulus) y se refiere a una estructura o bloque de piezas que en una construcción se ubican en cantidad a fin de hacerla más sencilla, regular y económica. Todo módulo forma parte de un sistema y suele estar conectado de alguna manera con el resto de los componentes. Para la teoría curricular significa una unidad autónoma con sentido propio que, al mismo tiempo, se articula con los distintos módulos que integran la estructura curricular. El

18 VEsC - Año 11 - Número 21 - 2020: 9-22

https://revistas.unc.edu.ar/index.php/vesc/workflow/index/29433/5

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/

Viviana Corina Svensson

Fundamentos e Investigación

Intervención de Ambientes Enriquecidos con Tecnología (DIAET17) (Imagen 1) teniendo en cuenta los elementos fundamentales de la semiótica multimodal descriptos en el apartado 3.

La metafunción experiencial se manifiesta en el evento correspondiente al Módulo 1 del Seminario DIAET18. El título ‘Unidad 1’ indica la relación lógica (metafunción lógica)19 de este evento con otro anterior y posterior. Otro elemento que indica conexión lógica es la organización de los contenidos en el espacio (canvas) del aula virtual, que se da de arriba/abajo; lo que establece jerarquía en la lectura de los materiales20. La metafunción interpersonal21, si bien no está muy manifiesta en este nivel de análisis, se aprecia en la pregunta que da fundamento al primer foro: ¿Aulas presenciales, aulas virtuales, aulas extendidas? (Imagen 1). Al interior de cada herramienta puesta en el canvas, por ejemplo, en el recurso ‘Recorrido de la Unidad 1’ se ve mucho mejor esta metafunción, ya que el docente se dirige a los estudiantes en primera persona, los interpela, haciéndolos partícipes de su propio aprendizaje. La metafunción textual se observa en la organización de la información: títulos, subtítulos, tipografía y empleo del color. El creador del sitio usó el recurso ‘Página’ de Moodle para diferenciar los contenidos multimodales de los lineales o estáticos, para los que usa el recurso ‘Archivo en PDF’.

A simple vista se puede decir que prevalece el modo verbal por sobre otros modos. Sin embargo, los recursos empleados indican el empleo de los siguientes modos: verbal, visual, audiovisual y dialógico. El modo verbal se emplea para ordenar el contenido en el lienzo correspondiente al módulo 1, nombrarlo, y describirlo. El modo visual se emplea en el primer recurso ‘página web’ para mostrar visualmente la importancia de las aulas y sus nuevas configuraciones. El link remite a una presentación en Prezi22. El modo audiovisual incorpora la voz, el cuerpo y el pensamiento de un teórico, lo que posibilita diferenciar las voces dentro del aula. El modo dialógico abre el intercambio comunicativo entre los actores del aula: profesor, tutor y estudiantes.

Esta lógica de organización del contenido en el Módulo 1 se mantiene a lo largo de los otros tres. Así, a partir del microanálisis, el aula virtual DIAET constituye un texto multimodal coherente y cohesivo y que se puede entender como ‘artefacto virtual’ (Bateman, 2008) capaz de establecer la mediación pedagógica para el que fue creado.

propósito formativo de cada módulo se refiere y se vincula estrechamente con los elementos de competencia. En el ámbito de la informática y el desarrollo. En programación informática, el concepto se basa en el principio de ‘descomponer un problema en otros más pequeños para resolverlos uno a uno hasta alcanzar el objetivo final.

17  Diseño e Intervención de Ambientes Enriquecidos con Tecnología, seminario correspondiente a la Especialización en Educación Mediada por Tecnología digital, carrera de posgrado del CURZA.

18  La metafunción experiencial se manifiesta en la ruta de la cabecera del aula virtual: ‘Área personal /Mis Cursos/ curza- DIAET’, que indica el contexto del aula. Le sirve al usuario para saber dónde está y cómo acceder (ver Imagen 1).

19  Los títulos y subtítulos a metafunción están ligados a la metafunción lógica, pues establecen conexiones con elementos anteriores y posteriores dentro del espacio virtual del aula (ver Imagen 1).

20  El espacio está dividido por los subtítulos (misma tipografía, tamaño y color) que establecen la diferencia entre el espacio dedicado a la lectura y el espacio a las actividades. La información se jerarquiza de arriba/ abajo estableciendo así un orden en la lectura. Una vez leído el material se pasa al espacio de trabajo (ver Imagen 1).

21  En este espacio se espera que el estudiante responda al interrogante y luego finalice la actividad con su autoevaluación (ver Imagen 1).

22  Programa de presentaciones para explorar y compartir ideas sobre un documento virtual basado en la informática en nube. La aplicación se distingue por su interfaz gráfica con zoom, que permite a los usuarios disponer de una visión más acercada o alejada de la zona de presentación, en un espacio 2.5D, es decir, perspectiva de ¾ y pseudo-3D.

https://revistas.unc.edu.ar/index.php/vesc/workflow/index/29433/5

VEsC - Año 11 - Número 21 - 2020: 9-22 19

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/

Fundamentos e Investigación

Viviana Corina Svensson

Imagen 1: Módulo 1 DIAET

Fuente: elaboración propia

5. Conclusiones

Los estudios centrados en la semiótica multimodal privilegian la perspectiva de análisis del investigador, quien representa juicios subjetivos, pero no menos científicos. Es fundamental representar lo que el analista quiere vincular, por lo tanto, la selección de las unidades de análisis deberá estar guiada por esta premisa. Así, el analista: a) centrará la atención en el lenguaje en uso (cómo lo utilizan

20 VEsC - Año 11 - Número 21 - 2020: 9-22

https://revistas.unc.edu.ar/index.php/vesc/workflow/index/29433/5

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/

Viviana Corina Svensson

Fundamentos e Investigación

en todos sus modos) y cómo se manifiesta y se construye el mundo socio–cultural; b) la observación sistemática será la fuente de recolección de datos encontrados en artefactos (textuales y digitales) creados por un sujeto; c) sus objetivos serán describir, transcribir, anotar y analizar materiales a nivel micro, focalizando en los detalles más mínimos que dan forma y significado a ese objeto creado; d) la metodología implicará el microanálisis, basada en el análisis de fragmentos seleccionados; e) las preguntas de investigación se pueden orientar a: ¿cómo los productores de artefactos usan los modos disponibles para representar el mundo?, ¿qué modos se manifiestan y cómo se utilizan para crear un ambiente de aprendizaje?

Adoptar un paradigma multimodal para el análisis de los EVEA requiere comprender que la combinación de modos comunica cosas que ninguno de ellos podría hacerlo por separado y que un buen dominio teórico y metodológico podrían mejorar la calidad de las prácticas de la enseñanza y el aprendizaje mediada por tecnología digital.

Referencias bibliográficas

AREA, M.; RIBEIRO, T. (2012) De lo sólido a lo líquido: Las nuevas alfabetizaciones ante los cambios culturales de la Web 2.0. Comunicar (38), 13-20. https://doi.org/10.3916/C38-2012-02-01

BAL, M. (2004). El esencialismo visual y el objeto de los Estudios Visuales. Revista de Estudios Visuales. 2, Barcelona: Akal.

BARBERÀ, E.; BADIA, A. (2005). Hacia el aula virtual. Actividades de enseñanza y aprendizaje en la red. Revista Iberoamericana de Educación. OEI. Recuperado de: http://rieoei.org/index.php

BATEMAN, J. A. (2008) Multimodality and Genre – A foundation for the systematic analysis of multimodal documents. London: Palgrave Macmillan.

BEZEMER, J.; KRESS, G. (2016) Multimodality, Learning and Communication. Abingdon, Oxon: Routledge.

COBO ROMANÍ, C.; PARDO KUKLINSKI, H. (2007) Planeta Web 2.0. Inteligencia colectiva o medios fast food. Barcelona/ México DF: Grup de Recerca d’Interaccions Digitals, Universitat de Vic. Flacso México.

HALLIDAY, M.; MATTIESSEN, C. (2004) An Introduction to Functional Grammar. London: Hodder Arnold.

HALLIDAY, M.A.K. (2013) El lenguaje como semiótica social. México: FCE.

JEWITT, C.; BEZEMER, J.; O’HALLORAN, K. (2016). Introducing Multimodality. London: Routledge.

JOHANNESSEN, C. M. (2017). Experiential meaning potential in the Topaz Energy logo: a framework for graphemic and graphetic analysis of graphic logo design, Social Semiotics. 27(1): 1-20.

KRESS, G.; VAN LEEUWEN, T. (1996) Reading images. London: Routledge.

KRESS, G. y VAN LEEUWEN, T. (2001). Multimodal discourse: the modes and media of contemporary communication. London: Arnold.

KRESS, G. (2003). Literacy in the New Media Age. Abingdon: Routledge.

KRESS, G. (2005). El alfabetismo en la era de los nuevos medios de comunicación. Granada: Ediciones El Aljibe-Enseñanza Abierta de Andalucía.

KRESS, G. y VAN LEEUWEN, T. [1996] (2006). Reading Images. The Grammar of Visual Design.2nd ed.

https://revistas.unc.edu.ar/index.php/vesc/workflow/index/29433/5

VEsC - Año 11 - Número 21 - 2020: 9-22 21

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/

Fundamentos e Investigación

Viviana Corina Svensson

London: Routledge.

KRESS, G. (2010). Multimodality: a social semiotic approach to contemporary communication. 1º ed. USA: Routledge.

O’HALLORAN, K. (2004). Multimodal discourse Analysis. London: Continuum, Open Linguistic series.

O’REILLY, T. (2018) What Is Web 2.0. Design Patterns and Business Models for the Next Generation of Software. Recuperado de: https://www.oreilly.com/pub/a/web2/archive/what-is-web-20.html 30 de junio 2018.

PARODI, G. (2010). Multisemiosis y Lingüística de corpus: artefactos (Multi) Semióticos en los textos de seis disciplinas en el corpus PUCV-2010. Revista de Lingüística Teórica y Aplicada. Chile: 48(2) II Sem. (pp 33- 70). Recuperado de: https://scielo.conicyt.cl/scielo.php?pid=S0718-48832010000200003&script=sci_arttext

PÉREZ, S. (2009). Los medios y los modos: una mirada semiótica a los entornos virtuales de aprendizaje. En S. Pérez y A. Imperatore (Comp.), Comunicación y Educación en entornos virtuales de aprendizaje: perspectivas teórico-metodológicas. 1a ed. (pp. 55-66) Bernal: Universidad Nacional de Quilmes, Panel de Expertos I.

POULSEN, S. V. (2015). Multimodal meaning-making. En Key Terms in Multimodality: Definitions, Issues, Discussions. Edited by Nina Nørgaard. Recuperado de: https://multimodalkeyterms.wordpress.com/

PRESSMAN, R. (2002). Ingeniería del Software. Un enfoque práctico. 5ª ed. México: McGraw-Hill.

UNSWORTH, L. (2011) Multimodal Semiotic. Functional Analysis in Contexts of Education. London: Bloomsbury Academic.

VAN LEEUWEN, T. (2005). Introducing Social Semiotics. Abingdon, Oxon.: Routledge.

VAN LEEUWEN, T. (2011). The Language of Colour. London: Routledge.

VAN LEEUWEN, T. (2011). Key Terms in Multimodality: Definitions, Issues, Discussions. Editado por Nina Nørgaard. Recuperado de: https://multimodalkeyterms.wordpress.com/

VAN LEEUWEN, T. (2015). Introduction to Multimodal integration. Paper presentation given at DNC#1: DiscourseNet International Congress. Bremen University.

VÁSQUEZ-ROCCA, L. y PARODI, G. (2015). Relaciones retóricas y multimodalidad en el género informe de Política monetaria del discurso académico de la Economía. Calidoscopio. 13(3) pp. 388-405. Recuperado de: http://www. giovanniparodi.cl/giovanniparodi/site/artic/20160901/asocfile/20160901115817/10044_36883_1_pb.pdf

YNOUB, R. (2014) Cuestión de Método. Aportes para una metodología crítica. México, DF.: Cengage Learning Editores SA.

22 VEsC - Año 11 - Número 21 - 2020: 9-22

https://revistas.unc.edu.ar/index.php/vesc/workflow/index/29433/5

This HTML is created from PDF at https://www.pdfonline.com/convert-pdf-to-html/