Ocular fixations modulate audiovisual semantic congruency when standing in an upright position / Las fijaciones oculares modulan la congruencia semántica audiovisual cuando el cuerpo está en una posición erguida

ABSTRACT

Abstract Introduction: Multisensory audiovisual semantic congruency is the process by which visual information is perceived as integrated to auditory stimuli, because both coincide in terms of simultaneity and semantic correspondence. This study was aimed at establishing whether visual percepts, which semantically correspond to auditory stimuli, are associated with ocular fixations in modulating bottom-up areas while keeping a body posture alignment between the up-direction and the idiotropic axes, as well as in another orientation corresponding to a vectorial opposition between the up-direction and the head idiotropic axis. Method: Two groups (one for each position) were selected from a sample of 88 people. A bistable image was presented on a screen of a fixed 120 Hz eye-tracker device, providing background auditory stimuli so as to establish semantic congruencies and their relations to ocular fixations. Results: It was found that audiovisual semantic congruency is associated with fixations when idiotropic vectors are aligned with the up direction. Fixations manifested in bottom-up modulating areas are not associated with multisensory audiovisual semantic congruency when the head idiotropic vector is parallel with the gravity vector. Eye fixations decrease significantly if the head idiotropic axis is aligned with the gravity vector. Conclusion: It is concluded that body position can affect visual perceptual processes involved in the occurrence of semantic congruency.

RESUMEN

Resumen Introducción: La congruencia semántica audiovisual es el proceso por el cual información de una modalidad sensorial visual se percibe como integrada a estímulos auditivos, porque coinciden en términos de simultaneidad y correspondencia semántica. Este estudio tuvo por objeto establecer si los perceptos visuales que se corresponden semánticamente a estímulos auditivos están asociados con las fijaciones oculares realizadas en áreas de modulación bottom-up, tanto en una postura corporal definida por la alineación entre la dirección vertical hacia arriba y los ejes vectoriales idiotrópicos, como en otra orientación definida por una oposición vectorial entre la vertical hacia arriba y el eje idiotrópico de la cabeza. Método: Dos grupos fueron seleccionados (uno por cada posición), tomados de una muestra de 88 personas. Los datos se obtuvieron por medio de un dispositivo fijo de registro de movimientos oculares de 120 Hz. Una imagen biestable se presentó, proporcionando estímulos auditivos de fondo para producir congruencias semánticas y establecer su relación con las fijaciones oculares. Resultados: Se encontró que la congruencia semántica audiovisual está asociada con áreas de fijación ocular cuando los vectores idiotrópicos están alineados con la dirección vertical ascendente. Las fijaciones oculares en áreas de modulación bottom-up no están asociadas con la congruencia semántica audiovisual cuando el vector idiotrópico de la cabeza está alineado con el vector gravitacional. En esta última posición, la cantidad de fijaciones oculares es significativamente menor. Conclusión: La posición del cuerpo puede afectar procesos perceptuales visuales que, a su vez, inciden en el efecto de congruencia semántica.