ABSTRACT
Studies of perceptual processing have generally been carried out within one particular input modality. But most real-life events produce correlated sensory inputs to several modalities. The research that has dealt specifically with multimodal perception has identified many cases of crossmodal interaction, in which the interpretation of data in one modality is influenced by those from other modalities. These studies have mostly been based on the imposition of experimental conflict between the data available to the involved modalities. The chapter discusses some of the main methodological and conceptual problems of that approach, taking its examples on one hand from the line of research on spatial interactions between audition and vision, often designated by the collective term ventriloquism, and on the other from current work on audiovisual speech identification. It focuses successively on the conditions under which conflict reduction processes are triggered (the pairing problem), on the degree of automaticity of the interactions, and on the role of the spatial orientation of attention. Finally, the relations between ventriloquism and the integration of visual data from the talker’s face with auditory data in speech recognition, as exemplified in the McGurk illusion, are considered. New experimental data are presented that are inconsistent with the notion that the two phenomena originate in the same components of the functional architecture.
Les analyses du traitement perceptif ont été menées généralement au sein d’une modalité particulière. Pourtant, la plupart des évènements de la vie réelle produisent des données pour plusieurs modalités à la fois. La recherche portant spécifiquement sur la perception multimodale a identifié de nombreux cas d’interaction intermodale, dans lequels l’interprétation des données d’une modalité est influencée par celles d’une autre modalité. Ces études ont été basées principalement sur l’imposition de conflits expérimentaux entre les données disponibles dans les modalités impliquées. 420Le chapitre discute quelques-uns des principaux problèmes méthodologiques et conceptuels de cette approche, en se basant d’une part sur la ligne de recherche consacrée aux interactions spatiales entre la vision et l’audition, souvent désignées par le terme collectif de ventriloquie, et d’autre part sur le travail contemporain sur l’identification audiovisuelle de la parole. Il envisage successivement les conditions dans lesquelles les processus de réduction du conflit sont mis en branle (le problème de l’ appariemeni), le degré d’automaticité des interactions et le rôle de l’orientation spatiale de l’ attention. Finalement, on considére les relations entre la ventriloquie et l’intégration de données visuelles en provenance du visage du locuteur avec les données auditives dans la perception de la parole, mises en évidence dans l’ illusion de McGurk. De nouvelles données expérimentales sont décrites, qui sont incompatibles avec l’idée que les deux phénomènes trouvent leur origine dans les mêmes composants de 1’architecture fonctionelle.
