Regard et communication face-à-face entre un locuteur humain et un agent conversationnel animé. Attention mutuelle et monstration multimodale

• Main Author: Raidt, Stephan
• Language: ENG
• Published: 2008
• Subjects: [SPI:SIGNAL] Engineering Sciences/Signal and Image processing; Interaction face-à-face; regard; agents conversationnels; deixis; multimodalité; parole
• Online Access: http://tel.archives-ouvertes.fr/tel-00369479; http://tel.archives-ouvertes.fr/docs/00/36/94/79/PDF/sr_PHD08.pdf

Dans le contexte de la génération synthétique et le décodage d'informations linguistiques, non seulement le composant auditif mais aussi le composant visuel de la parole transmettent de l'information précieuse. Nous étudions le regard en tant qu´élément crucial pour enrichir la parole et fournir des informations supplémentaires. Le regard est un geste déictique très important, ainsi il influence de manières variées l'organisation du dialogue et de l'interaction sociale. Dans une première expérience nous étudions comment le regard d'une tête parlante peut être employé comme geste déictique dans un jeu de recherche et sélection sur un écran d'ordinateur. Nous avons trouvé que ces gestes sont capables de réduire le temps de réaction ainsi que la charge cognitive. Cet effet est accentué quand le geste est de caractère multimodal, utilisant la parole de manière adaptée. Dans une deuxième expérience nous avons étudié le rapport entre le regard d'un sujet cible et les différents éléments d'une interaction dialogique. Nous avons défini différents segments dans l'échange d'information dialogique et avons trouvé qu´ils sont liés aux variations du comportement du regard mesuré. Basé sur ces résultats nous proposons un modèle pour le contrôle du regard d'un agent conversationnel animé dans l'interaction face-à-face.