Multimodal anomaly detection in discourse using speech and facial expressions

• Main Author: Fayet, Cédric
• Other Authors: Rennes 1
• Language: en
• Published: 2018
• Subjects: Anomalie; Expressions faciales; Parole; Apprentissage artificiel; Anomaly; Facial expressions; Speech; Machine learning
• Online Access: http://www.theses.fr/2018REN1S131

Cette thèse traite de la détection multimodale des anomalies dans le discours en utilisant les expressions faciales et l'expressivité dans la voix. Ces deux modalités sont des vecteurs d’émotions, des intentions, et peuvent refléter l'état d'esprit d'un être humain. Dans ce travail, un corpus de discours contenant des anomalies induites ou actées a été construit. Il a permis de mettre à l'épreuve une chaîne de détection à base de classification semi-supervisée. GMM, One Class SVM et Isolation Forest sont quelques exemples de modèles utilisés. Cela a également permis d'étudier la contribution de chacune des modalités et leur apport conjoint sur l'efficacité de la détection. === This thesis is about multimodal anomaly detection in discourse using facial expressions ans speech expressivity. These two modalities are vectors of emotions, intentions, and can reflect the state of mind of a human being. In this work, a corpus on discourse containing some induced and acted anomalies has been built. This corpus has enabled testing a detection chain based on semi-supervised classification. GMM, One class SVM and Isolation forest are examples of models that have been used. It also has enabled to study the contribution of each modality and their joint contribution to the detection efficiency.