Telepresence using Kinect and an animated robotic face : An experimental study regarding the sufficiency of using a subset of the CANDIDE-3 model and the Microsoft Kinect Face Tracking device for capturing and animating the most typical facial expressions

• Main Authors: Linder, Johannes, Gudmandsen, Magnus
• Format: Others
• Language: English
• Published: KTH, Skolan för datavetenskap och kommunikation (CSC) 2013
• Subjects: Robot; Robotic face; Kinect; Microsoft Kinect; Animation; Telepresence; Robotiskt ansikte; Computer Sciences; Datavetenskap (datalogi)
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-177115

This Bachelor’s Thesis in Computer Science investigates the use of the parameterised facial animation model named CANDIDE-3 (J. Ahlberg, 2001) in Telepresence communication with relatively cheap hardware. An experimental study was conducted to evaluate how well an implementation using the Microsoft Kinect Face Tracking device could capture and animate the 6 classical emotional states: joy, sadness, surprise, anger, fear and disgust. A total of 80 test candidates took part in a survey where they were to try and classify the emotional states of images of photographed and animated faces. The animated faces were created using the prototype system built for the purpose of the survey and rendered onto the robotic Furhat face (Al Moubayed, S., Skantze, G., Beskow, J., Stefanov, K., & Gustafson, J, 2012). Results showed that a person’s emotional state is preserved very well through the animation technique used, and for some basic emotions, like joy or sadness, the animation could even amplify the emotional state for the viewer. However, the 6 Action Units captured from the Kinect device were not enough to sufficiently distinguish between even some of most the basic emotional states (e.g. disgust, anger). === Denna kandidatuppsats inom Datateknik undersöker hur väl den parametriserade animationsmodellen CANDIDE-3 (J.Ahlberg, 2001) kan användas för att visa ansiktsuttryck inom Telepresence-sammanhang med hjälp av relativt billig hårdvara. En experimentell studie utfördes för att undersöka hur väl en implementation som använder Microsoft Kinects ansiktsigenkänning kunde fånga och animera de 6 klassiska ansiktsuttrycken: glädje, sorg, förvåning, ilska, rädsla och avsky. Totalt deltog 80 personer i undersökningen där deras uppgift var att klassificera känslomässiga tillstånd från fotograferade och animerade ansikten. De animerade ansiktena skapades med hjälp av det prototypsystem som byggdes i undersökningens syfte och renderades på det robotiserade Furhat-ansiktet (Al Moubayed, S., Skantze, G., Beskow, J., Stefanov, K., & Gustafson, J, 2012). Resultat visade att en persons känslomässiga tillstånd väldigt väl bevaras genom animationstekniken som används, och för några grundläggande känslor, såsom glädje och sorg, kunde animationen till och med förstärka det känslomässiga tillståndet för åskådaren. De 6 AU-enheterna som fångas av Kinect-enheten var dock inte tillräckliga för att särskilja till och med några av de mest grundläggande känslomässiga tillstånden (såsom avsky, ilska).