Skill Imitation Learning on Dual-arm Robotic Systems

A control system used to control two Panda Franka Emika robots online and simultaneously with two HTC Vive controllers is presented, with the primary purpose of demonstrating tasks for robots. The system is validated by learning from demonstration/imitation learning task via Principle Component Anal...

Full description

Bibliographic Details
Main Author: Österberg, Jonathan
Format: Others
Language:English
Published: KTH, Skolan för elektroteknik och datavetenskap (EECS) 2020
Subjects:
Online Access:http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-283361
Description
Summary:A control system used to control two Panda Franka Emika robots online and simultaneously with two HTC Vive controllers is presented, with the primary purpose of demonstrating tasks for robots. The system is validated by learning from demonstration/imitation learning task via Principle Component Analysis (PCA). The task consists of learning different bimanual movement patterns e.g. for drawing sketches, with latent variables that then can be manipulated by the user to generate new shapes of similar structure. Tasks of various correlations between the arms are tested and compared. The system uses components and adaptations e.g. preexisting modules for sensing, communication, motion planning, etc. to realize the goal of modularity and support for other robots than the one used in this thesis. The most prominent systems used are the Robot Operating System (ROS) for the base framework for handling packages and sending information between different parts of the system, and MoveIt’s planning library (running on ROS) for managing kinematics and collision. === Ett kontrollsystem för att styra två Panda Franka Emika robotar online och samtidigt med två HTC Vive kontroller presenteras, med det primära syftet att demonstrera uppgifter för robotar. Systemet valideras genom att lära sig från demonstrering / imitation inlärningsuppgift via Principle Component Analysis (PCA). Uppgiften består av att lära sig olika bimanuella rörelsemönster, t.ex. för ritning av skisser, med latenta variabler som sedan kan manipuleras av användaren för att generera nya former med liknande struktur. Uppgifter med varierande korrelation mellan armarna testas och jämförs. Systemet använder komponenter t.ex. existerande moduler för avkänning, kommunikation, rörelseplanering, etc. för att förverkliga målet om modularitet och stöd för fler robotar än det som används i denna avhandling. De mest framstående systemen som används är Robot Operating System (ROS) som ram för att hantera paket och skicka information mellan olika delar av systemet, och MoveIts planeringsbibliotek (körs ovanpå ROS) för hantering av kinematik och kollision.