A Novel SLAM Quality Evaluation Method

• Main Author: Caesar, Felix
• Format: Others
• Language: English
• Published: KTH, Skolan för elektroteknik och datavetenskap (EECS) 2019
• Subjects: Computer and Information Sciences; Data- och informationsvetenskap
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-255014

Autonomous vehicles have grown into a hot topic in both research and industry. For a vehicle to be able to run autonomously, it needs several different types of systems to function properly. One of the most important of them is simultaneous localization and mapping (SLAM). It is used for estimating the pose of the vehicle and building a map of the environment around it based on sensor readings. In this thesis we have developed an novel approach to measure and evaluate the quality of a landmark-based SLAM algorithm in a static environment. The error measurement evaluation is a multi-error function and consists of the following error types: average pose error, maximum pose error, number of false negatives, number of false positives and an error relating to the distance when landmarks are added into the map. The error function can be tailored towards specific applications by settings different weights for each error. A small research concept car with several different sensors and an outside tracking system was used to create several datasets. The datasets include three different map layouts and three different power settings on the car’s engine to create a large variability in the datasets. FastSLAM and EKF-SLAM were to test the proposed SLAM evaluation method. A comparison to just the pose error was made to asses if our method can provide more information concerning establishing SLAM quality. Our results show that the pose error is often a good enough indicator of SLAM quality. However it can occasionally be misleading with errors related to mapping (location of landmarks, false negative and false positive landmarks). By using the method presented in this thesis, errors relating to the mapping will be more easily detected than by looking at the pose error. === Autonoma fordon har vuxit till ett viktigt ämne både inom forskning och industri. För att ett fordon ska kunna köras autonomt behövs det att flera olika system fungerar korrekt. En av de viktigaste av dem är simultaneous localization and mapping (SLAM). Det används för att uppskatta fordonets position samt för att bygga en karta av miljön runt fordonet. I det här examensarbetet har vi utvecklat en ny metod för att mäta och utvärdera kvaliteten på en landmärkes-baserad SLAM-algoritm i en statisk miljö. Metoden består av följande feltyper: medelvärdet av positionsfelet, det maximala positionsfelet, antal falskt negativa fel, antal falskt positiva fel samt ett fel relaterat till avståndet när ett landmärke läggs till i kartan. Genom att använda vikter för varje fel kan metoden skräddarsys till en specifik applikation. En liten konceptbil med flera olika sensorer och ett yttre spårningssystem användes för att skapa flera dataset. Dataseten innehåller tre olika kartlayouter och tre olika effektinställningar på bilen för att skapa stor variation i dataseten. FastSLAM och EKF-SLAM användes vid testningen av den nya metoden för kvalitetsbedömning av SLAM. Den nya metoden jämfördes mot positionsfelet för att analysera ifall den nya metoden är ett bättre sätt att mäta SLAMkvalitet. Våra resultat visar att positionsfelet ofta är en tillräckligt bra indikator för SLAM-kvalitet, men det kan ibland vara vilseledande gällande fel i kartläggningen (positioner av landmärken, falskt negativa fel och falskt positiva fel). Genom att använda metoden som presenteras i det här examensarbete är fel som är relaterade till kartläggningen lättare att upptäcka än om man enbart kollar på positionsfelet.