Reliable and secure storage with erasure codes for OpenStack Swift in PyECLib

• Main Author: Chang, Cheng
• Format: Others
• Language: English
• Published: KTH, Skolan för informations- och kommunikationsteknik (ICT) 2016
• Subjects: Computer and Information Sciences; Data- och informationsvetenskap
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-202972

In the last decade, cloud storage systems has experienced a rapid growth to account for an important part of cloud-based services. Among them, OpenStack Swift is a open source software to implement an object storage system. Meanwhile, storage providers are making great effort to ensure the quality of their services. One of the key factors of storage systems is the data durability. Fault tolerance mechanisms play an important role in ensuring the data availability. Existing approaches like replication and RAID are used to protect data from lost, while with their own drawbacks. Erasure coding comes as a novel concept applied in the storage systems for the concern of data availability. Studies showed that it is able to provide fault tolerance with redundancies while reducing the capacity overhead, offering a tradeoff between performanc eand cost. This project did an in-depth investigation on the OpenStack Swift and the erasure coding approach. Analysis on erasure coded and replication systems are performed to compare the features of both approaches. A prototype of custom erasure code is implemented as an extension to Swift, offering data storage with promising reliability and performance. === Molnlagring system har upplevt en snabb tillväxt att spela en viktig roll i molnbaserade tjänster under det senaste decenniet. Bland annat är Openstack Swift en programvara med öppen källköd som ska införa som object lagring system. Dessutom har molnlagring system gjort stora ansträngar för att säkerställa kvaliten av sina tjänster. En av de viktigaste faktorerna av molnlagring system är datashållbarheten. Feltoleransmekanismer spelar en viktig roll för att grantera datastillgångår. Bland annat finns det Replikering och RAID används för att skydda data från förlorade trots att de drabbas av många nackdelar. Erasure kodning kommer som nytt koncept som kan tillämpas i lagringssystem för angelägenheten av datastillgänglighet. Forskningar har visat att det kan ge feltolerans med uppsägningar och samtidigt minska kapaciteten och erbjuder en kompromiss mellan prestanda och kostnad. Projekten gjorde en fördjupad undersökning på Openstack Swift och erasure kodning. Analyserna på raderingskodade och replikationssystem har vidtagits för att jämföra egenskaperna hos båda metoder. En prototyp av anpassade radering koden är att implementeras som förlängning till Swift och erbjuder datalagring med lovande tillförlitlighet och prestanda.