| Summary: | Gaussian process methods are flexible non-parametric Bayesian methods used for regression and classification. They allow for explicit handling of uncertainty and are able to learn complex structures in the data. Their main limitation is their scaling characteristics: for n training points the complexity is O(n³) for training and O(n²) for prediction per test data point. This makes full Gaussian process methods prohibitive to use on training sets larger than a few thousand data points. There has been recent research on approximation methods to make Gaussian processes scalable without severely affecting the performance. Some of these new approximation techniques are still not fully investigated and in a practical situation it is hard to know which method to choose. This thesis examines and evaluates scalable GP methods, especially focusing on the framework Massively Scalable Gaussian Processes introduced by Wilson et al. in 2016, which reduces the training complexity to nearly O(n) and the prediction complexity to O(1). The framework involves inducing point methods, local covariance function interpolation, exploitations of structured matrices and projections to low-dimensional spaces. The properties of the different approximations are studied and the possibilities of making improvements are discussed. === Gaussiska processmetoder är flexibla icke-parametriska Bayesianska metoder som används för regression och klassificering. De tillåter explicit hantering av osäkerhet och kan lära sig komplexa strukturer i data. Den största begränsningen är deras skalningsegenskaper: för n träningspunkter är komplexiteten O(n³) för träning och O(n²) för prediktion per ny datapunkt. Detta gör att kompletta Gaussiska processer är för krävande föratt använda på träningsdata större än några tusen datapunkter. Det har nyligen forskats på approximationsmetoder för att göra Gaussiska processer skalbara utan att påverka prestandan allvarligt. Några av dessa nya approximationsstekniker är fortfarande inte fullkomligt undersökta och i en praktisk situation är det svårt att veta vilken metod man ska använda. Denna uppsats undersöker och utvärderar skalbara GP-metoder, särskilt med fokus på ramverket Massivt Skalbara Gaussiska Processer introducerat av Wilson et al. 2016, vilket minskar träningskomplexiteten till O(n) och prediktionskomplexiteten till O(1). Ramverket innehåller inducerande punkt-metoder, lokal kärninterpolering, utnyttjande av strukturerade matriser och projiceringar till lågdimensionella rum. Egenskaperna hos de olika approximationerna studeras och möjligheterna att göra förbättringar diskuteras
|
|---|
