Aprendizado multi-objetivo deredes RBF e de Máquinas de kernel
=== As known from statistical learning theory, the training error and complexity of a model must be simultaneously minimized and yet certainly balanced for a valid generalization. Modern learning algorithms, such as support vector machines, achieve this goal by means of regularization and kernel me...
Main Author: | |
---|---|
Other Authors: | |
Format: | Others |
Language: | Portuguese |
Published: |
Universidade Federal de Minas Gerais
2010
|
Online Access: | http://hdl.handle.net/1843/BUOS-8CCHNX |
id |
ndltd-IBICT-oai-bibliotecadigital.ufmg.br-MTD2BR-BUOS-8CCHNX |
---|---|
record_format |
oai_dc |
collection |
NDLTD |
language |
Portuguese |
format |
Others
|
sources |
NDLTD |
description |
=== As known from statistical learning theory, the training error and complexity of a model must be simultaneously minimized and yet certainly balanced for a valid generalization. Modern learning algorithms, such as support vector machines, achieve this goal by means of regularization and kernel methods, whose combination providespossibilities for analysis and construction of efficient nonlinear learning machines. In such algorithms, due to the non-convexity of the learning problem when the kernel is not fixed, the choice of the kernel is commonly addressed using sophisticated techniques of model selection, in a manner, different from the original idea of balancebetween the error and complexity. In contrast, the search of balance between the error and complexity in non-convex learning problems can be treated within the multi-objective framework, by viewing the supervised learning as a decision process in the environment of two conflicting goals. However, modern methods of multiobjective learning are focused on evolutionary optimization, paying a few attention to implementation of key learning principles. This work develops a multi-objective approach to supervised learning as an extension of the traditional (single-objective) concepts, such as regularization and margin maximization, to the cases of non-convex hypothesis spaces, induced with multiple kernels. In the proposed learning scheme, approximate solutions to generally nonconvex problems are obtained from their decompositions into the subsets of convex subproblems, where the application of deterministic nonlinear programming is efficient. Aiming for implementation of the principle of structural risk minimization, there are several complexity measures derived, each one inducing a particular multiobjectivealgorithm. In particular, the proposed smoothness-based complexity measure for the Gaussian radial-basis function (RBF) networks led to an efficient multi-objective algorithm, which is capable of finding the weights, widths, locations, and quantities of basis functions in a deterministic manner. In combination with the Akaike and Bayesian information criteria, the developed algorithm demonstrates a high generalization efficiency on several synthetic and real-world benchmark problems. Aiming to extendthe concept of margin maximization to supervised learning with multiple kernels, the techniques of feature normalization and equalization were proposed. The further analysis shows the necessity in extension of the concept of margin to the more general property of a separation hyperplane, such as its stability. As the result, the proposed stability-based complexity measure, which reliability has been experimentally confirmed, allows a construction of multi-objective algorithms for arbitrary classes of kernels. === Conforme a teoria de aprendizagem estat´stica, o erro de treinamento e a complexidade de modelos de aprendizado devem ser certamente equilibrados para uma generalização válida, além de serem minimizados. Os algoritmos de aprendizagem modernos, tais como máquinas de vetores de suporte, atingem esta meta por meio da regularização e dos métodos de kernel. A sua combinação permite de maneira eficiente analisar e construir máquinas de aprendizagem não-lineares. Nestes algoritmos, devido à não-convexidade do problema de aprendizagem quando o kernel não é fixo, a escolha do kernel é efetuada por meio das técnicas sofisticadas de seleção de modelos, diferentemente da ideia original de equilíbrio entre o erro e acomplexidade. Por outro lado, a busca de equilíbrio entre o erro e a complexidade de problemas não-convexos pode ser tratada de maneira multi-objetiva, considerando a aprendizagem supervisionada como o processo de decisão no ambiente de dois objetivos conflitantes. Contudo, métodos modernos de aprendizagem multi-objetiva sãovoltados á otimização evolucionária, prestando pouca atenção à implementação dos princípios fundamentais de aprendizagem estatística. Neste trabalho foi desenvolvida uma abordagem multi-objetiva de aprendizagem supervisionada baseada na extensão dos conceitos tradicionais, tais como regularização e maximização de margem, aos casos de espaços de hipótese não-convexos, induzidos com múltiplos kernels. No esquema de aprendizagem proposto, as soluções aproximadas dos problemas, geralmente não-convexos, sao obtidos por meio de certa decomposiçao em conjuntos de sub-problemas convexos, nos quais a programação não linear pode ser eficientemente aplicada de maneira determinística. Com o objetivode implementação do princípio de minimização do risco estrutural, várias medidas de complexidade foram propostas, induzindo os correspondentes algoritmos multiobjetivos. Entretanto, a medida de complexidade baseada em suavidade para as redes de função da base radial (RBF) permitiu a construção de um algoritmo multi-objetivo, com a sua capacidade de definição dos pesos, larguras, centros e quantidades de funções-bases. Em combinação com os critérios de informaçao de Akaike e Bayes, o algoritmo proposto demonstrou um alto desempenho de generalização em vários problemas-testes de natureza diversa. Com o objetivo de extensão do conceito de maximização de margem ao aprendizagem supervisionada com múltiplos kernels, astécnicas de normalização e equalização dos espaços de características foram propostas. As suas análises mostraram a necessidade de formulação de conceito de margem com uma característica mais geral de hiperplano de separação, tal como sua estabilidade. Como resultado, a medida de complexidade baseada no critério de estabilidade desenvolvido, cuja adequação foi confirmada com experimentos, permite a construção de algoritmos multi-objetivos para as classes de kernel arbitrários. |
author2 |
Antonio de Padua Braga |
author_facet |
Antonio de Padua Braga Illya Kokshenev |
author |
Illya Kokshenev |
spellingShingle |
Illya Kokshenev Aprendizado multi-objetivo deredes RBF e de Máquinas de kernel |
author_sort |
Illya Kokshenev |
title |
Aprendizado multi-objetivo deredes RBF e de Máquinas de kernel |
title_short |
Aprendizado multi-objetivo deredes RBF e de Máquinas de kernel |
title_full |
Aprendizado multi-objetivo deredes RBF e de Máquinas de kernel |
title_fullStr |
Aprendizado multi-objetivo deredes RBF e de Máquinas de kernel |
title_full_unstemmed |
Aprendizado multi-objetivo deredes RBF e de Máquinas de kernel |
title_sort |
aprendizado multi-objetivo deredes rbf e de máquinas de kernel |
publisher |
Universidade Federal de Minas Gerais |
publishDate |
2010 |
url |
http://hdl.handle.net/1843/BUOS-8CCHNX |
work_keys_str_mv |
AT illyakokshenev aprendizadomultiobjetivoderedesrbfedemaquinasdekernel |
_version_ |
1718844096635731968 |
spelling |
ndltd-IBICT-oai-bibliotecadigital.ufmg.br-MTD2BR-BUOS-8CCHNX2019-01-21T17:55:50Z Aprendizado multi-objetivo deredes RBF e de Máquinas de kernel Illya Kokshenev Antonio de Padua Braga Eduardo Mazoni Andrade Marcal Mendes Ricardo Hiroshi Caldeira Takahashi Rodney Rezende Saldanha Carlos Eduardo Thomaz Roberta Oliveira Parreiras As known from statistical learning theory, the training error and complexity of a model must be simultaneously minimized and yet certainly balanced for a valid generalization. Modern learning algorithms, such as support vector machines, achieve this goal by means of regularization and kernel methods, whose combination providespossibilities for analysis and construction of efficient nonlinear learning machines. In such algorithms, due to the non-convexity of the learning problem when the kernel is not fixed, the choice of the kernel is commonly addressed using sophisticated techniques of model selection, in a manner, different from the original idea of balancebetween the error and complexity. In contrast, the search of balance between the error and complexity in non-convex learning problems can be treated within the multi-objective framework, by viewing the supervised learning as a decision process in the environment of two conflicting goals. However, modern methods of multiobjective learning are focused on evolutionary optimization, paying a few attention to implementation of key learning principles. This work develops a multi-objective approach to supervised learning as an extension of the traditional (single-objective) concepts, such as regularization and margin maximization, to the cases of non-convex hypothesis spaces, induced with multiple kernels. In the proposed learning scheme, approximate solutions to generally nonconvex problems are obtained from their decompositions into the subsets of convex subproblems, where the application of deterministic nonlinear programming is efficient. Aiming for implementation of the principle of structural risk minimization, there are several complexity measures derived, each one inducing a particular multiobjectivealgorithm. In particular, the proposed smoothness-based complexity measure for the Gaussian radial-basis function (RBF) networks led to an efficient multi-objective algorithm, which is capable of finding the weights, widths, locations, and quantities of basis functions in a deterministic manner. In combination with the Akaike and Bayesian information criteria, the developed algorithm demonstrates a high generalization efficiency on several synthetic and real-world benchmark problems. Aiming to extendthe concept of margin maximization to supervised learning with multiple kernels, the techniques of feature normalization and equalization were proposed. The further analysis shows the necessity in extension of the concept of margin to the more general property of a separation hyperplane, such as its stability. As the result, the proposed stability-based complexity measure, which reliability has been experimentally confirmed, allows a construction of multi-objective algorithms for arbitrary classes of kernels. Conforme a teoria de aprendizagem estat´stica, o erro de treinamento e a complexidade de modelos de aprendizado devem ser certamente equilibrados para uma generalização válida, além de serem minimizados. Os algoritmos de aprendizagem modernos, tais como máquinas de vetores de suporte, atingem esta meta por meio da regularização e dos métodos de kernel. A sua combinação permite de maneira eficiente analisar e construir máquinas de aprendizagem não-lineares. Nestes algoritmos, devido à não-convexidade do problema de aprendizagem quando o kernel não é fixo, a escolha do kernel é efetuada por meio das técnicas sofisticadas de seleção de modelos, diferentemente da ideia original de equilíbrio entre o erro e acomplexidade. Por outro lado, a busca de equilíbrio entre o erro e a complexidade de problemas não-convexos pode ser tratada de maneira multi-objetiva, considerando a aprendizagem supervisionada como o processo de decisão no ambiente de dois objetivos conflitantes. Contudo, métodos modernos de aprendizagem multi-objetiva sãovoltados á otimização evolucionária, prestando pouca atenção à implementação dos princípios fundamentais de aprendizagem estatística. Neste trabalho foi desenvolvida uma abordagem multi-objetiva de aprendizagem supervisionada baseada na extensão dos conceitos tradicionais, tais como regularização e maximização de margem, aos casos de espaços de hipótese não-convexos, induzidos com múltiplos kernels. No esquema de aprendizagem proposto, as soluções aproximadas dos problemas, geralmente não-convexos, sao obtidos por meio de certa decomposiçao em conjuntos de sub-problemas convexos, nos quais a programação não linear pode ser eficientemente aplicada de maneira determinística. Com o objetivode implementação do princípio de minimização do risco estrutural, várias medidas de complexidade foram propostas, induzindo os correspondentes algoritmos multiobjetivos. Entretanto, a medida de complexidade baseada em suavidade para as redes de função da base radial (RBF) permitiu a construção de um algoritmo multi-objetivo, com a sua capacidade de definição dos pesos, larguras, centros e quantidades de funções-bases. Em combinação com os critérios de informaçao de Akaike e Bayes, o algoritmo proposto demonstrou um alto desempenho de generalização em vários problemas-testes de natureza diversa. Com o objetivo de extensão do conceito de maximização de margem ao aprendizagem supervisionada com múltiplos kernels, astécnicas de normalização e equalização dos espaços de características foram propostas. As suas análises mostraram a necessidade de formulação de conceito de margem com uma característica mais geral de hiperplano de separação, tal como sua estabilidade. Como resultado, a medida de complexidade baseada no critério de estabilidade desenvolvido, cuja adequação foi confirmada com experimentos, permite a construção de algoritmos multi-objetivos para as classes de kernel arbitrários. 2010-06-30 info:eu-repo/semantics/publishedVersion info:eu-repo/semantics/doctoralThesis http://hdl.handle.net/1843/BUOS-8CCHNX por info:eu-repo/semantics/openAccess text/html Universidade Federal de Minas Gerais 32001010015P8 - ENGENHARIA ELÉTRICA UFMG BR reponame:Biblioteca Digital de Teses e Dissertações da UFMG instname:Universidade Federal de Minas Gerais instacron:UFMG |