Análise da influência da taxa de aprendizado e do fator de desconto sobre o desempenho dos algoritmos Q-learning e SARSA: aplicação do aprendizado por reforço na navegação autônoma

• Main Authors: André Luiz Carvalho Ottoni, Erivelton Geraldo Nepomuceno, Marcos Santos de Oliveira, Lara Toledo Cordeiro, Rubisson Duarte Lamperti
• Format: Article
• Language: English
• Published: Universidade de Passo Fundo (UPF) 2016-09-01
• Series: Revista Brasileira de Computação Aplicada
• Subjects: Aprendizado por Reforço; Navegação Autônoma; Regressão Logística.
• Online Access: http://seer.upf.br/index.php/rbca/article/view/5249
• ISSN: 2176-6649

Nos algoritmos de aprendizado por reforço, a taxa de aprendizado (alpha) e o fator de desconto (gamma) podem ser definidos entre qualquer valor no intervalo entre 0 e 1. Assim, adotando os conceitos de regressão logística, é proposta uma metodologia estatística para a análise da influência da variação de \alpha e \gamma nos algoritmos Q-learning e SARSA. Como estudo de caso, o aprendizado por reforço foi aplicado em experimentos de navegação autônoma. A análise de resultados mostrou que simples variações em \alpha e \gamma podem interferir diretamente no desempenho do aprendizado por reforço.