[en] HIERARCHICAL NEURAL FUZZY MODELS BASED ON REINFORCEMENT LEARNING OF INTELLIGENT AGENTS - MARCELO FRANCA CORREA (MAXWELL, 2013)
[pt] Os benefícios trazidos pela aplicação de Sistemas Multi-Agentes (SMA) são diversos. Através da computação paralela, agentes podem trabalhar em conjunto para explorar melhor a estrutura descentralizada de uma determinada tarefa e acelerar sua conclusão. Além disso, agentes também podem trocar experiências se comunicando, fornecer alto grau de escalabilidade, através da inclusão de novos agentes quando necessário, e ainda fazer com que agentes assumam as atividades de outros agentes em casos de falha. Vários modelos de agentes desenvolvidos até o momento usam o aprendizado por reforço como algoritmo base no processo de aprendizado. Quando o agente está inserido em ambientes pequenos ou discretos, os resultados obtidos com o uso de métodos como Q-learning são satisfatórios. No entanto, quando o ambiente é grande ou contínuo, o uso de métodos de aprendizado por reforço torna-se inviável, devido à grande dimensão do espaço de estados. Nos SMA, este problema é consideravelmente maior, já que a memória necessária passa a crescer exponencialmente com a quantidade de agentes envolvidos na aplicação. Esta tese teve como finalidade o desenvolvimento de um novo modelo de aprendizado autônomo para Sistemas Multi-Agentes (SMA) visando superar estas limitações. O trabalho foi realizado em três etapas principais: levantamento bibliográfico, seleção e implementação do modelo proposto, e desenvolvimento de estudo de casos. O levantamento bibliográfico contemplou o estudo de agentes inteligentes e Sistemas Multi-Agentes, buscando identificar as propriedades e limitações dos algoritmos já desenvolvidos, as aplicações existentes, e as características desejadas em um SMA. A seleção e utilização de um modelo neuro-fuzzy hierárquico da família RL-NFH foi motivada especialmente pela importância de se estender a autonomia e aprendizado de agentes através do quesito inteligência, e pela sua capacidade de superar limitações presentes em algoritmos de aprendizado por reforço tradicionais. Inicialmente, ao modelo anterior foram adicionados os conceitos de satisfatoriedade e não-dominação, com a finalidade de acelerar o processo de aprendizado do algoritmo. Em seguida, o novo modelo multi-agente foi criado, viabilizando o desenvolvimento de aplicações de natureza tanto cooperativa como competitiva, com múltiplos agentes. Os estudos de caso contemplaram situações distintas de cooperação e competição entre agentes autônomos. Foram implementadas três aplicações distintas: uma aplicação benckmark do jogo da presa-predador (Pursuit-Game); um leilão energia elétrica, em que os fornecedores de energia fazem ofertas para atender à previsão de demanda em um período de tempo determinado; e uma aplicação na área de gerenciamento de projetos, onde agentes inteligentes são criados com o objetivo de fornecer estimativas de duração de atividades e automatizar alguns processos realizados pelo Gerente de Projetos. Em todos os Estudos de Caso, os resultados foram comparados com técnicas convencionais e/ou com o desempenho de outros Sistemas Multi-Agente. Os resultados alcançados pelo novo modelo se mostraram promissores. Os testes evidenciaram que o modelo teve a capacidade de coordenar as ações entre agentes totalmente autônomos em diferentes situações e ambientes. Além disso, o novo modelo mostrou-se genérico e flexível, podendo ser usado no futuro em outras aplicações envolvendo múltiplos agentes. === [en] There are several benefits provided by Multi-Agent Systems (MAS). Through parallel computing, agents can work together to better explore the decentralized structure of a given task and speed up its completion. In addition, agents can also exchange knowledge through communication, provide scalability by adding new agents when appropriate, and replace troubled agents in cases of failures. A great number of existing agent models is based on reinforcement learning algorithms for learning. When the agent works in small or discrete environments, the results obtained with methods such as Qlearning are satisfactory. However, when the environment is large or continuous reinforcement learning methods become unfeasible due to the large state space. In MAS, this problem is considerably greater, since the required memory begins to grow exponentially with the number of agents involved in the application. The main objective of this thesis is to develop a new model of autonomous learning for multi-agents in order to overcome these limitations. The study consisted of three main stages: literature review, new model development and implementation, and case studies. Literature review included the study of intelligent agents and Multi-Agent Systems, seeking to identify the properties and limitations of the algorithms already developed, existing applications, and desired features in the new MAS. The choice of a neuro-fuzzy hierarchical model of the family RL-NFH as a basis was especially motivated by the importance of extending the autonomy and learning of the agents through intelligence. And also, because of its capacity to overcome some of the limitations present in traditional reinforcement learning algorithms. Initially, the concepts of satisficing and non-domination were incorporated into the previous model to accelerate the learning algorithm. Then, the new multi-agent model was elaborated and implemented, enabling the development of cooperative and competitive applications, with multiple agents. Case studies have covered different situations of cooperation and competition between autonomous agents. Three applications were considered: the Pursuit-Game benckmark game, an electricity auction, where energy suppliers make offers to meet forecast demand in a given period of time, and an application in project management area, where intelligent agents are created to provide activity duration estimates and to automate some processes done usually by the Project Manager. In all case studies, results were compared with conventional techniques and/or the performance of other MAS. The results achieved by the new model are encouraging. The tests showed that the new system has the capacity to coordinate actions between fully autonomous agents in different situations and environments. Moreover, the new model is strongly generic and flexible. Due to these properties, it can be used in future in several other applications involving multiple agents.