Representação de Léxicos Através de Autômatos Finitos

• Main Author: Jesus, Marcelo Alexandre Couto de
• Other Authors: Nunes, Maria das Graças Volpe
• Format: Others
• Language: pt
• Published: Biblioteca Digitais de Teses e Dissertações da USP 1999
• Subjects: Não disponível; Not available
• Online Access: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-06032018-160704/

Aplicações de Processamento de Língua Natural (PLN), como revisores ortográficos, gramaticais e tradutores, geralmente precisam consultar extensos dicionários contendo, por exemplo, informações morfossintáticas de várias centenas de milhares de palavras de uma língua. Autômatos finitos, largamente utilizados na construção de eficientes analisadores léxicos para compiladores, apresentam-se como ótimos candidatos para o problema de representação desse tipo de léxico de língua natural. Este trabalho investigou os métodos de codificação de léxicos utilizando autômatos finitos, as técnicas de minimização de autômatos determinísticos acíclicos e as estruturas de dados necessárias para uma representação compacta, resultando em um sistema computacional eficiente e versátil de representação de grandes léxicos de língua natural. Um léxico de mais de 430.000 palavras da língua portuguesa pode ser convertido em um autômato de menos de 220Kb, em menos de 5 minutos usando um computador doméstico. === Natural Language Processing (NLP) applications, such as speller and grammar checkers and translation systems, need to search very larga dictionaries which contab.\' morphosyntactical and/or semantic information of severa] hundreds of thousand words of a given language. Finite Automata are often used in efficient scanners for compilers and are also good candidates for representing dictionaries. This work has investigated methods for representing dictionaries using finite automata, techniques for minimizing acyclic deterministic finite automaton, and adequate data structures for a compact representation. The resulting system is able to represent a dictionary of 430,000 Brazilian Portuguese words in a 220Kb automaton, by using a standard home computer and spending less than five minutes.