Apprentissage et généralisation par des réseaux de neurones : étude de nouveaux algorithmes constructifs

• Main Author: Juan-Manuel, Torres-Moreno
• Language: FRE
• Published: 1997
• Subjects: [INFO:INFO_HC] Computer Science/Human-Computer Interaction; Apprentissage; Classification; Généralisation; Méthodes constructives; Perceptrons multicouches; Réseaux de Neurones
• Online Access: http://tel.archives-ouvertes.fr/tel-00390069; http://tel.archives-ouvertes.fr/docs/00/39/00/69/PDF/these-jmtm.pdf; http://tel.archives-ouvertes.fr/docs/00/39/00/69/ANNEX/these_torres_presentation.pdf

La classification est l'attribution d'une classe spécifique à un objet donné. Cette attribution a besoin d'un certain degré d'abstraction pour pouvoir extraire des généralités à partir des exemples dont on dispose. Pour une machine, la classification de visages, de données médicales, de formes, sont toutes des tâches assez difficiles. Par exemple, dans le cas de la reconnaissance de caractères manuscrits, il est difficile d'énoncer une description générale qui tienne compte de toutes les variations particulières de chaque caractère. Une autre approche qui peut être utilisée pour cette tâche est celle de l'apprentissage. Ainsi, le critère pour décider si une image correspond ou non à une lettre 'A' consiste à comparer si cette image est (suffisamment similaire} à des 'a' vus auparavant. De ce point de vue, on ne calcule pas la classification de caractères : elle doit être apprise à partir d'exemples. Ces dernières années, de nouvelles techniques neuronales d'apprentissage ont été développées. Cet apprentissage avec des réseaux de neurones se fait actuellement en suivant deux approches : certains algorithmes comme la Rétropropagation du Gradient ont besoin d'introduire a priori le nombre et la connectivité des unités cachées et déterminer les poids des connexions par minimisation d'un coût. Le réseau ainsi obtenu est éventuellement élagué. Avec une approche constructive on apprend en même temps le nombre d'unités et les poids, dans le cadre d'une architecture fixée, commençant généralement avec une seule unité. Le but de cette thèse est de présenter de nouvelles heuristiques pour générer, d'une manière constructive, des réseaux de neurones pour la classification. Elles permettent de générer des réseaux à une seule couche cachée complètement connectée aux unités d'entrée, et un neurone de sortie connecté aux unités cachées. Les neurones cachés et de sortie sont des unités binaires, pouvant faire soit des séparations linéaires, soit des séparations sphériques. Ces heuristiques sont couplées avec des algorithmes d'apprentissage pour le perceptron, Minimerror-L pour les séparations linéaires et Minimerror-S pour les séparations sphériques. Trois nouveaux algorithmes constructifs, qui différent suivant le type de neurones cachés et aussi suivant la définition des cibles que ceux-ci doivent apprendre on été développés. Pendant le processus d'apprentissage, des neurones cachés entraînés pour apprendre ces cibles vont diminuer le nombre d'erreurs de classification du neurone de sortie. Les réseaux ainsi bâtis ont généralement moins de paramètres (poids) et généralisent mieux que les réseaux entraînés avec d'autres algorithmes.