On challenges in training recurrent neural networks

On challenges in training recurrent neural networks

Dans un problème de prédiction à multiples pas discrets, la prédiction à chaque instant peut dépendre de l’entrée à n’importe quel moment dans un passé lointain. Modéliser une telle dépendance à long terme est un des problèmes fondamentaux en apprentissage automatique. En théorie, les Réseaux de Neu...

Full description

Bibliographic Details
Main Author: Anbil Parthipan, Sarath Chandar
Other Authors: Bengio, Yoshua
Language:English
Published: 2020
Subjects:
Recurrent Neural Networks
Long-term Dependencies
Non-saturating Recurrent Units
Memory Augmented Neural Networks
Neural Turing Machines
LSTMs
Skip connections
lifelong learning
catastrophic forgetting
capacity saturation
Réseaux de Neurones Récurrents
Dépendances à long terme
Unité Récurrente Non-saturante
Réseaux de Neurones à Mémoire Augmentée
Machine Neuronale de Turing
Connexions dynamiques
Apprentissage continuel
Oubli catastrophique
Capacité de saturation
Applied Sciences - Artificial Intelligence / Sciences appliqués et technologie - Intelligence artificielle (UMI : 0800)
Online Access:http://hdl.handle.net/1866/23435

Internet

http://hdl.handle.net/1866/23435

Similar Items