Déploiement et contrôle d'applications parallèles sur grappes de grandes tailles

• Main Author: Martin, Cyrille
• Language: FRE
• Published: 2003
• Subjects: [INFO:INFO_NI] Computer Science/Networking and Telecommunication; déploiement; diffusion; ordonnancement; protocole d'exécution distante; efficace; générique; passage à l'échelle
• Online Access: http://tel.archives-ouvertes.fr/tel-00004610; http://tel.archives-ouvertes.fr/docs/00/04/60/82/PDF/tel-00004610.pdf; http://tel.archives-ouvertes.fr/docs/00/04/60/82/ANNEX/tel-00004610.pdf

La taille grandissante des grappes de calcul pose le problème du "passage à l'échelle" des applications qui s'exécutent sur ces plates-formes. Ceci concerne les applications de calculs scientifiques et les applications permettant d'exploiter ces plates-formes (administration, surveillance de charge, etc...). Dans ce travail de thèse nous nous sommes intéressés au déploiement d'une application parallèle sur une grappe de grande taille. L'objectif de cette étude était de fournir une méthode de déploiement efficace sur des grappes composées de milliers de noeuds et pouvant être facilement étendue aux grilles de calcul. Le déploiement inclut d'une part le lancement du programme parallèle sur tous les noeuds et d'autre part la mise en oeuvre d'un environnement de communication entre ces instances de programme. L'efficacité est obtenue par la parallélisation systématique des différentes initiations d'exécution distante. Ces travaux montrent que le problème de la diffusion optimale d'une requête d'exécution est similaire au problème largement étudié de la diffusion d'un message sur un réseau complètement maillé. Nous proposons une bibliothèque, "Taktuk", permettant de réaliser un ordonnancement dynamique (par vol de travail) des communications (appels d'exécution distante) de manière générique. L'utilisabilité et le bon fonctionnement de l'outil que nous proposons sont validés par son utilisation et sa diffusion dans plusieurs projets~: KaTools (inclus et utilisé par la distribution Linux Mandrake Clic), OAR (gestionnaire de travaux pour grappes) et Inuktitut (bibliothèque de communication d'ATHAPASCAN).