Soutenance mémoire
Des applications géographiquement réparties ont été traitées dès le début de l’informatique : il s’agissait alors essentiellement de relier à un site central des terminaux d’accès ou des organes de mesure munis ou non de possibilités de traitement local. Dans une étape ultérieure, des soucis d’économie (mise en commun de ressources ou d’information) amènent à connecter par des réseaux de communication des installations existantes capables de fournir des services généraux ou spécialisés. La majorité des applications informatiques sont maintenant réparties, c’est-à-dire mettent en jeu un ensemble d’ordinateurs ou d’organes divers reliés par un réseau de communication. La répartition est un état de fait pour un nombre important d’applications. L’évolution de la technologie se manifeste essentiellement par : la baisse du coût et l’accroissement des performances des processeurs et des mémoires résultent des progrès des composants intégrés ; le développement de moyens de communication permet l’échange d’information sur une gamme étendue de distances et de débits. De nouveaux défis au domaine des systèmes répartis sont amenés par le développement de l’informatique mobile, des systèmes pair à pair, des grilles informatiques (GRID). Le concept de grille informatique a fait ses preuves, des grilles de production sont maintenant opérationnelles en entreprises et entre organismes. Au delà d’une solution pour les calculs intensifs, l’approche grille permet la constitution d’organisations virtuelles (VO) regroupant des communautés d’utilisateurs partageant des ressources globalisées de traitement, de stockage, des instruments et des services largement distribuées, quelles qu’en soient les organisations propriétaires. Le déploiement des grilles a donc un impact fort sur le plan organisationnel, les réseaux, la sécurité et l’expérimentation du paradigme HTC dans la construction des plates-formes de calcul et de services informatiques à haute performance, en direction de la disponibilité et de la continuité de service que doivent offrir ce type de plateforme pour une utilisation dans un environnement de production.
Les grilles informatiques
Depuis quelques années, l’informatique répartie et les technologies associées sont dans une constante évolution technologique et économique. Dans ce contexte, le terme « The Grid » ou « grille de calcul », a été introduit pour décrire une infrastructure de calcul répartie utilisée dans des projets de recherche scientifique et industrielle aux Etats-Unis durant les années 1990.
Pourquoi les grilles informatiques ?
De plus en plus les applications développées de nos jours sont gourmandes en puissance et en stockage. Ce qui entraîne un problème de dimensionnement des ressources. Aussi ces applications utilisées par une communauté géographiquement distribuée permet le travail collaboratif. D’où le partage des données et des applicatifs posant ainsi le problème d’accès partagé aux ressources. Pour les chercheurs, il fallait trouver des possibilités pour accéder aux ressources, interagir avec des collègues, analyser d’énormes volumes de données et de partager des résultats. Ensuite incorporer des ressources existantes qui sont hétérogènes et dynamiques. L’accès aux services informatiques devrait être comparable en coût et facilité au branchement d’appareils sur le réseau électrique. Cet accès devrait être aisé et transparent quels que soient la puissance nécessaire, la complexité des équipements matériels et logiciels mis en oeuvre, les fournisseurs du service.
Raisons des grilles de calcul
Il est important de savoir quels avantages une grille de calcul est en mesure d’offrir que les infrastructures et les technologies actuelles ne sont pas capables d’assurer. Nous exposons dans la suite quelques unes des raisons pouvant amener à déployer une grille de calcul.
• Exploiter les ressources sous utilisées : les études montrent que les ordinateurs personnels et les stations de travail sont inactifs la plupart du temps. Le taux d’utilisation varie entre 30% (milieux académiques et industriels) et 5% (machines grand public). Les grilles de calcul permettront ainsi d’utiliser les cycles processeurs durant lesquels les machines sont inactives afin de faire tourner une application nécessitant une puissance de calcul importante et que les machines qui lui sont dédiées n’arrivent pas à assurer. Les cycles processeur ne sont pas la seule ressource sous utilisée ; souvent les capacités de stockage le sont aussi. Ainsi il est possible qu’une grille agrège toutes ces ressources afin de les partager entre les différents utilisateurs (on parle alors de « grille de données » ou Data Grid). Une autre conséquence d’une telle utilisation est la possibilité de faire du partage de charge entre les différentes ressources d’une grille.
• Fournir une importante capacité de calcul parallèle : le fait de pouvoir fournir une importante capacité de calcul parallèle constitue une caractéristique importante des grilles de calcul. En plus du domaine académique, le milieu industriel bénéficiera énormément d’une telle capacité : bioinformatique, exploration pétrolière, industrie cinématographique etc. en effet les applications sont écrites d’une façon à pouvoir exploiter parallèlement des ressources (clusters, machines multiprocesseur …). Les grilles de calcul peuvent de la même manière fournir des ressources dont l’utilisation pourra se faire en parallèle.
• Meilleure utilisation de certaines ressources : en partageant les ressources, une grille pourra fournir l’accès à des ressources spéciales comme des équipements spécifiques (microscope électronique, bras robotique …) ou des logiciels dont le prix de la licence est élevé. Ainsi ces ressources exposées à tous les utilisateurs seront mieux utilisées et partagées et ainsi on évitera d’avoir recours à installer du nouveau matériel ou acheter de nouvelles licences.
• Fiabilité et disponibilité des services : du fait que les ressources fédérées par une grille de calcul soient géographiquement dispersées et disponibles en importantes quantités permet d’assurer la continuité du service si certaines ressources deviennent inaccessibles. Les logiciels de contrôle et de gestion de la grille seront en mesure de soumettre la demande de calcul à d’autres ressources.
Définition
La grille informatique (ou Grid Computing) a été nommée ainsi par analogie au réseau électrique (ou Electrique Power Grid) qui permet d’obtenir une puissance électrique grâce à une interface simple (la prise de courant) sans se soucier de la provenance de cette énergie et de la manière dont elle a été fabriquée. La grille reprend ce principe : plusieurs ordinateurs alimentent un réseau pour fournir une puissance globale. Chaque utilisateur dispose alors de ressources considérables, aussi bien en terme de puissance de calcul que de stockage de données, au moyen d’une interface simplifiée.
On peut définir aussi les grilles informatiques comme un système réparti haute performance dont certains des constituants sont des calculateurs parallèles ou des grappes. Ce concept était à la base essentiellement technique, avec pour objectif principal la mise à disposition de ressources de traitement informatique très importantes et multi organismes avec un accès aussi transparent que possible. Le concept a fait ses preuves autour d’infrastructures prototypes; des grilles de production sont maintenant opérationnelles en entreprises et entre organismes. Le déploiement d’infrastructures de ce type en production a des impacts forts sur le plan des réseaux, de la sécurité, de l’administration au sein de chaque organisme, et sur le plan organisationnel puisqu’un l’un des objectifs visés est celui du partage de ressources entre entreprises ou institutions. En effet, au delà des besoins en capacité de traitement, l’approche grille permet la coallocation et le partage dynamique de toutes les ressources de systèmes hétérogènes indépendamment des unités organisationnelles (départements d’entreprises, institutions et entreprises). Des organisations virtuelles (VO) permettent maintenant de définir en tant que de besoin des communautés d’utilisateurs partageant suivant des modalités communes d’utilisation, des sous-ensembles de ces ressources globalisées de traitement, de stockage, des logiciels, des instruments et des services largement distribuées, quelles que soient les organisations propriétaires.
Un nouveau moteur de la puissance informatique
Depuis quelques mois, la grille informatique, fait de plus en plus parler de lui dans l’univers des nouvelles technologies. Il se fait aussi progressivement connaître du grand public à travers des expériences scientifiques et industrielles largement relayées par les médias. Cependant, il reste souvent difficile de comprendre ce qui se cache derrière cette technologie, dont les premières expériences ont débuté il y a une trentaine d’années. De manière plus formelle, la technologie de grille informatique est une forme d’informatique distribuée, basée sur le partage dynamique des ressources entre des participants, des organisations et des entreprises dans le but de pouvoir les mutualiser, et faire ainsi exécuter des applications de calcul intensif ou des traitements de très gros volumes de données. Ces applications ne seraient pas possibles au sein d’un seul organisme ou d’une seule entreprise. Du point de vue de l’utilisateur, l’origine des ressources utilisées est totalement abstraite et transparente. Ce dernier ne se soucie de rien : ni de la puissance nécessaire pour ses applications, ni du type de machines utilisées, et encore moins de leur localisation physique. C’est la plate-forme de Grid qui gère tous ces aspects. En pratique, le Grid Computing essaye d’aller au-delà de l’Internet. Les acteurs impliqués dans ce projet ont un rêve : celui de l’utilisation à la demande. Son objectif est de rendre disponibles toutes les ressources de calcul et de stockage des ordinateurs connectés sur une grille informatique pour des applications de gestion, de communication, de business ou encore des applications typiquement scientifiques. Il n’y a aucune raison pour que ce qui est possible pour des entreprises ou des centres de recherche ne le soit pas également pour nos collectivités locales. Celles-ci possèdent en effet des parcs informatiques importants et demain elles auront besoin d’une puissance informatique décuplée pour pouvoir utiliser les nouveaux outils de réalité virtuelle et de simulation en 3D. Nos collectivités ont donc tout à fait intérêt à organiser leurs parcs informatiques en grille informatique pour pouvoir bénéficier, sans augmentation de coût, d’une puissance de calcul correspondant à leurs futurs besoins.
|
Table des matières
INTRODUCTION
PARTIE I : ETAT DE L’ART
I. Le HTC
II. Les grilles informatiques
a. Pourquoi les grilles informatiques ?
b. Définition
c. Applications des grilles
d. Architecture générale d’une grille informatique
e. Le paysage des grilles
f. Impacts sur les réseaux
g. Utilisation en entreprise
III. Les agents mobiles
a. Pourquoi la mobilité ?
b. Définition d’un agent mobile
c. Particularités des agents mobiles
d. Quelques systèmes d’agents mobiles
IV. Conclusion
PARTIE II : LE SYSTEME CONDOR
I. Le système Condor
II. Fonctionnalités
a. Les classAds
b. Matchmaking
c. Checkpointing et Migration
d. DAGMan
III. Architecture
a. Les démons du Condor
b. Le demon Condor en action
IV. Les univers de Condor
PARTIE III : NOTRE ETUDE
I. Mécanismes de tolérances aux pannes dans Condor
a. Le checkpoint
b. DAGMan
II. Etude des défaillances à gérer dans Condor
a. Définitions
b. Les défaillances dans Condor
III. Utilisations des agents mobiles
a. Les agents mobiles dans les grilles de calcul
b. Nos agents mobiles
CONCLUSION
REFERENCES
