Soutenance mémoire
Définition de la notion de réalité virtuelle dans le cadre de notre étude
Depuis l’essor de la réalité virtuelle [Fuc, 96], la définition de la réalité virtuelle ne cesse d’alimenter les conversations. Elle peut être définie par sa finalité, ses applications, ses fonctions ou encore les techniques sur lesquelles elle repose [FUC, 96]. Certains lui donnent une signification encore plus réduite en entendant par réalité virtuelle l’utilisation de visiocasques. Pour d’autres, il existe une grande différence entre les simulateurs classiques (type simulateurs de conduite) et la RV. En effet, la RV s’arrêterait là où commencent les simulateurs, à savoir dès que l’utilisateur interagit avec le système au moyen d’un dispositif réel. Ainsi, un simulateur classique de conduite serait composé d’un habitacle réel (tableau de bord réel) et d’images de synthèse interfacées en temps réel aux comportements des commandes réelles. Et, un simulateur de RV pour la conduite serait composé d’un tableau de bord virtuel (visualisé au moyen d’un visiocasque, par exemple) et l’utilisateur interagirait au moyen de différentes commandes (gant de données, manette, volant, etc.). Pour ma part, la limite entre la RV et les simulateurs n’est pas aussi nette. Prenons l’exemple d’un technicien en centrale nucléaire, télécommandant un robot à distance au moyen d’un joystick. Créer un simulateur d’entraînement en RV reviendrait à recréer l’environnement de la centrale en image de synthèse dans lequel ce technicien interagirait au moyen d’un joystick. Si nous partons de l’hypothèse que la RV propose des tableaux de bord virtuels, quel serait alors la variante en simulateur classique ? Les simulateurs seraient-ils une partie de la RV ? Selon mon expérience, les problèmes techniques et humains liés aux simulateurs et à la RV sont très similaires et les deux domaines d’études sont très proches. Ainsi, chaque avancée dans l’un ou l’autre domaine apporte aux deux. A ce propos, dans notre étude, si nous nous servons de résultats obtenus grâce aux travaux sur les simulateurs classiques et si nos résultats peuvent être appliqués aux simulateurs (en particulier pour les aides pédagogiques et la manière de gérer des situations pédagogiques), nous nous limitons à une certaine idée de la RV. Cette précaution et cette précision sont dues au fait que nous n’avons pas encore pu étendre pour le moment nos travaux aux simulateurs classiques. Nous n’avons donc pas de preuve sur leur efficacité et leur pertinence dans ce domaine. Notre idée de la RV est la suivante : « Les techniques de la réalité virtuelle sont fondées sur l’interaction en temps réel avec un monde artificiel, à l’aide d’interfaces comportementales permettant l’immersion « pseudo-naturelle » de(s) l’utilisateur(s) dans cet environnement. Ce monde artificiel est imaginaire ou une simulation de certains aspects du monde réel » [Fuc, 96]. D’autres définitions de la réalité virtuelle d’un point de vue fonctionnel et philosophique sont détaillées dans [Fuc, 96]. Quelles que soient les définitions, « la finalité de la réalité virtuelle est de permettre à une ou à plusieurs personnes des activités sensorimotrices et donc mentales dans un monde artificiel » [Fuc, 96].
Limites de la réalité virtuelle pour la formation
L’évolution sans cesse croissante de la technologie permet de simuler des mondes virtuels de plus en plus réalistes au travers de logiciels et d’interfaces matérielles. Cependant des problèmes techniques importants restent encore à résoudre. Cette technologie ne reproduit pas encore tous les paramètres permettant une immersion complètement naturelle :
ß La manipulation d’objets en EV est une tâche difficile. Le manque d’interaction et de retour d’efforts, la qualité visuelle des images insuffisantes et d’autres facteurs peuvent rendre une tâche simple en ER compliquée en EV (comme attraper et bouger un objet virtuel).
ß L’orientation des utilisateurs en EV dépend des restitutions kinesthésiques et de la qualité visuelle.
Les facteurs kinesthésiques concernent principalement la restitution des accélérations et du déplacement au niveau de l’oreille interne mais aussi le retour d’effort de la marche. La technologie est encore limitée dans ces domaines. Les facteurs visuels concernent principalement le choix de l’interface visuelle mais aussi la stéréoscopie, le contraste, le rendu des couleurs, la résolution, le réalisme de l’image. Pour faciliter l’orientation, les différentes restitutions kinesthésiques et visuelles doivent être cohérentes. Par exemple, l’affichage dans un visiocasque ou un CAVE permet d’avoir un retour d’information des rotations au niveau de l’oreille interne impossible avec un grand écran. De plus, si la personne se déplace au moyen d’un joystick sur un grand écran, elle a un retour visuel de son déplacement mais elle n’a pas de feed-back au niveau de l’oreille interne et des muscles. Elle a plus de difficultés à s’orienter.
ß Les déplacements et la manipulation d’objets peuvent être perturbés par les temps de latence entre le mouvement de l’utilisateur et l’image prenant en compte ce mouvement. Ce retard est dû au retard des capteurs et de la communication avec l’application. Or, il est important que l’image suive le changement de vue de l’observateur lorsqu’il tourne la tête ou qu’il se déplace. Ces problèmes sont surtout rencontrés avec l’utilisation de visiocasques. Ceux-ci disposent d’un capteur permettant de coordonner les images correspondant à la direction de la tête. Le temps de latence pose surtout problème pour la vue latérale, c’est pourquoi, la projection sur écran engendre moins le mal du simulateur car la vision périphérique est réelle et indépendante de l’EV.
ß L’immersion peut être perturbée par le mal du simulateur. De nombreuses études ont montré que certaines personnes immergées en environnement virtuel étaient victimes du mal du simulateur. Les problèmes liés au mal du simulateur peuvent provenir de trois raisons [Che 98] : des caractéristiques de l’utilisateur (âge, sexe, expérience de la tâche, équilibre, etc.), des caractéristiques du simulateur (dynamique, statique, temps de latence éventuels, retours kinesthésiques) et du protocole d’essai (charge mentale). Par exemple, les personnes ayant une faible expérience de la tâche réelle seront moins malades que celles qui connaissent bien la tâche. En effet, leur référentiel est moins important. En fonction de ces caractéristiques, il peut y avoir une contradiction auriculo-vestibulaire/vision et des problèmes de convergence.
ß Le comportement des utilisateurs en EV peut aussi être modifié. Une étude a montré qu’un adulte, immergé dans un EV pour la première fois, au moyen d’un visiocasque, aurait des performances amenuisées proches du comportement d’enfants de 7-8 ans [MHB, 96]. Cette étude montre que les réactions de l’homme en EV résultent de réflexes et non d’un processus de traitement mis en œ uvre habituellement en ER. Cet état serait transitoire. En effet, après plusieurs immersions, l’utilisateur retrouverait ses capacités.
Modélisation d’environnement virtuel
Comme nous l’avons déjà explicité, l’immersion d’un utilisateur dans un EV ne doit pas être vue que du point de vue technique et donc sensori-moteur. En effet, il s’agit de comprendre les processus mentaux qui permettent à l’utilisateur de penser et d’agir dans l’EV. Ainsi, la modélisation d’EV regroupe à la fois les aspects de rendu d’image, des tâches à effectuer et des moyens utilisés pour réaliser ces tâches. Il existe une grande discussion concernant la notion d’immersion ou de présence dans un environnement virtuel[Cai, 96]. Le terme présence repose sur la perception de l’EV et l’interprétation cognitive de celui-ci par l’utilisateur. Or, l’utilisateur n’est pas passif mais actif dans l’EV, c’est pourquoi nous préférons parler de notion d’ « immersion et interaction » [FNL, 99] plutôt que de présence. Selon nous, il existe trois niveaux d’immersion et d’interaction :
ß L’immersion et interaction sensori-motrices (I2 Sensori-motrices).
ß L’immersion et interaction cognitives (I2 Cognitives).
ß L’immersion et interaction fonctionnelles (I2 Fonctionnelles).
PH. DAVID [DGT, 97] et M. FREJUS [Fre, 96] ont aussi proposé un découpage de l’immersion en trois niveaux. L’immersion et interaction sensori-motrices correspondent à la description physique de l’EV et des interfaces comportementales, i.e. les moyens techniques avec lesquels l’utilisateur va agir et percevoir l’EV (Figure 13). Elles peuvent être appariées à l’immersion de [Cai, 96] ou encore au niveau sensoriel décrit par [Fre, 96] et [DGT, 97]. Les I2 sensori-motrices peuvent être représentées par un modèle physique de l’EV. Ce modèle décrit la correspondance entre les caractéristiques « métrologiques » des interfaces utilisées et les caractéristiques « psychophysiques » des sens et des réponses motrices de l’utilisateur. La différence sensori-motrice relative à chaque sens et à chaque réponse motrice peut donc être quantifiée. Par exemple, l’acuité visuelle de l’homme est de 1′ d’angle au minimum, or beaucoup de systèmes visuels comme les visiocasques ne permettent pas de reproduire cet angle. Les problèmes liés aux limitations technologiques peuvent limiter les I2 sensori-motrices. Certaines interfaces ne permettent pas de reproduire parfaitement certains sens, voir pas du tout. Par exemple, le goût et l’odorat sont des sens encore très peu exploités en RV. Le retour d’effort est difficile à reproduire, en particulier pour des forces importantes. Le sens kinesthésique, souvent ignoré, pose aussi des problèmes sur les simulateurs de transport statiques et sur des dispositifs RV [FUC, 96]. Certaines caractéristiques métrologiques des interfaces sont très importantes comme la précision, la sensibilité et le temps de réponse. Or, elles ne correspondent pas toujours a ce que l’on souhaite. Si certains sens ou réponses motrices ne sont pas reproduits correctement, des incohérences sensori-motrices peuvent être induites et provoquer des problèmes physiques comme le mal du simulateur (Chapitre 2.2.2) mais aussi des problèmes de compréhension du système. Ce niveau n’est donc pas suffisant. Il faut voir comment les aspects sensori-moteurs peuvent influer au niveau cognitif. L’immersion et interaction cognitives correspondent aux processus cognitifs de l’utilisateur (Figure 13). Elles peuvent être appariées à la Présence de [Cai, 96]. La Présence peut être définie comme l’expérience perceptive et cognitive de l’utilisateur dans le cours de son activité avec le système. Elles peuvent aussi être appariées au niveau cognitif décrit par [Fre, 96] ou au niveau cognitif et au niveau comportemental de [DGT, 97]. Selon nous, les I2 cognitives sont divisées en deux sous-niveaux : les I2 cognitives liées aux interfaces et les I2 cognitives liées à la tâche à réaliser par le formé. Les I2 cognitives liées aux interfaces correspondent à la description de l’utilisation des interfaces et des représentations mentales des utilisateurs. Les I2 cognitives liées aux interfaces peuvent être représentées par un modèle comportemental d’utilisation des interfaces utilisateurs. Ce modèle décrit la correspondance entre l’utilisation désirée et l’utilisation effective de l’utilisateur (Chapitre 3.1.1). Il s’agit, d’une part, de voir l’impact des problèmes et des incohérences sensori-motrices citées au niveau des I2 sensori-motrices et comment ils influent sur l’utilisation effective des interfaces. Il s’agit, d’autre part, de voir comment les interfaces comportementales modifient la représentation mentale des utilisateurs , i.e. comment ils vont modifier leur manière de penser et d’agir. En effet, pour une même action plusieurs représentations mentales sont possibles. Par exemple, pour s’accroupir en EV, certaines personnes pensent à s’accroupir physiquement et d’autres pensent le faire au moyen du joystick. Les I2 cognitives liées aux interfaces sont totalement subjectives et chacun interprète différemment les sensations les expériences vécues. Toutes les personnes ne vont pas réagir de la même manière et il peut exister de grandes divergences entre les sensations ressenties. Une personne immergée visuellement dans une scène (cinéma immersif avec un écran à 360° ou un moniteur PC ou TV pour la visualisation d’un jeu vidéo) va réagir physiquement selon ses expériences passées [Fuc, 96]. Par exemple, une personne immergée visuellement dans un jeu vidéo sur un moniteur PC et pilotant un avion virtuel ou une voiture virtuelle, s’incline lorsque le véhicule tourne. La personne réagit à des mouvements virtuels alors que les informations transmises à l’oreille interne n’indiquent pas d’inclinaison. Ensuite, il faut voir comment les aspects cognitifs liés aux interfaces peuvent influer au niveau cognitif de la tâche à réaliser par le formé. Les I2 cognitives de la tâche correspondent à la description des fonctionnalités importantes et nécessaires à implémenter dans l’EV. Nous appelons ces fonctionnalités Primitives Comportementales Virtuelles (PCV), e.g. les déplacements, la manipulation, l’observation. Les I2 cognitives de la tâche peuvent être représentées par un modèle comportemental de la tâche. Ce modèle décrit la correspondance entre les comportements et les raisonnements tenus en Environnement Réel (ER) et en EV au niveau de la tâche [Mar, 97b], [DGT, 97], i.e. entre le comportement attendu et le comportement effectif. La recherche sur les aspects cognitifs est bien moins avancée que sur les aspects technologiques [BLF, 99], [VG, 98]. Il est donc intéressant de voir, d’une part, comment les problèmes d’I2 sensori-motrices et d’I2 cognitives liées aux interfaces perturbent les performances. Il est aussi intéressant de voir, d’autre part, comment ces problèmes influencent l’utilisateur dans ses choix de stratégies et dans ses buts, et de voir comment ils sont modifiés par rapport aux raisonnements tenus en ER. En effet, les processus cognitifs mis en jeux par l’utilisateur pour effectuer une tâche en EV peuvent être modifiés et perturbés. Certains types de tâches ne peuvent pas être reproduits de façon naturelle et certaines tâches peuvent être substituées à d’autres de même valeur quant au but recherché. Par exemple, pour s’orienter dans l’espace, une personne peut utiliser des repères différents en ER, comme des objets visuels éloignés, alors qu’en EV ces mêmes objets ne pas visibles. Elle peut alors utiliser d’autres repères, comme des sons et parvenir à s’orienter correctement. Il faut donc voir comment les aspects cognitifs liés à la tâche peuvent influer au niveau fonctionnel, i.e. s’ils vont perturber l’objectif global à atteindre. L’immersion et interaction fonctionnelles correspondent à l’objectif global désiré de l’application (Figure 13). Elles peuvent être appariées au niveau opératif décrit par [Fre, 96]. Les I2 fonctionnelles peuvent être représentées par un modèle conceptuel et explicite de la tâche. Ce modèle décrit les buts importants et nécessaires à prendre en compte. Il s’agit d’un modèle général de la situation de travail comportant les règles et les connaissances suffisantes à la réalisation de la tâche [Fre, 96]. Il s’agit de s’attacher plus à l’immersion de l’homme dans la tâche qu’à l’immersion de l’homme dans le monde virtuel [Fre,96], [Fuc, 96].
Quand intervenir ?
Quand apporter les connaissances ? Pour apprendre des comportements, la stratégie idéale est l’apprentissage par l’action. Beaucoup d’études montrent qu’il faudrait donner des connaissances théoriques préalables pour gérer les situations de formations, alors que ces connaissances n’auraient d’intérêt qu’au cours de la simulation [CS, 99]. En effet, M. CRAMPES & al montrent que selon leur expérience, un cours formel pendant l’action en situation peut fragiliser l’implication des formés [CS, 99]. Il est donc important d’intervenir au bon moment et il est d’autant plus difficile de le faire lorsque la formation s’adresse à un groupe de formés et non à un seul formé. Ils préconisent l’alternance des phases de simulation et d’apports de connaissances théoriques, celles-ci étant alors les plus proches possibles des situations auxquelles elles se rapportent. Les simulateurs sont souvent considérés comme un moyen pédagogique de mettre les formés en situation, ne permettant que des stratégies d’apprentissage par l’action. Les connaissances théoriques seraient apportées avant la simulation par un autre moyen pédagogique. Ces simulateurs permettent alors le perfectionnement des savoirs et l’acquisition de savoir-faire. Or, nous pensons que cette vision des simulateurs est réductrice. Un environnement virtuel pédagogique doit aussi permettre d’apprendre des connaissances de base et les apporter au moment où la situation est vécue par les formés. En effet, pour un débutant, l’implication dans le simulateur ne doit pas toujours être le but recherché. Elle peut même, au contraire, l’aider à prendre du recul et à mieux intégrer les divers facteurs d’une situation ou d’une action. Dans un second temps, lorsque le formé n’est plus débutant et qu’il a déjà un certain nombre de connaissances, le simulateur ne doit plus intervenir de manière intempestive et doit laisser le formé en situation simulée. Les interventions pédagogiques doivent être personnalisées selon la style et le rythme d’apprentissage d’un formé. Il est donc important pour un formateur d’apporter au formé selon le contexte (débutant ou non) la connaissance ou la règle adéquate (Figure 17). Dans le cas d’un formé débutant, en effet, une erreur peut être due à un manque de connaissance qu’il faut pallier au moment de l’erreur. Dans le cas d’un formé intermédiaire, l’erreur peut être due à une règle non maîtrisée que l’on peut alors suggérer en amenant le formé à se faire sa propre représentation de la situation et à retrouver le règle par lui-même. Enfin, dans le cas d’un formé confirmé, l’implication doit rester entière. Ainsi, montrer au formé la conséquence de son erreur de façon très réaliste sans l’extraire de la situation peut alors être bénéfique. Ce schéma est, bien entendu, à moduler et à adapter en fonction du formé et surtout de la nature de son erreur et de son problème d’apprentissage (savoir, savoir-faire, savoir être, efficacité comportementale, résultat global, erreur d’attention, etc.). Il ne faut pas considérer l’erreur comme un jugement porté sur les capacités de celui qui la commet ou sur la valeur de l’enseignement. Le formateur peut y trouver l’occasion de mieux comprendre ce qui se passe et prendre cette erreur comme point de départ d’un travail sur les représentations qu’elle révèle. L’important n’est pas de corriger l’erreur immédiatement, car la ratification d’une erreur consiste en une réorganisation des connaissances nécessitant souvent de nombreux détours pour la rendre possible. De plus pour que cette rectification soit efficace, il faut que le formé comprenne comment et pourquoi il est arrivé à cette erreur et qu’il saisisse la différence entre son erreur et la connaissance exacte [Mig, 69]. Il faut donc donner les moyens au formé de réfléchir sur son erreur.
|
Table des matières
Chapitre 1 Introduction
Chapitre 2 Réalité virtuelle et Formation
2.1 Définition de la notion de réalité virtuelle dans le cadre de notre étude
2.2 Apports de la réalité virtuelle pour la formation
2.2.1 Avantages de la RV pour la formation
2.2.2 Limites de la réalité virtuelle pour la formation
2.3 État de l’art des systèmes existants
2.4 Problématique et Objectifs
Chapitre 3 Méthodologie de conception d’environnement virtuel pour la Formation
3.1 Notion d’immersion et d’interaction dans les environnements virtuels
3.1.1 Interfaçage comportemental
3.1.2 Modélisation d’environnement virtuel
3.1.3 Représentation mentale
3.1.4 Méthodologie de conception
3.2 Spécification d’environnement virtuel pour la formation
3.2.1 Pédagogie du formateur
3.2.2 Acquisition de connaissance par le formé
3.2.3 Notion de réalisme
3.2.4 Modélisation d’environnement virtuel pour la formation
3.2.5 Démarche méthodologique de conception d’environnement virtuel pour la formation
3.3 Spécification des objectifs pédagogiques (Recueils d’expertises)
3.3.1 Tâche réelle
3.3.2 Tâche de formation
3.4 Spécification de l’environnement virtuel pédagogique pour le formé
3.4.1 Spécification des primitives comportementales virtuelles
3.4.2 Spécification des représentations mentales et des interfaces comportementales liées à l’activité des formés
3.5 Tests d’utilisabilité des interfaces pour les formés
3.5.1 Démarche générale d’évaluation d’interfaces pour les formés
3.5.2 Série I
3.5.3 Série II
3.6 Spécification de l’environnement virtuel pédagogique pour le formateur
3.6.1 Contexte
3.6.2 Prise d’information
3.6.3 Prise de décision (interventions pédagogiques)
Chapitre 4 Agent Pédagogique Intelligent : HAL
4.1 Objectifs
4.1.1 Objectifs pour le formé
4.1.2 Objectif pour le formateur
4.1.3 Fonctions de HAL
4.2 Système Tutoriel Intelligent
4.3 Modélisation
4.3.1 Modèle du formé
4.3.2 Modèle de référence
4.3.3 Modèle pédagogique
4.4 Fonctionnement
4.4.1 Architecture générale EV/Agent Pédagogique
4.4.2 Architecture de l’agent Pédagogique Intelligent HAL
4.4.3 Planification
4.4.4 Reconnaissance de plans dans HAL et choix des solutions pédagogiques
4.5 Implémentation multi-agent
4.5.1 Intérêt des systèmes multi-agents
4.5.2 Description du système multi-agent
4.5.3 Planification multi-agents
4.5.4 Evaluation des actions du formé
4.5.5 Analyse des actions du formé
4.5.6 Identification du comportement du formé et reconnaissance de plans de tâches
4.5.7 Sélection des stratégies pédagogiques
4.5.8 Sélection des assistances pédagogiques et du niveau de réalisme
4.6 Mise en œ uvre informatique
Chapitre 5 Discussion
5.1 Conception d’environnements virtuels pédagogiques
5.1.1 Choix des interfaces
5.1.2 Représentation réaliste et abstraite
5.1.3 Méthodologie de conception
5.2 HAL
5.2.1 Apports
5.2.2 Limites
5.2.3 Quand intervenir ?
5.3 Réalité virtuelle pour la formation
5.3.1 Environnement virtuel pédagogique et autres moyens de formation
5.3.2 Contexte industriel et fonctionnalités générales
5.3.3 Environnement virtuel pédagogique pour formation à la SNCF
Chapitre 6 Conclusion et perspectives
Télécharger le rapport complet
