Soutenance mémoire
Les évènements catastrophiques
Dans (Caschera et al., 2009) les auteurs présentent un système multimodal capable en cas de catastrophes naturelles d’aider les gens à trouver des endroits sécuritaires. Ce système permet de fournir des services d’urgence dans des situations critiques. Il permet également aux utilisateurs de s’enregistrer au système « RISCOM » en utilisant les appareils mobiles à l’aide de la voix et du toucher. Les auteurs ont présenté trois scenarios pour expliquer le fonctionnement de leur système :
1. Le premier scénario consiste à s’enregistrer au système en utilisant la voix et le toucher. En premier lieu, l’utilisateur peut chercher le réseau social à partir de son téléphone en utilisant la voix « Réseau Social RISCOM ». Après l’affichage du résultat de la recherche sur l’écran de son téléphone, il défile les résultats avec son doigt, affiche et sélectionne le réseau désiré. Il peut ensuite dire / sélectionner « Enregistrer RISCOM » pour l’enregistrement. En cas d’urgence, l’utilisateur recevra sur son appareil mobile les instructions pour se rendre aux lieux sécuritaires. Une carte des lieux sera affichée et l’utilisateur peut utiliser la voix pour bien afficher la carte en disant « Agrandir » ;
2. Le 2ème scénario concerne la collecte des informations pour des statistiques. L’institut de sismologie envoie des questionnaires-textes aux téléphones des utilisateurs. Ces derniers répondent par la voix ;
3. Le 3eme scénario simule la situation après un tremblement de terre. Le point de contrôle envoie des alertes audio, des textes et des messages visuels vers les téléphones portables des utilisateurs, pour les informer sur les endroits sécuritaires les plus proches. En outre, au cas où ces derniers rencontrent dans leur chemin des cas d’urgence ou entendent des demandes de secours dans des bâtiments effondrés, ils peuvent envoyer des demandes d’assistance au point de contrôle en attachant des photos ou des vidéos pour clarifier la situation.
Le système multimodal ne peut cependant servir que les utilisateurs inscrits dans le réseau social « RISCOM » alors qu’en cas d’urgence il est impératif que l’assistance couvre toutes les personnes menacées pour sauver le maximum de vies. Nous pouvons par exemple avoir recours à un module supplémentaire qui permet de détecter les personnes équipées d’appareils mobiles mais qui ne sont pas inscrits à « RISCOM ».
L’évolution du domaine de recherche concernant l’exploration de différentes modalités (surtout la commande vocale) et la création de nombreuses interfaces novatrices ont permis de donner une grande importance à l’interaction multimodale. D’après la revue de la littérature, nous avons noté l’important rôle des deux modules « fusion » et « fission » dans les systèmes multimodaux. Le module « fusion » permet de fusionner les commandes venant de différentes modalités, en une seule commande compréhensible par la machine. Le module « fission » permet de segmenter la commande générée par la machine en des tâches plus simples selon les modalités de sortie disponibles et appropriées. Cependant, la plupart des systèmes multimodaux utilisent un nombre très limité de modalités de sortie et leurs architectures sont spécifiques aux applications ciblées. Dans certains cas, ils utilisent une base de connaissances statique ; dans d’autres cas, ils utilisent des scenarios prédéfinis pour réaliser la fission. Aussi, la plupart des systèmes multimodaux étudiés focalisent, si ce n’est exclusivement, sur le processus de la fusion. Ce point est supporté par : « il n’y pas beaucoup de recherche effectuées concernant la fission multimodale parce que la plupart des applications utilisent un nombre limité de modalités de sortie, donc des mécanismes de sortie simple et direct sont souvent utilisés » (Costa et Duarte, 2011) et par « la fission multimodale est un sujet de recherche qui n’est pas souvent abordé dans la communauté scientifique » (Perroud et al., 2012). Donc, notre travail consiste à développer un système multimodal qui serait capable de manipuler plusieurs modalités et de présenter des architectures plus avantageuses pour les modules « fission ». Nous adaptons une nouvelle solution pour le module de fission en modélisant des patterns qui explorent les différentes modalités de sortie et les différents scenarios possibles; et par la création d’une base de connaissances qui contient ces patterns. Il est à noter que la plupart des systèmes multimodaux présentés dans la littérature n’ont pas mentionnée des solutions pour surmonter le problème d’ambiguïté ou incertitude durant le processus de fission ou fusion. Dans la section suivante nous définissions les patterns et l’ontologie en général et nous présentons notre méthode pour la résolution d’incertitude.
Fouille De Données (Data Mining) En général, il existe deux méthodes de recherche :
1) la première est une recherche traditionnelle qui se fait sur des mots clés. D’une part, à une information stockée est associée un ou plusieurs mots clés. D’autre part, une demande de l’utilisateur est formulée sous forme de mots clés. Le processus de recherche se résume alors à mettre en correspondance les mots clés de la requête de l’utilisateur et les mots clés des informations stockées.
2) La deuxième méthode de recherche est plus « intelligente » car elle est capable de prendre en compte le sens des mots clés, plutôt que de les considérer comme une simple suite de caractères. L’idée générale est d’aller au-delà d’une simple mise en correspondance stricte entre les mots clés de la requête de l’utilisateur et les mots clés des informations stockées, pour fournir des résultats habituellement ignorés. C’est là où la notion d’ontologie intervient, en organisant sous forme de graphe un ensemble de concepts (les mots-clés) par des relations sémantiques (ex: est-une-sorte-de, est-analogue-à, est-synonyme-de, etc.). C’est une façon technique de simuler la connaissance. Par exemple, si nous faisons une recherche sur le mot-clé « lion », le système utilise l’ontologie créée généralement par un expert. Il découvre une relation de généralisation avec le concept « carnivore », et donc présenter, des informations associées avec le mot clé « carnivore ». Pour conclure, un tel moteur de recherche nous donne l’impression de « comprendre » ce qu’est un lion et qu’il soit même capable de prendre l’initiative d’augmenter les résultats sur un sujet fortement connexe. La découverte de ressources est un domaine de recherche particulièrement important de nos jours puisqu’il sert à fournir un sens aux données. Il est aussi passionnant, puisqu’il se base sur la capacité des ordinateurs à apprendre et à s’améliorer avec le temps. Les données seules n’ont presque aucune valeur. Alors que la quantité de données augmente de manière exponentielle, les gens sont en fait assoiffés de connaissance. La connaissance est obtenue par la compréhension des données. Plus on a de données, plus il est difficile d’en tirer de la connaissance. L’utilisation d’un graphe bayésien sémantique est importante pour effectuer une recherche efficace (Daouadji, 2011). Au départ, il extrait de la requête les mots clés. Chaque mot clé est relié à un ou plusieurs concepts avec une certaine probabilité et chaque concept désigne une ressource ; le lien entre les concepts et les ressources sont des liens sémantiques (Figure 1.17).
CONCLUSION
De nos jours, la technologie nous permet de produire des systèmes extensibles et entièrement contrôlés par l’humain. Ces systèmes sont équipés par des interfaces multimodales permettant une interaction plus naturelle et plus efficace entre la personne et la machine. Les utilisateurs peuvent profiter des modalités naturelles (la parole, le geste, les yeux, etc.) pour communiquer ou échanger des informations avec les applications ou les systèmes. Ce projet de recherche vise la conception d’un module de fission, se basant sur des techniques efficaces, comme les patterns, le contexte, les réseaux bayésiens et les ontologies. Dans ce rapport, nous avons présenté une revue de la littérature sur ce thème. Les nombreux travaux existants et les caractéristiques de ce type de module montrent l’importance de la conception d’un module de fission dans le domaine de l’interaction multimodale. Suite à notre lecture de l’état de l’art, nous déduisons que les systèmes actuels utilisent des modalités prédéfinies. Ainsi les architectures proposées sont spécifiques aux applications ciblées.
D’autre part, comme dans tout projet de recherche scientifique, le but essentiel reste le caractère humain et social. En effet, toutes les applications développées ont pour objectif de faciliter l’utilisation pour les usagers, et particulièrement pour ceux ayant des besoins particuliers tels que les personnes âgées, les handicapées ou les malades. Pour cela, nous avons développé un module de fission qui peut être implémenté dans un robot pour l’assistance d’utilisateurs avec des besoins spécifiques. Dans nos travaux de recherche, nous avons modélisé et implémenté une architecture de fission multimodale qui permet l’interaction entre l’homme et la machine. Cette architecture est fondée sur la compréhension de l’environnement et l’établissement de la relation entre ses différents objets. Notre architecture se veut évolutive. Elle est apte à accueillir de nouvelles technologies et de nouvelles modalités et peut s’adapter dynamiquement aux différentes variations de l’environnement. Le choix des modalités de sortie appropriées repose sur un mécanisme de sélection selon le contexte d’interaction. Celui-ci est défini par trois éléments : l’environnement, le système et l’utilisateur.
|
Table des matières
INTRODUCTION
CHAPITRE 1 REVUE DE LA LITERATURE
1.1 Introduction
1.2 Caractérisation des interactions multimodales
1.2.1 Le média
1.2.2 La modalité
1.2.3 La multimodalité
1.2.4 Les dix lois
1.2.5 Applications multimodales
1.2.6 Analyse et discussion
1.3 Fusion/Fission
1.3.1 La fusion
1.3.2 La fission
1.4 Projets Existants
1.4.1 SMARTKOM
1.4.2 COMIC
1.4.3 Simulateur de conducteur
1.4.4 Conclusion
1.5 Pattern
1.6 Raisonnement incertain
1.6.1 Logique floue
1.6.2 Réseau Bayésien
1.6.3 Conclusion
1.7 Fouille De Données (Data Mining)
1.8 Les ontologies
1.9 Conclusion
CHAPITRE 2 Multimodal Fission for Interaction Architecture
2.1 Introduction
2.2 Challenges and proposed solution
2.3 Related work
2.4 Modalities selection and multimodal fission system
2.4.1 Multimodal fission architecture
2.4.2 Modality Selection and interaction context
2.4.3 Multimodal Fission
2.4.3.1 Pattern
2.4.3.2 Fission algorithm/Fission rules
2.5 Simulation
2.6 Conclusion
CHAPITRE 3 Modeling Rules Fission and Modality Selection Using Ontology
3.1 Introduction
3.2 Problematic and a proposed solution
3.3 Related work
3.4 Architectural Design
3.5 Interaction context
3.5.1 User Context
3.5.2 Environmental Context
3.5.3 System Context
3.6 Ontology
3.6.1 Modality class
3.6.2 Event class
3.6.3 Grammar Model
3.6.4 Modality Pattern class
3.7 Fission Algorithm
3.8 Application Scenario and simulation
3.9 Conclusion
CHAPITRE 4 Context-Based method using Bayesian Network in multimodal fission system
4.1 Introduction
4.2 Related work
4.3 Architectural design
4.4 Fission algorithm
4.5 Bayesian network module
4.5.1 Definition
4.5.2 BN in Data Mining
4.5.3 BN applied in fission process
4.6 Simulation
4.7 Conclusion
CHAPITRE 5 Prototyping Using Pattern Technique and Context-Based Bayesian Network in Multimodal Systems
5.1 Introduction
5.2 Related work
5.3 Challenges and proposed solution
5.4 Components of multimodal fission system
5.4.1 Modalities selection
5.4.2 Fission
5.4.3 Subtasks-Modalities association
5.4.4 Bayesian network
5.4.5 Ontology
5.5 Modalities selection and fission algorithms
5.6 Prototype’s implementation
5.6.1 Robot control interface
5.6.2 GPS interface
5.7 Conclusion
CONCLUSION
BIBLIOGRAPHIE
Télécharger le rapport complet
