Soutenance mémoire
Transparence d’une interface et immersion
Selon l’approche théorique de la présence décrite à la section 2.2.2, l’équivalence sensorielle implique que les dispositifs de restitution du monde virtuel soient transparents par rapport à l’utilisateur (voir figure 2.2). L’utilisateur doit en effet percevoir le monde virtuel qui lui est proposé et non l’interface par laquelle il perçoit le monde virtuel. Une métaphore permettant d’illustrer ceci est présentée par Slater & Wilbur [1997] :«Pour les personnes assises dans une voiture, la réalité extérieure apparaît distante et étrangère, placée de l’autre côté d’une barrière ou d’un écran matérialisé par la vitre. L’extérieur est alors perçu comme une autre réalité, une réalité qui n’est pas directement contiguë à la réalité de l’intérieur de la voiture. La preuve de cette discontinuité est l’inconfort généralement ressenti lors de l’ouverture de la fenêtre et de l’irruption de la réalité extérieure dans celle de l’intérieur de la voiture.» Une interface de réalité virtuelle doit donc être vue comme une fenêtre à travers laquelle un monde virtuel est perçu, cette fenêtre devant être la plus transparente possible pour que le monde virtuel devienne un prolongement naturel du monde réel [Brooks 1999]. Or il est évident que quelles que soient les technologies de restitution utilisées, leur fidélité par rapport à la réalité sera toujours limitée et leur transparence le sera par conséquent aussi (latence dans le rendu, champ de vision limité par un écran, port d’un casque audio intrusif, etc …). Il est cependant possible de chercher à réduire l’écart sensoriel entre les mondes réels et virtuels en utilisant des technologies sophistiquées et en stimulant plusieurs modalités sensorielles à la fois. Toujours en cohérence avec l’approche générale de la section 2.2.1, on peut alors définir l’immersion comme «l’ensemble des moyens technologiques effectivement mis en œuvre pour plonger l’utilisateur dans le monde virtuel» [Slater & Wilbur 1997]. L’immersion est donc la combinaison des critères objectifs permettant de caractériser un dispositif de réalité virtuelle. À la différence de la présence qui est par essence subjective, l’immersion est quantifiable et est donc un facteur objectif [Slater & Wilbur 1997, Slater 2003, Sanchez-Vives & Slater 2005, Bowman & McMahan 2007]. Même si la relation entre immersion et présence n’est pas clairement établie, il a été montré que l’immersion est un des facteurs influençant la présence [Lombard & Ditton 1997, IJsselsteijn et al.2000, Lessiter & Freeman 2001, Schuemie et al. 2001]. Il n’est cependant pas garanti qu’une augmentation de l’immersion conduise à une augmentation de la présence [Sanchez Vives & Slater 2005, Bowman &McMahan 2007]. Ainsi, une interface destinée à des applications de réalité virtuelle devra principalement chercher à maximiser la présence subjectivement perçue par les sujets. Une façon d’atteindre cet objectif est de proposer une interface qui soit la plus transparente possible. Il est cependant primordial de s’assurer que les efforts faits pour augmenter l’immersion aient un impact bénéfique sur la présence subjectivement perçue .
Utilisation de casques audio
L’utilisation de casques audio est avantageuse car elle permet d’envoyer directement les signaux voulus aux oreilles de l’utilisateur. Elle pose cependant le problème de la détermination des signaux à envoyer en fonction de la position de l’utilisateur dans l’espace virtuel. On note ici que pour pouvoir utiliser un rendu sur casque de façon dynamique, la position de l’utilisateur doit être connue à chaque instant. Cela implique donc l’utilisation conjointe d’un système de suivi de l’utilisateur (système de tracking). Plusieurs approches sont alors possibles pour déterminer les signaux à envoyer à chaque oreille :
– La stéréophonie [Tsingos & Warusfel 2006] : c’est la technologie de rendu spatialisé la plus facile à mettre en œuvre. Elle est basée sur une illusion perceptive qui permet la création d’une source fantôme positionnable entre deux sources réelles. Cette technologie est cependant peu utilisée car elle donne à l’utilisateur l’impression que les sources sonores sont localisées à l’intérieur de sa tête (problème d’externalisation). Cette solution est donc mal adaptée à la création d’un rendu sonore spatialisé basé sur des casques audio.
– Le rendu binaural [Begault 1994, Tsingos & Warusfel 2006, Nicol 2010] : c’est la technologie de rendu sonore spatialisé sur casque la plus répandue. Elle permet de pallier partiellement le problème d’externalisation en réalisant numériquement un filtrage du son émis par la source sonore positionné dans l’espace équivalent à celui réalisé par les pavillons, la tête, le torse et les épaules de l’utilisateur. Ces filtres sont nommés «Head Related Transfert Functions» (HRTFs). Cependant, pour que la sensation d’externalisation soit bien réelle, il faut que les HRTFs soient adaptées à chaque individu (problème d’individualisation) ou que les utilisateurs aient appris à écouter avec des HRTFs qui ne sont pas les leurs [Nicol 2010]. Cette solution permet donc la création d’un rendu sonore spatialisé satisfaisant sous réserve de disposer d’HRTFs individualisées et d’un système de tracking.
Systèmes portés ou systèmes externes ?
Les systèmes portés présentent l’avantage de s’intégrer facilement dans tout type d’interface visuelle de réalité virtuelle car ils nécessitent seulement d’équiper l’utilisateur d’un casque. En contrepartie, les casques audio constituent une technologie fortement intrusive, ce qui risque de limiter l’immersion et donc la sensation de présence qu’auront les utilisateurs du monde virtuel (voir section 2.2.3). D’autre part, pour d’éventuelles applications multi-utilisateurs, il est possible d’équiper chaque participant d’un casque, mais cela risque de rendre la communication verbale entre les utilisateurs, et donc les interactions, difficile [Hiipakka et al. 2001]. Les systèmes portés sont donc une solution de bonne qualité et aisée à mettre en œuvre, mais risquent de détériorer la sensation de présence et les possibilités d’interactions des utilisateurs entre eux, primordiales dans les applications de réalité virtuelle. Comparés aux systèmes portés, les systèmes externes ont l’avantage de ne pas poser de problème d’invidualisation et donc a priori de produire des rendus sonores spatialisés de meilleure qualité pour le plus grand nombre. De plus, les applications impliquant plusieurs utilisateurs sont relativement faciles à mettre en place, ne demandent pas de matériel supplémentaire, et autorisent une communication directe entre participants. Néanmoins, l’intégration des systèmes externes dans les dispositifs de réalité virtuelle impose de nouvelles contraintes pratiques auxquelles il faut trouver des solutions. En premier lieu, il faut être capable d’intégrer et de masquer efficacement des haut-parleurs dans l’interface visuelle de réalité virtuelle. D’autre part, les sons venant du monde réel sont susceptibles de déranger l’utilisateur plus que s’il portait un casque audio. La salle dans laquelle un tel système est installé doit donc faire l’objet d’un traitement acoustique spécifique pour être bien isolée du monde extérieur. Sous réserve qu’il soit possible de répondre à ces contraintes, les systèmes externes garantissent alors potentiellement un rendu sonore spatialisé de très bonne qualité ne nuisant ni à la présence, ni à l’interaction.
Égalisation des sources secondaires
Le dernier point à prendre en compte est la façon dont rayonnent les sources secondaires réelles dans l’espace en fonction de la fréquence. En effet, la théorie développée précédemment fait l’hypothèse que le champ sonore est reproduit à l’aide d’une distribution de sources secondaires monopôlaires. Les sources secondaires sont donc supposées parfaitement omnidirectionnelles et à réponse fréquentielle plate. Or, elles ne présentent en pratique jamais de caractéristiques aussi idéales. Pour essayer de minimiser l’influence de ces défauts dans le contexte de la WFS, des techniques dites d’égalisation ont été employées. La technique d’égalisation classique consiste à considérer séparément chacune des sources secondaires et à essayer de compenser les défauts de sa réponse fréquentielle moyennée en différents points de l’espace. Avec cette technique, on ne prend cependant que très peu en compte les caractéristiques spatiales de rayonnement des émetteurs ni le fait que l’objectif soit la reconstruction d’un champ de pression acoustique émanant d’une source sonore virtuelle. Une autre technique d’égalisation utilise le filtrage inverse multicanal [Corteel 2006]. Cette technique modélise le problème comme un système à plusieurs entrées (les sources secondaires) et plusieurs sorties (des microphones disposés à des points où l’on souhaite contrôler le champ de pression). Connaissant les signaux d’entrée, la mesure des signaux obtenus en chacune des sorties donne accès à une matrice de transfert entrée/sortie. D’autre part, connaissant la réponse idéale désirée en chacun des points de sortie il est alors possible de calculer l’erreur entre le modèle et les mesures et d’estimer ainsi les filtres à appliquer pour minimiser cette erreur (cf. figure 2.10). Cette technique permet ainsi de contrôler le champ de pression acoustique en un nombre fini de points de la zone de rendu. Le filtrage inverse multicanal prend donc en compte d’une part les caractéristiques spatiales de rayonnement des émetteurs et d’autre part l’objectif de reconstruire un champ sonore, mais d’un seul bloc et de façon aveugle. Ce type d’égalisation ne garantit donc en aucun cas que le champ sonore sera correctement reconstruit en dehors des points de contrôle. Des techniques de filtrage inverse multicanal avancées ont donc été développées pour pallier les problèmes évoqués au paragraphe précédent [Corteel 2006]. La procédure utilisée par ces techniques est similaire à celle décrite précédemment, sauf qu’elle est à présent combinée à une description physique du champ sonore émis par le banc de haut-parleurs. Les caractéristiques spatiales de rayonnement des émetteurs et l’objectif de reconstruction d’un champ sonore sont ainsi pris en compte de façon séparée. Ces méthodes informées permettent donc de garantir une reconstruction correcte du champ de pression acoustique dans une zone de l’espace plus large que les seuls points de contrôle.
|
Table des matières
1 Introduction générale
1.1 De la vibration à la perception d’un environnement virtuel
1.2 Organisation du manuscrit
1.2.1 Son spatialisé et réalité virtuelle
1.2.2 Comportement dynamique des LaMAPs comme sources sonores pour l’holophonie
1.2.3 Perception spatiale du monde virtuel synthétisé par le SMART-I2
2 Intégration d’un rendu sonore spatialisé dans un système audio-visuel de réalité virtuelle
2.1 Introduction
2.2 Réalité virtuelle et transparence d’une interface
2.2.1 Réalité virtuelle
2.2.2 Présence
2.2.3 Transparence d’une interface et immersion
2.2.4 Importance du contenu
2.3 Rendu sonore spatialisé et intérêt en environnement audio-visuel virtuel
2.3.1 Rendu sonore spatialisé
2.3.2 Impact sur la sensation de présence
2.3.3 Impact sur les réactions émotionnelles
2.3.4 Impact sur la compréhension d’environnements complexes
2.3.5 Impact sur la qualité globale audio-visuelle perçue
2.3.6 Bilan
2.4 Intégration d’un système de rendu sonore spatialisé au sein d’une interface visuelle de réalité virtuelle typique
2.4.1 Une interface visuelle de réalité virtuelle typique : la CAVE
2.4.2 Technologies de création de rendu sonore spatialisé
2.4.3 Choix d’une technologie pour l’intégration d’un rendu sonore spatialisé avec une interface visuelle de type CAVE
2.5 Le SMART-I2
2.5.1 Spécificités du système
2.5.2 Vue d’ensemble
2.5.3 Rendu sonore spatialisé par «Wave Field Synthesis»
2.5.4 Les Large Multi-Actuator Panels (LaMAPs)
2.5.5 Stéréoscopie passive avec suivi
2.6 Conclusion
3 Applications de réalités virtuelles basées sur le SMART-I2
3.1 Introduction
3.2 GAVIP : “Gestural Auditory and Visual Interactive Platform”
3.2.1 Concept et motivations du projet
3.2.2 Architecture logicielle mise en place
3.2.3 Un premier scénario d’interaction : «Bubulles»
3.2.4 Vers un second scénario : «Lava Lova»
3.2.5 Perspectives
3.3 Intégration de MARC (Multi-modal Affective Reactive Characters) dans le SMART-I2
3.3.1 La plateforme MARC (Multi-modal Affective Reactive Characters)
3.3.2 Scène de démonstration développée pour les 5ièmes journées de l’Association Française de Réalité Virtuelle (AFRV)
3.3.3 Premier retour «utilisateur» à propos du rendu audio-visuel proposé par le SMART-I2
3.3.4 Perspectives
3.4 Conclusion
4 Mesure des non-linéarités dans les systèmes vibrants
4.1 Introduction
4.2 Identification de modèles de Hammerstein en cascade pour la description des non-linéarités dans les systèmes vibrants
4.2.1 Introduction
4.2.2 Modélisation et mesure des non-linéarités
4.2.3 Bases mathématiques de la méthode
4.2.4 Implémentation pratique
4.2.5 Validation de la méthode
4.2.6 Modélisation de transducteurs acoustiques par des modèles de Hammerstein en cascade
4.2.7 Prédiction de la distorsion harmonique générée par les transducteurs
4.2.8 Discussion
4.2.9 Conclusion
4.3 Discussion
4.3.1 Effets de différents paramètres sur la qualité de l’estimation des noyaux
4.3.2 Comparaison avec les travaux d’A. Novák et al
4.3.3 Chaîne de systèmes non-linéaires
4.3.4 Librairie Matlab Hammerstein Toolbox
4.4 Conclusion et perspectives
5 Mesure dynamique des propriétés d’élasticité et de dissipation des constituants de plaques “sandwich”
5.1 Introduction
5.2 Étude qualitative du comportement dynamique d’une tranche de matériau sandwich symétrique
5.2.1 Définition d’un matériau de type “sandwich” symétrique
5.2.2 Types d’ondes existant dans un matériau sandwich symétrique
5.2.3 Modèles dynamiques élémentaires
5.2.4 Courbes de dispersion
5.2.5 Comportement asymptotique en basses fréquences
5.3 Détermination de paramètres d’élasticité et d’amortissement pertinents pour la modélisation de plaques “sandwich” épaisses
5.3.1 Introduction
5.3.2 Un modèle mécanique des panneaux “sandwich”
5.3.3 Estimation des paramètres modaux par une procédure de Rayleigh-Ritz étendue
5.3.4 L’analyse modale haute-résolution pour l’estimation des paramètres modaux
5.3.5 Procédure d’optimisation
5.3.6 Validation de la procédure d’estimation
5.3.7 Résultats expérimentaux
5.3.8 Conclusion
5.4 Discussion des hypothèses sur le rayonnement acoustique adoptées pour l’étude dynamique des panneaux
5.4.1 Hypothèse de fluide léger
5.4.2 Hypothèse de faible amortissement
5.4.3 Majoration des pertes par rayonnement
5.5 Conclusion
6 Caractérisation expérimentale des “Large Multi-Actuator Panels” (LaMAPs)
6.1 Introduction
6.2 Modélisation simple des LaMAPS
6.2.1 Modèle de plaque mince homogène, isotrope et infinie
6.2.2 Grandeurs physiques caractéristiques de la dynamique des LaMAPs
6.2.3 Action des excitateurs sur le panneau
6.3 Confrontation du modèle à l’expérience
6.3.1 Protocole expérimental
6.3.2 Analyse temporelle
6.3.3 Analyse fréquentielle
6.4 Conclusion et perspectives
7 Cohérence audio-visuelle de l’espace virtuel synthétisé par le SMART-I2
7.1 Introduction
7.2 Perception spatiale unimodale
7.2.1 Espace perceptif auditif
7.2.2 Espace perceptif visuel
7.3 Intégration spatio-temporelle audio-visuelle
7.3.1 Fenêtre spatio-temporelle d’intégration audio-visuelle
7.3.2 Facteurs cognitifs influents
7.3.3 Conséquences
7.4 Évaluation des performances offertes par le SMART-I2
7.4.1 Présentation générale
7.4.2 Analyse objective
7.4.3 Précision de localisation en azimut
7.4.4 Restitution de l’effet de parallaxe
7.4.5 Effet de l’apprentissage
7.5 Conclusion
8 Transparence de l’interface de restitution et perception de l’espace virtuel
8.1 Introduction
8.2 Distance égocentrique audio, visuelle et audio-visuelle perçue en environnement virtuel par des sujets mobiles
8.2.1 Introduction
8.2.2 Méthode
8.2.3 Analyse des résultats
8.2.4 Discussion
8.2.5 Conclusion
8.3 Discussion
8.3.1 Retour sur l’intégration audio-visuelle en distance
8.3.2 Limites de la procédure de triangulation (étude préliminaire)
8.3.3 Comparaison des deux expériences d’estimation de la distance audio
8.4 Conclusion
9 Conclusion générale
9.1 Contributions de la thèse
9.1.1 Son spatialisé et réalité virtuelle
9.1.2 Comportement dynamique des LaMAPs comme sources sonores pour l’holophonie
9.1.3 Perception spatiale du monde virtuel synthétisé par le SMART-I2
9.2 Quelques perspectives
9.2.1 Améliorations possibles du SMART-I2
9.2.2 Impact d’un rendu sonore spatialisé sur des applications de réalité virtuelle
9.2.3 Non-linéarités générées par un système vibrant
9.2.4 Effets des inhomogénéités introduites par les nids d’abeille
9.2.5 Modélisation des LaMAPs en vue d’un contrôle vibratoire pour l’holophonie
9.2.6 Variations autour du protocole expérimental de la section 8.2
9.3 Publications liées à la thèse
9.3.1 Articles
9.3.2 Acte de conférences
Télécharger le rapport complet
