Soutenance mémoire
Acquisition manuelle des expressions faciales
ACQUISITION DES DONNÉES
Tel que mentionné précédemment, l’expression faciale liée à l’activité physique est le plus souvent négligée, principalement à cause du coût relié à l’animation manuelle ou à la capture de mouvement. Les techniques dynamiques employées actuellement dans les jeux vidéos pour animer l’expression faciale liée à l’activité physique sont basées sur de simples fonctions linéaires ou des seuils. Ces approches sont trop simples pour pouvoir simuler la complexité des animations faciales humaines en relation avec les efforts physiques fournis. Le but de ce projet est d’aller plus loin en termes de réalisme et de contrôle artistique en fournissant des outils pour automatiser cette tâche complexe tout en laissant un certain contrôle sur le résultat final.
Afin de capturer entièrement la complexité des expressions faciales résultant d’efforts physiques, des données réelles étaient nécessaires. Diverses séances de captures ont été effectuées afin de collecter les données nécessaires au développement d’un modèle fournissant des résultats réalistes. Le choix de ces types de captures était motivé par l’hypothèse que durant un effort physique, le mouvement effectué, les données métaboliques, ainsi qu’une mesure des expressions faciales, fourniraient les informations appropriées. La figure 2.1 montre deux types de captures effectuées dans ce projet. Le présent projet de recherche a été soumis au comité d’éthique de la recherche et a reçu son approbation. Tout le nécessaire a été fait afin de garantir la sécurité des participants lors des séances de capture ainsi que la protection de leur données personnelles. La prochaine section détaille ces séances de captures.
Capture de mouvement
Les séances de capture de mouvement du corps entier ont été effectuées dans une grande salle où les participants pouvaient s’exercer librement sans aucun appareil d’entraînement. En raison de la gamme étendue des mouvements que les participants pouvaient pratiquer, il n’y a pas eu d’enregistrement d’animation faciale lors de ces séances. Néanmoins, ce n’était pas un problème étant donné que ces séances avaient pour but de fournir les données permettant d’établir un lien entre le mouvement effectué et les paramètres métaboliques tels que le rythme cardiaque. Une vidéo témoin a toutefois été enregistrée pour faciliter l’analyse préliminaire ainsi que l’ajustement des données de capture de mouvement.
Il a été demandé à un total de 15 participants d’effectuer des séries d’exercices qu’ils pratiquent régulièrement et ce sans dépasser leur niveau d’intensité habituel. Ce nombre de participants nous permet d’avoir des données valides à ±25 % 9 fois sur 10. Les rythmes cardiaques ont été contrôlés en temps réel et les participants ont été invités à alterner entre différents niveaux d’intensité pour chaque type d’exercice, afin de garantir une variabilité suffisante dans les données. À la fin de chaque session, les participants ont été invités à ralentir de façon à garantir l’acquisition de données de récupération. Chaque participant s’est entraîné de 7 à 13 minutes.
L’âge des participants variait de 20 à 46 ans (moyenne 30.4 ans). Le niveau d’entraînement des participants variait entre activité physique légère au moins une fois toutes les deux semaines et un entraînement intensif presque tous les jours pour un total d’environ 10 heures par semaine. L’échelle ayant servi à mesurer le niveau d’entraînement est celle définie dans la documentation du matériel utilisé pour enregistrer le rythme cardiaque et les autres paramètres métaboliques.
Pendant que les participants s’entraînaient, le mouvement du corps entier a été capturé et les données de rythme cardiaque ont été enregistrées. Le matériel ainsi que le logiciel ayant servi à enregistrer le rythme cardiaque ont fourni une estimation d’autres indicateurs métaboliques tels que la consommation d’énergie, la fréquence respiratoire et l’EPOC (Excess Post Oxygen Consumption) Le matériel utilisé ainsi que le détail des procédures sera discuté dans la section 4.1.
Capture des expressions faciales
La seconde session de captures a été faite dans des salles d’entraînement d’un centre sportif, où les participants étaient invités à effectuer un entraînement cardiovasculaire ou de musculation en utilisant les divers appareils ou avec des poids libres. Le but de cette session de capture était d’établir le lien entre le mouvement effectué, le rythme cardiaque, et l’expression faciale.
Lors de cette session de capture, 17 participants ont été invités à s’entraîner. Ce nombre de participants nous permet d’avoir des données valides à ±20 % 9 fois sur 10. De même que pour la session de capture de mouvement, les participants devaient faire des exercices auxquels ils étaient habitués, à une intensité ne dépassant pas leur intensité habituelle.
Pour les exercices cardiovasculaires, les candidats étaient invités à changer l’intensité de l’exercice durant la session. Une période de récupération a été enregistrée à la fin de chaque session. Pour les exercices de musculation, il y avait une période de récupération entre les différents exercices enregistrés.
Chaque participant s’est entraîné durant 19 à 43 minutes. L’âge des participants variait entre 20 et 43 ans (moyenne de 28.1 ans). Le niveau d’entraînement des participants variait entre activité physique légère au moins une fois toutes les deux semaines et un entraînement intensif presque tous les jours pour un total d’environ 10 heures par semaine.
Le rythme cardiaque ainsi que les autres indicateurs métaboliques ont été enregistrés suivant la même procédure que les sessions de capture de mouvement. L’expression faciale a été capturée en enregistrant une vidéo du visage du participant pendant l’exercice (voir Fig. 2.1(b)).
Bien que du travail manuel ait été requis pour récupérer les données d’animation sous forme de courbes d’animation de blend shapes basiques, ce processus a grandement simplifié l’acquisition des données par rapport à l’utilisation de méthodes de capture faciale classique dans cet environnement. Le processus de récupération des données d’animation faciale est détaillé dans la section 4.4. Le matériel utilisé ainsi que le détail des procédures sera discuté dans la section 4.2.
En plus de la taille et du poids du participant, les poids utilisés dans les différents appareils de musculation ou lors des exercices de poids libre ont été notés afin de permettre une bonne approximation du travail mécanique et des forces impliquées lors de l’entraînement.
Les différentes informations constituant cette base de données ont été utilisées comme entrées dans différentes techniques d’apprentissage machine tel que décrit dans le prochain chapitre.
|
Table des matières
INTRODUCTION
CHAPITRE 1 ÉTAT DE L’ART
1.1 Description et mesure de l’expression faciale
1.2 Expressions faciales liées à la parole
1.3 Expressions faciales liées aux émotions
1.4 Expressions faciales liées à l’activité physique
CHAPITRE 2 ACQUISITION DES DONNÉES
2.1 Capture de mouvement
2.2 Capture des expressions faciales
CHAPITRE 3 SYNTHÈSE DE L’EXPRESSION FACIALE
3.1 Observations sur les données acquises
3.2 Modèle biomécanique
3.3 Apprentissage machine des expressions faciales
3.3.1 Prédiction des paramètres métaboliques
3.3.2 Prédiction des composantes de l’expression faciale
CHAPITRE 4 DISCUSSION
4.1 Capture de mouvement
4.1.1 Système de mocap utilisé
4.1.2 Costumes et marqueurs utilisés
4.1.3 Matériel d’enregistrement des paramètres métaboliques
4.2 Capture faciale
4.3 Acquisition manuelle des expressions faciales
4.4 Prototype
4.5 Limitations
CONCLUSION
LISTE DE RÉFÉRENCES
Télécharger le rapport complet
