Soutenance mémoire
L’estimation du déplacement de la caméra implique le suivi dans l’image d’un ou plusieurs éléments de l’environnement. Un contexte d’utilisation réaliste implique une utilisation sur le long terme et, implicitement, que les objets observés par la caméra ne soient pas les mêmes tout le long de l’exécution. L’algorithme utilisé doit donc être capable d’appréhender l’apparition de nouveaux éléments à suivre et d’intégrer les informations qu’ils fournissent pour le processus de localisation. En étant à même d’estimer l’incertitude sur l’estimation des paramètres de l’environnement, les méthodes de type SLAM (Simultaneous Localization and Mapping) fournissent une solution qui permet de propager l’incertitude dans le temps. Cette prise en compte de l’incertitude à chaque instant va permettre d’appréhender les nouvelles informations avec une connaissance a priori « souple » qui va s’adapter en fonction des nouvelles mesures.
Nous verrons que des implémentations du SLAM existent et donnent des résultats très intéressants. Alors que la vaste majorité de ces implémentations appliquées à la vision monoculaire représentent l’environnement et le mesure à travers des points, cette thèse s’intéresse à la conception d’un système dérivé du SLAM qui utilise une primitive géométrique plus complexe : le plan. Dans notre environnement quotidien, en milieu urbain ou en intérieur, le plan est une primitive abondante.
Fondamentaux de l’estimation statistique
Les méthodes de type SLAM sont des méthodes d’estimation statistiques. Afin de mieux appréhender la suite de ce chapitre, un court rappel des principes utilisés est nécessaire. Le filtrage statistique consiste à estimer, en fonction d’un flux de mesures provenant de capteurs, l’état d’un système dynamique. On souhaite connaitre l’état courant qui correspond le mieux aux mesures collectées et aux informations que l’on connait a priori, sachant que ces données peuvent être bruitées et que les mesures peuvent être une projection de l’état dans une dimension de taille inférieure. Les informations du système sont considérées comme des variables aléatoires au sens statistique du terme. On considérera donc l’état et la mesure comme deux variables aléatoires pour lesquelles on devra attribuer ou estimer une fonction de densité de probabilité. Le travail de l’estimateur statistique va donc être pour simplifier– d’estimer la fonction de densité de probabilité (nommée par la suite pdf pour Probability Density Function) de l’état qui corresponde le mieux à celle des informations a priori et de celle de la (ou des) mesure(s).
Filtrage bayésien
Dans le cadre théorique qui nous intéresse, les mesures que l’on obtient sont discrètes et doivent être traitées au fur et à mesure qu’elles arrivent (cadre temps réel). Le problème est donc pour chaque nouvelle mesure de mettre à jour les caractéristiques de l’état. L’historique des mesures précédentes n’est pas reconsidéré ni conservé par souci de performance, seule est connue la dernière estimation.
A priori et prédiction
L’information a priori est primordiale dans le cadre d’une estimation statistique. Elle permet de contraindre l’espace de solutions et de contourner le fait que les mesures à chaque itération ne permettent pas forcément de contraindre l’état complètement. L’information a priori permet donc d’effectuer la mise à jour connaissant l’ensemble des informations acquises à travers les anciennes mesures. L’utilisation d’une phase de prédiction permet d’améliorer cette information à priori. En effet, il est souvent possible de fournir des informations sur les changements de l’état en fonction du temps, que ce soit par l’odométrie ou par un modèle (dans notre cas de déplacement). Dans le cas d’applications où les mesures sont discrètes et espacées dans le temps, la prédiction permet de « compenser » le manque de mesure dans l’intervalle et de prédire la mesure à venir.
Filtre de Kalman
Les différentes variables aléatoires présentées plus haut peuvent être de n’importe quelle forme. Une simplification possible est de trouver une loi de probabilité générique appliquable. Lorsqu’on ne dispose que de peu d’informations sur les caractéristiques d’un bruit de mesure, une simplification générique est d’utiliser une loi normale Gaussienne. La loi Gaussienne est reconnue pour être la meilleure représentation d’une variable aléatoire lorsqu’aucune information (à la conception du système) n’est connue sur la forme de cette variable.
Filtre particulaire
Une autre méthode de filtrage très utilisée, notamment dans le domaine du suivi est le filtre particulaire. Le filtre particulaire [Isard 98, Rekleitis 03] est fortement similaire, dans son principe, au filtre de Kalman puisqu’il s’agit aussi d’un filtre statistique bayésien qui fonctionne séquentiellement. Alors que l’EKF se « limite » à l’estimation des deux premiers moments statistiques (ce qui est une approximation si l’état n’a pas réellement une fonction de densité de probabilité Gaussienne), le filtre particulaire va permettre d’éliminer cette contrainte et d’estimer des pdf beaucoup plus complexes. Il permet entre autres d’estimer des fonctions de densité de probabilité multi-modales. Au lieu d’estimer les paramètres d’une fonction, ce qui peut être délicat dans le cas de fonctions complexes, le principe du filtre particulaire est de discrétiser celle-ci et d’estimer l’espace de recherche ponctuellement.
Comme toute méthode de recherche opérationnelle, le rôle du filtre particulaire est d’évaluer au moins localement l’espace de recherche afin de trouver le ou les points optimaux dans celui-ci. La dimension de l’espace correspond à celle de l’état estimé. Dans le cadre d’un filtrage statistique, l’espace de recherche est évalué par la densité de probabilité en chaque point. Une particule va donc représenter un point de cette espace de recherche et son poids (sa taille) la densité de probabilité associée à ce point. Le filtre particulaire va donc s’attacher à rechercher les meilleures solutions en plaçant et déplaçant judicieusement les particules afin d’obtenir en quelque sorte les pics de la pdf de l’état. On note xi une particule et wi le poids, représentant la densité de probabilité, qui lui est associé.
Prediction. Comme pour le filtre de Kalman, la prédiction consiste à transformer l’état, et donc ici l’état de chaque particule. Cette transformation est effectuée en utilisant un modèle de prédiction sélectionné par le concepteur du filtre. Cette prédiction va permettre de parcourir l’espace.
Mise à jour. Lorsqu’une mesure est disponible, celle-ci va servir à mettre à jour notre estimation de l’espace de recherche, et donc du poids des particules qui décrivent cet espace.
Le poids de chaque particule est ensuite normalisé par la somme des poids de l’ensemble des particules afin de conserver une cohérence numérique. L’utilisation des particules pour en déduire un résultat dépend de l’application. On pourra considérer tout simplement que la particule dont le poids est le plus fort est l’état du système à considérer. Une autre solution est de prendre la moyenne des particules pondérée par le poids de chacune, en éliminant les particules dont le poids est inférieur à un certain seuil. L’utilisation de plusieurs particules comme autant de résultats différents est, bien évidemment, également possible.
Redistribution. La mise à jour tend à réduire le poids des particules. Afin de permettre une continuité de l’estimation, il est nécessaire d’éliminer les particules qui décrivent un point de l’espace peu probable. Celles-ci consomment des ressources calculatoires sans être d’un grand avantage descriptif. Elles sont donc remplacées par de nouvelles particules disposées à des endroits plus propices (par exemple en clonant les meilleures particules).
Limitations Les principaux avantages du filtre particulaire tiennent non seulement dans l’appréciation de pdf multimodales mais aussi dans la non linéarisation des modèles (qui peut être un facteur dépréciatif de la qualité dans l’EKF). L’inconvénient majeur du filtre particulaire tient dans le fait qu’il est nécessaire d’évaluer chaque particule pour connaître sa densité de probabilité. Cela implique des coûts calculatoires non négligeables dans le cas où la dimension de l’espace de recherche est élevée. Des solutions existent – comme l’utilisation des principes de réduction de l’espace type Rao-Blackwell – afin de réduire ce problème sans toutefois le supprimer totalement. La qualité de l’estimation est, par construction, corrélée à la finesse de la discrétisation de l’espace et donc au nombre de particules qui définissent l’espace à un instant donné t.
Modèle de prédiction et représentation de la caméra
Le modèle de prédiction utilisé dans le filtre de Kalman étendu (EKF) dépend du contexte applicatif et des connaissances que l’on a sur les mouvements du système : degrés de libertés, amplitudes des changements possibles, etc. Dans le cadre d’une application robotique par exemple, on connait les degrés de libertés autorisés par ses moteurs, les vitesses maximum qu’il peut atteindre, et surtout on peut connaitre les commandes qui sont données aux servo-moteurs afin d’avoir une prédiction relativement précise. Ces informations sont bien sûr insuffisantes pour une estimation à long terme, mais facilitent la prise en compte des informations extéroceptives lors de la mise à jour. Dans le cas qui nous intéresse, le système est une caméra (ou un bloc IMU et caméra) porté par un utilisateur. On n’a donc que très peu d’informations permettant de prédire le mouvement à l’avance puisque l’utilisateur va pouvoir bouger comme il le souhaite. On doit donc trouver un modèle de prédiction générique qui corresponde le plus à la réalité en n’ayant comme seule information que les mouvements précédents. On doit trouver un compromis entre un modèle trop simple qui impliquerait une grande incertitude et un modèle trop strict qui risquerait de ne jamais être valide.
|
Table des matières
Introduction
1 Éléments de la vision par ordinateur
1.1 Contraintes et limitations des caméras
1.2 Géométrie de la prise de vue
1.3 Transformation de repère
1.4 Transformation entre plusieurs vues
1.4.1 La contrainte épipolaire
1.4.2 La relation d’homographie
1.5 Le calcul de pose
2 Localisation et cartographie simultanées basé sur des structures planes
2.1 Fondamentaux de l’estimation statistique
2.1.1 Filtrage bayésien
2.1.2 A priori et prédiction
2.1.3 Filtre de Kalman
2.1.4 Filtre particulaire
2.2 Modèle de prédiction et représentation de la caméra
2.2.1 Conclusion
2.3 Localisation et cartographie simultanées
2.3.1 Principes probabilistes
2.3.1.1 EKF-SLAM
2.3.1.2 FAST-SLAM
2.3.2 Précisions sur la méthode EKF-SLAM
2.3.3 Problémes rencontrés lors de l’utilisation de l’EKF-SLAM
2.3.4 Conclusion
2.4 Le SLAM Monoculaire
2.4.1 La carte
2.4.2 Initialisation des éléments de la carte
2.4.3 Problème du facteur d’échelle
2.4.4 Conclusion
2.5 Utilisation des régions planes
2.6 Les plans et l’estimation de pose dans la littérature
2.7 Intégration des plans dans le SLAM
2.7.1 Une première solution basée sur les points
2.7.2 Une solution basée sur les homographies
2.7.2.1 Les paramètres de transformation
2.7.2.2 Les paramètres du plan
2.7.2.3 Ajout d’un plan
2.7.2.4 Ajout d’une caméra de référence
2.7.2.5 Modèle de mesure basé point
2.7.2.6 Modèle de mesure basé sur les homographies
2.7.3 Résultats
2.7.3.1 Démonstration de fonctionnement du filtre
2.7.3.2 Démonstration des avantages avec une carte
2.8 Conclusion
3 Le suivi de formes dans une séquence d’images
3.1 Problématique
3.2 Les possibilités existantes pour le suivi basé image
3.3 Recherche des paramètres de déplacement
3.4 Solution utilisée
3.5 Améliorations du suivi basé image
3.5.1 Luminosité et robustesse
3.5.2 Minimisation complexe et réduction de l’espace de recherche
3.5.3 Occlusions et gestion des informations erronées
3.5.4 Patches multiples et instabilité numérique
3.5.5 Simplification du modèle
3.5.6 Optimisations
3.6 Conclusion
4 Détection et intégration de nouveaux plans
4.1 Reconnaissance de régions
4.1.1 Méthodes de reconnaissance par corrélation
4.1.2 Méthodes de reconnaissance par primitives
4.1.3 Recherche du plus proche voisin
4.1.3.1 La méthode des k-means
4.1.3.2 La méthodes des k-means hiérarchique
4.2 Mise en application
4.2.1 Choix de la méthode
4.2.2 Chargement de la base de donnée
4.2.3 Recherche de l’image
4.2.4 Utilisation des résultats
4.3 Initialisation des plans inconnus
4.3.1 Problématique
4.3.2 Ajouts d’éléments et SLAM monoculaire : état de l’art
4.3.3 Initialisation des paramètres des plans
4.3.4 Résultats
4.3.4.1 Simulation numérique
4.3.4.2 Séquence d’image
4.3.5 Procédure post-initialisation
4.3.6 Conclusion sur l’initialisation
4.4 Extraction des zones planaires
4.4.1 Problématique
4.4.2 État de l’art
4.4.3 Présentation de la méthode d’extraction
4.4.3.1 Extraction des points d’intérets
4.4.3.2 Maillage
4.4.3.3 Transformation du maillage dans la nouvelle image
4.4.3.4 Calcul de l’homographie d’une région triangulaire
4.4.3.5 Utilisation des triangles
4.4.4 Résultats
4.4.5 Conclusion sur l’extraction des plans
4.5 Conclusion sur l’ajout
Conclusion
Télécharger le rapport complet
