Soutenance mémoire
Calcul de la structure et du mouvement à partir de correspondances de points
Un des résultats majeurs de la vision par ordinateur [Hartley 2004b] est que le problème du calcul de la structure et du mouvement est bien posé pour deux vues, à condition de disposer d’un ensemble de correspondances de points entre ces deux vues qui soit suffisamment grand pour que l’on puisse calculer de façon unique la matrice fondamentale. Le point remarquable est qu’aucune connaissance a priori n’est nécessaire ni sur les caméras (non calibrées), ni sur la scène (si ce n’est qu’elle est rigide). Le « hic » est que la représentation associée à cette reconstruction est purement projective, dans laquelle aucun objet (comme par exemple le plan à l’infini) permettant le passage à une représentation affine n’est identifiable. Ce résultat se généralise au cas de correspondances de points entre plus de deux vues, où une reconstruction projective peut être obtenue via une technique de factorisation [Hartley 2004b, p. 444] [Wang 2011]. Le problème du passage d’une reconstruction projective à une reconstruction euclidienne est un problème à part entière, dont les tenants et aboutissants sont exposés dans [Hartley 2004b, p. 458-501]. Une spécialisation de ce problème appelée « autocalibrage » , où les seules contraintes supplémentaires dont on dispose découlent d’hypothèses sur les paramètres internes des caméras, est traitée dans le chapitre suivant
Marqueurs cycliques appariés
Définition 10 (Marqueurs cycliques appariés) Deux marqueurs cycliques M1 et M2 sont appariés si et seulement s’ils vérifient la relation d’équivalence R : M1 a un plan de support parallèle à celui de M2. Il est important de noter ici qu’une classe d’équivalence modulo R est l’ensemble de marqueurs cycliques qui produisent les images de la même paire de points cycliques et que cette paire est celle de la famille des plans parallèles au plan de support de M, où M désigne un représentant quelconque de la classe.
Définition 11 (Images appariables de marqueurs cycliques) Les images de deux marqueurs cycliques M1 et M2 sont appariables si et seulement si M1 et M2 sont appariés. Dans certaines applications comme le « suivi d’une caméra », le problème consiste à calculer le mouvement de la caméra, le calcul de la structure étant secondaire et pouvant se limiter au strict minimum permettant un repérage tridimensionnel. Dans cette logique, nous pouvons tirer profit de l’invariance des points cycliques par les similitudes planes, qui donne à un marqueur cyclique la propriété d’être invariant par les déplacements parallèles à son plan de support ; on peut donc apparier son image avec l’image de n’importe quel marqueur cyclique appartenant à sa classe d’équivalence modulo R, c.-à-d. dont le plan de support est parallèle à celui du premier. En effet, si l’on considère les images dans une vue v de deux marqueurs cycliques appariés, c.-à-d. situés sur des plans parallèles p et p0 , ces deux images sont appariables dans le sens où les vecteurs ˜Ivp, calculé à partir du premier marqueur, et ˜Ivp0 calculé à partir du second marqueur, sont égaux à un scalaire complexe près. Dans le cadre du suivi de caméra, notre idée est donc de positionner dans la scène des familles de marqueurs cycliques appariés et de mettre en correspondance les images des marqueurs cycliques associés à cette classe d’équivalence dans les différentes vues. Il apparaît clairement que l’intérêt d’une telle approche est d’assurer qu’un même marqueur cyclique soit visible dans le plus grand nombre de vues, même si certains marqueurs cycliques de la classe d’équivalence ne sont visibles que dans très peu de vues. Nous pallions ainsi à un point faible des techniques de reconstruction par factorisation qui souffrent du problème des données manquantes, c.-à-d. lorsque certaines primitives ne sont pas visibles dans toutes les vues. Ceci est illustré sur la figure 3.3 via l’utilisation de marqueurs cycliques constitués de cercles concentriques disposés sur des plans parallèles. Nous présentons dans ce chapitre deux cas d’usage des marqueurs cycliques pour le calcul de la structure et du mouvement. Le premier cas d’usage (illustré sur la figure 3.3) met en jeu plusieurs marqueurs cycliques appariés, en introduisant dans une scène des marqueurs cycliques sur des familles de plans parallèles. Nous supposons, dans ce premier cas, que le déplacement de la caméra et/ou la géométrie de la scène rendent impossible l’utilisation d’un schéma de factorisation « classique », c.-à-d. intégrant des points « naturels », de par la présence d’un nombre trop important de données manquantes. Il s’agit donc, dans ce premier cas, de factoriser seulement les vecteurs des images des points cycliques de plusieurs plans non parallèles dans plusieurs vues. Le deuxième cas d’usage reprend l’idée de marqueur cyclique mais se différencie du premier cas d’usage dans le sens où l’on suppose cette fois disposer d’un ensemble d’images de points naturels visibles dans toutes les vues. L’idée est alors d’incorporer les images des points cycliques dans le schéma de factorisation classique et ainsi de factoriser simultanément les images des points naturels et des points cycliques, c.-à-d. d’utiliser l’ensemble des contraintes disponibles simultanément. Dans ce deuxième cas, nous nous limitons au sous-cas d’une seule classe de marqueurs appariés, c.-à-d. d’une seule famille de plans parallèles, car c’est le seul cas qui ne se déduit pas simplement du premier cas d’usage et de la factorisation de points naturels. La méthode proposée concernant le premier cas d’usage a été publiée dans [Calvet 2012a]. Le deuxième cas d’usage constitue, quant à lui, une partie des contributions du travail publié dans [Calvet 2013]. Organisation du chapitre. Nous présentons tout d’abord un état de l’art sur les méthodes de factorisation dédiées au calcul de la structure et du mouvement. Le problème de factorisation intégrant des points complexes est décrit dans la section 3.5. La section 3.6 est ensuite dédiée à la présention du premier cas d’usage, à savoir une factorisation de rang trois de la matrice des données composée des images de points cycliques. La section 3.7 présente le second cas d’usage qui repose sur une factorisation de rang quatre d’une matrice des données composée des images de points cycliques et des images de points naturels
Pourquoi et comment complexifier un espace projectif réel ?
Si l’on part du postulat que toute matrice symétrique (non nulle) M ∈ R (n+1)×(n+1) définit une quadrique de Pn(R) alors, dans le cas où sa signature est de la forme (s, 0), avec s > 0, c.-à-d. où M est définie (positive ou négative), le lieu de la quadrique est vide sur Pn(R) puisque X>MX 6=0, ∀X ∈ R n+1. On dit qu’une telle matrice définit une quadrique virtuelle [Semple 1952]. Pour « donner corps » aux points d’une quadrique virtuelle, on définit la notion d’espace projectif complexifié, noté Pn(C), déduit de C n+1 qui, muni de la base canonique de R n+1, est un espace vectoriel de dimension n + 1 autorisant les coordonnées homogènes à prendre des valeurs complexes. La matrice M ∈ R (n+1)×(n+1) est ainsi définie positive sur R n+1 mais pas sur C n+1 : elle définit alors une quadrique virtuelle de Pn(C) dont le lieu ne contient que des points appartenant à Pn(C)Pn(R), appelés points virtuels de l’espace projectif. Les points complexes sont virtuels ; ils n’ont pas de réalité physique mais existent comme les intersections algébriques de deux coniques qui n’ont pas d’intersection géométrique réelle. Par exemple, une droite et une conique qui n’ont pas d’intersection géométrique réelle ont deux points d’intersection complexes.
Premier cas d’usage
Nous supposons ici disposer d’images de points « naturels » réels, mais avec un nombre trop important de données manquantes pour envisager un schéma de factorisation « classique » , et d’images de points cycliques encodées par des marqueurs cycliques appariés, c.-à-d. dont les plans de support sont distincts et non parallèles deux à deux. Il s’agit donc, dans ce premier cas, de factoriser seulement les vecteurs des images des points cycliques de plusieurs plans non parallèles dans plusieurs vues, en supposant un nombre raisonnable de données manquantes. Si l’on suppose à présent le problème SP1 de « mise à l’échelle complexe » résolu, nous allons montrer que la factorisation de l’ensemble des images des points cycliques dans toutes les vues permet d’obtenir une reconstruction affine « partielle » des caméras, c. à-d. de leurs « orientations » mais pas de leurs positions, et une reconstruction affine des points cycliques. Passer de cette reconstruction affine « partielle » à une reconstruction euclidienne « complète » ne pose aucun problème théorique. Pour obtenir une reconstruction euclidienne des orientations des caméras et des points cycliques, il suffit de déterminer l’image de la conique absolue dans une vue, soit en ajustant les images des points cycliques à l’image de la conique absolue (dont on extrait la matrice de calibrage), c.-à-d. basé sur un calibrage plan [Sturm 1999, Zhang 1999, Gurdjos 2003], soit en utilisant les homographies induites par le plan à l’infini comme décrit dans [Hartley 2004b, p. 476]. Une fois ce problème résolu, le dernier problème est celui de déterminer la position des plans et des caméras. Il est possible de retrouver conjointement les positions des centres des caméras et des marqueurs à partir des images « calibrées » d’un point caractéristique du marqueur (par exemple, l’image de son centre) et de la connaissance d’une longueur ou d’un angle, ou bien à partir d’autres points naturels mis en correspondance, ce qui permet de compléter la reconstruction.
Algorithme de prédiction des blocs manquants de la matrice des données
Supposons que nous exécutions l’algorithme présenté dans la table 3.3 seulement pour les images visibles des points cycliques, alors certaines entrées (blocs) de la matrice des données Xe0 sont absentes. Le problème traité ici consiste à calculer ces données manquantes mises à l’échelle telles qu’en l’absence de bruit, la factorisation 3.23 soit vérifiée. Une de nos contributions est de proposer un algorithme (présenté dans la table 3.4) qui résoud ce problème et de fournir sa preuve. Supposons que les points cycliques ne soient pas visibles dans une certaine vue v mais visibles dans un ensemble L ⊆ {1, . . . , V } \ v de |L| vues, dont les éléments sont désignés par us où s = 1..|L|. Afin d’alléger la description de l’algorithme de prédiction, nous supposons ici que l’ensemble des images des points naturels sont mis à l’échelle, le calcul de leurs facteurs d’échelle se déduisant aisément de la méthode proposée.
|
Table des matières
1 Introduction
2 Notations et rappels géométriques
2.1 Question de notations
2.2 Rappels de géométrie projective
2.2.1 L’espace projectif et son dual
2.2.2 Quadriques projectives
2.2.2.1 Conjugaison et polarité relatives à une quadrique
2.2.2.2 Tangence à une quadrique
2.2.3 Quadriques projectives duales
2.2.4 Quadriques dégénérées des espaces projectifs de dimensions deux et trois
2.2.4.1 Enveloppes des quadriques dégénérées lorsque n ∈ {2, 3}
2.2.5 Transformation d’une quadrique projective
2.2.6 Signature d’une quadrique projective
2.2.7 Stratifications projectives
2.2.7.1 Structure affine d’un espace projectif. Hyperplan à l’infini
2.2.7.2 Structure affine euclidienne de l’espace projectif tridimensionnel Conique absolue
3 Calcul de la structure et du mouvement par factorisation projective incorporant des points cycliques
3.1 Introduction
3.2 Calcul de la structure et du mouvement à partir de marqueurs cycliques
3.2.1 Marqueurs cycliques
3.2.2 Marqueurs cycliques appariés
3.3 État de l’art
3.4 Complexification de l’espace projectif réel
3.4.1 Pourquoi et comment complexifier un espace projectif réel ?
3.4.2 La paire de points cycliques d’un plan projectif
3.5 Le problème de la factorisation de points complexes
3.5.1 Les données
3.5.2 Le problème
3.5.3 Mise à l’échelle des blocs de la matrice des données
3.5.3.1 Les grandes lignes
3.5.3.2 Généralisation de la mise à l’échelle d’une donnée réelle à une donnée complexe
3.5.4 Réduction du rang de la matrice des données
3.6 Premier cas d’usage
3.6.1 Factorisation d’images de K > 1 points cycliques
3.6.1.1 Équation de mise à l’échelle
3.6.1.2 Résolution
3.6.1.3 Prédiction des blocs manquants de la matrice des données
3.6.1.4 Heuristique de sélection de vues
3.6.2 Reconstruction euclidienne post-factorisation de la structure et du mouvement
3.7 Deuxième cas d’usage
3.7.1 Factorisation d’images de points naturels et de points cycliques
3.7.1.1 Équations de mise à l’échelle
3.7.1.2 Résolution
3.7.1.3 Algorithme de prédiction des blocs manquants de la matrice des données
3.7.1.4 Heuristique de sélection de vues
3.7.2 Reconstruction euclidienne post-factorisation de la structure et du mouvement
3.8 Résultats expérimentaux
3.8.1 Résultats du premier cas d’usage
3.8.2 Résultats du deuxième cas d’usage
3.9 Conclusion
4 Rectification euclidienne d’une reconstruction projective
4.1 Introduction
4.1.1 Notre problème spécifique
4.2 État de l’art
4.3 Autocalibrage dans l’espace projectif dual
4.3.1 Formulation linéaire de [Pollefeys 1999]
4.3.1.1 Les équations de base
4.3.1.2 Résolution avec contrainte de signature (3, 0) a posteriori
4.3.2 Formation linéaire étendue intégrant une paire de points cycliques
4.3.2.1 Points cycliques et contraintes d’autocalibrage
4.3.2.2 Les équations du problème intégrant une paire de points cycliques
4.3.3 Équations de base revisitées
4.3.3.1 Algorithme d’autocalibrage unifié
4.4 Résultats expérimentaux
4.4.1 Résultats sur données synthétiques
4.4.2 Résultats sur données réelles
4.5 Conclusion
5 Le système de marqueurs C2Tags
5.1 Introduction
5.2 État de l’art
5.2.1 Marqueurs 0D
5.2.2 Marqueurs 2D
5.2.3 Les codes-barres
5.3 Le problème et ses motivations
5.4 La solution proposée : le motif C2Tag
5.4.1 Un marqueur circulaire « idéal »
5.4.2 Le C2Tag, support des équipotentielles du motif « idéal »
5.4.3 Aperçu du système de détection
5.4.4 Détection
5.4.4.1 Système de vote pour l’ellipse interne
5.4.4.2 Regroupement des candidats en segments de contour de l’ellipse interne
5.4.4.3 Estimation initiale de l’ellipse externe
5.4.5 Optimisation de l’image du centre
5.4.6 Identification
5.5 Résultats expérimentaux
5.5.1 Résultats sur données de synthèse
5.5.1.1 Étude de validité de l’approximation des lignes de champ
5.5.1.2 Résultats de l’algorithme de détection
5.5.2 Résultats sur données réelles
5.6 Conclusion
5.6.1 Calcul de la circonférence de l’ellipse dans l’image de contours
6 Application au suivi de caméra
6.1 Introduction
6.1.1 Contexte – le projet ANR ROM
6.1.2 État de l’art
6.1.3 Notre problème spécifique
6.1.4 Notations
6.1.5 Formulation du problème
6.2 Suivi de caméra hors ligne basé sur les C2Tags
6.2.1 Suivi de caméra à partir de deux C2Tags coplanaires
6.2.2 Suivi de caméra à partir de N ≥ 2 C2Tags
6.2.2.1 Suivi à partir des vues-clés
6.2.2.2 Suivi à partir des vues intermédiaires par resection
6.3 Suivi de caméra en ligne basé sur une base de connaissances 3D
6.4 Ajustement de faisceaux
6.4.1 Formulation générale du problème
6.4.2 Paramétrage 3D euclidien minimal
6.4.2.1 Paramétrage d’un C2Tag
6.4.2.2 Paramétrage de deux C2Tags coplanaires
6.4.3 Paramétrage 3D projectif minimal
6.5 Résultats expérimentaux
6.5.1 Résultats sur données de synthèse
6.5.2 Résultats sur données réelles
6.6 Conclusion
7 Conclusion
Télécharger le rapport complet
