3A - Parcours Robotique / ROB 317

"Vision 3d"

Programmation 2023-2024

Professeurs :

Antoine MANZANERA (ENSTA / U2IS)
François GOULETTE (ENSTA / U2IS)

Chargé de TD :

Marwane HARIAT (ENSTA / U2IS)

Modalités de contrôle des connaissances :

Comptes-rendus de 2 TPs + 1 Contrôle écrit

Ce cours présente les concepts, algorithmes et techniques utilisés en Vision par ordinateur pour reconstruire la géométrie 3d d'une scène, une fonction essentielle à la navigation des robots, qu'elle soit réactive (éviter les obstacles, trouver la voie praticable) ou planifiée (cartographier un environnement). Au-delà des robots, cette fonction est également utilisée en Géographie numérique (construire un modèle numérique de terrain) ou en urbanisme (construire la maquette numérique d'un quartier ou d'un bâtiment).

Les capteurs 3d spécifiques sont présentés (d'abord les différentes technologies de caméras 3d, puis les Lidar pour l'acquisition de nuages de points), cependant l'accent est mis dans ce cours sur les méthodes de reconstruction 3d à partir de vidéos RGB monoculaires.
Les approches analytiques font l'objet de 2 séances, où l'on aborde la géométrie multi-vues des caméras, et l'estimation des homographies et de la matrice fondamentale.
Une séance est dédiée aux approches par apprentissage, permettant de prédire une carte de profondeur à partir de vidéos monoculaires avec des réseaux profonds, avec ou sans vérité terrain.
Une fois obtenu un nuage de points 3d pour chaque pose de capteur (avec un Lidar, ou bien avec une carte de profondeur estimée), finaliser la reconstruction suppose de filtrer, simplifier, et mettre en correspondance differents nuages, c'est l'objet de la partie traitement et analyse des nuages de points.

Ce cours s'appuie sur les connaissances de base en images (MI204) et en apprentissage (MI201) qui forment les pré-requis :
https://perso.ensta-paris.fr/~manzaner/Cours/MI204/
https://perso.ensta-paris.fr/~manzaner/Cours/MI203/

CRÉNEAU	DESCRIPTION DE LA SÉANCE	PROFESSEUR	RESSOURCES
Jeudi 14/9/23 9:00--12:15	Perception de la 3d dans les systèmes biologiques et Co-conception des capteurs 3d : Indices naturels de perception de la profondeur ; Capteurs actifs : Temps de vol et Lumière structurée ; Capteurs passifs : Plénoptique, Depth from defocus, Pupilles codées,...	Antoine MANZANERA	Transparents du cours "Co-conception pour la perception de la 3d"
Jeudi 21/9/23 9:00--12:15	3d Analytique 1 : Géométrie projective, Matrice caméra, Homographies, Stéréovision idéale. TP : Estimation d'homographie et construction de panoramas	Antoine MANZANERA	Transparents du cours "3d analytique 1 : Introduction et homographies" Énoncé du TP n°1 "Estimation d'homographie et panoramas"
Jeudi 28/9/23 9:00--12:15	3d Analytique 2 : Stéréovision et multi-vues, matrice fondamentale et son estimation. TP : Estimation de matrice fondamentale	Antoine MANZANERA	Transparents du cours "3d analytique 2 : Matrice Fondamentale" Énoncé du TP n°2 "Estimation de F et reconstruction 3d"
Jeudi 5/10/23 9:00--12:15	Traitement de nuages de points : Capteurs Lidar, Filtrage, Recalage	François GOULETTE	Lien vers le cours de François Goulette "Imagerie 3d"
Jeudi 12/10/23 9:00--12:15	3d par apprentissage : Prédiction de cartes de profondeur à partir de vidéos monoculaires, Approches auto-supervisées, Gestion des objets mobiles TP : Prédiction de cartes de profondeur par apprentissage profond.	Antoine MANZANERA Marwane HARIAT	Transparents du cours "Reconstruction 3d : Méthodes par apprentissage" Énoncé du TP n°3 "Prédiction de la profondeur par Deep Learning"
Jeudi 26/10/23 9:00--12:15	Analyse de nuages de points : Segmentation	François GOULETTE	Lien vers le cours de François Goulette "Imagerie 3d"
Jeudi 9/11/23 9:00--12:15	Examen écrit / Seul document autorisé : une feuille A4 de notes de cours. Finalisation des TPs à rendre	Antoine MANZANERA Marwane HARIAT	Examen de Novembre 2023 avec Corrigé