PhD : Perception of the environment in degraded conditions: adaptive selection fusion of modalities

Contexte du poste

Cette thèse s’inscrit dans le projet INARI (vIsion multimodale pour une NAvigation et une commande Robuste de véhicule autonome) soutenu par l’ANR (Agence Nationale de la Recherche). Projet multi-partenaires (LITIS Rouen,
CEREMA, HEUDIASYC Compiègne, COSYS Paris, IRIMAS Mulhouse), INARI propose de réaliser un système capable à
la fois de détecter les obstacles routiers en conditions météorologiques dégradées et d’établir la commande appropriée qui tienne compte de l’adhérence de la chaussée selon son état.
Pour l’analyse de scènes routières, l’importance de la multimodalité (l’exploitation de différentes sourcesd’informations) n’est plus à démontrer. La fusion multi-capteurs permet une perception étendue et robuste et donc une interprétation des objets, statiques ou dynamiques, composant l’environnement proche. Mais, selon les conditions extérieures, les informations offertes par les capteurs peuvent ne pas être concordantes, voire peuvent être contradictoires. Fusionner de façon systématique toutes les informations provenant de la totalité des capteurs utilisés dans le système d’acquisition n’est donc pas optimal (complexité combinatoire, prise en compte de mesures inappropriées, etc.).
Il convient donc de fusionner les données de manière sélective en quantifiant l’imperfection des capteurs/mesures selon les conditions extérieures afin de les intégrer dans le processus de fusion, ce qui constitue le cœur de cette thèse. La théorie de Dempster-Shafer [1, 2] propose des mécanismes particulièrement adaptés pour la fusion de modalités imparfaites ou conflictuelles et permet une évaluation quantitative de l’incertitude [3, 4]. Dans [5, 6, 9] la théorie évidentielle fusionne des informations provenant de sources hétérogènes ou de différents agents pour permettre une conduite autonome sûre de véhicules intelligents. Enfin, couplée à des réseaux de neurones profonds, la théorie évidentielle peut apporter des résultats intéressants dans des applications de détection, classification ou segmentation sémantique [7, 8, 10]. Cette dernière démarche, particulièrement prometteuse, semble appropriée aux attendus de cette thèse.

Description

Cette thèse se focalise sur le développement de stratégie(s) de sélection automatique des données à fusionner selon les conditions météorologiques pour garantir une perception locale de qualité.
Dans une première partie, le/la doctorant(e) réalisera un état de l’art visant en particulier, mais pas exclusivement, les approches récentes de fusion multimodale adaptative (réseaux de neurones convolutifs, etc.). Cet état de l’art veillera également à s’intéresser aux approches favorisant la prise en compte des imperfections variables (incertitude, fiabilité, etc.) des capteurs telles les fonctions de croyance ou les réseaux évidentiels.
Par la suite, la thèse se concentrera sur l’estimation automatique d’un paramètre d'imprécision, voire de fiabilité, des capteurs. Il s’agit de faire un lien entre les conditions de perception extérieures et les capacités de perception des capteurs. Cette connaissance permettra ensuite le développement de stratégies de fusion des modalités guidée par l’estimation des conditions extérieures pour la détection d’obstacles dans la scène.
Dans une troisième phase, une carte locale complète des objets/obstacles détectés en conditions dégradées et de leur état (statiques/dynamiques) sera réalisée. Cette carte sera nécessaire pour établir la commande appropriée du véhicule.
Ces développements feront l’objet d’une phase de validation expérimentale en conditions réelles à l’aide des moyens d’essais (véhicules autonomes, etc.) disponibles chez les partenaires du projet.


Mots clés : véhicules autonomes, perception multimodale, fusion de données adaptative, fonctions de croyance.

Fichiers associés

Fiche de poste
Comment postuler ?

Compétences nécessaires :
• Diplôme d’ingénieur ou de Master en automatique, informatique.
• Solides compétences en informatique (apprentissage profond) et/ou traitement de signal, développement
informatique (C/C++, Python, Linux) et des environnements de programmation et simulation (Matlab, ROS, etc.).
• Des connaissances en fusion de données seraient appréciées.
• Très bonnes capacités de communication écrite et orale en français et en anglais.


Candidature avant le 15/06/2024 en envoyant par email à jean-philippe.lauffenburger@uha.fr, remi.boutteau@univ-rouen.fr et hind.laghmara@insa-rouen.fr :
1. Lettre de motivation.
2. CV incluant deux références académiques.
3. Relevé de notes provisoires de Master/formation d’ingénieurs
4. Lettre(s) de recommandation.