Challenge de reconstruction 3D

Challenge de reconstruction 3D

Mission coopérative de collecte de données

En plus des manips relatives aux recherches personnelles de chacun, les participants pourront participer à la collecte coopérative de données images prévue sur le site des Pyramides (bascule sur le site du Lion de Mer en cas de météo défavorable). L’objectif est de pouvoir créer une base de données commune avec les images (photos ou vidéos) et les données additionnelles acquises (localisation 3D & orientation 3D des prises de vues, profils sonar, IMU, depth, etc.). La diversité des moyens déployés permettra de créer une base riche. Il faudra se coordonner pour essayer de couvrir un maximum la zone d’étude aux différentes échelles accessibles. Mais la coopération ne s’envisage pas qu’au niveau de la répartition des zones d’acquisitions : certains ont des robots, d’autres des capteurs, assemblez-les et mettez en commun les moyens !

Des guidelines seront fournies pour harmoniser la base de données (en vue de son exploitation) et pour l’alimenter au fur et à mesure. Cette base sera rendue public à l’issue du challenge reconstruction 3D.

Si vous avez un doute sur votre capacité à contribuer à la collecte, n’hésitez pas à contacter les organisateurs. Et si vous n’avez ni robot, ni capteur, il y aura besoin de coups de main, par exemple sur l’alimentation et l’harmonisation de la base de données.

Une réunion sera organisée quelques semaines avant le submeeting afin de préciser les modalités de cette collecte coopérative de données.

Data collection guidelines

After each trip, you will have access to external hard drives to store the data you acquired. Each drive will have the same organization:

  • Site of interest 1
    • Robot A
    • Robot B
  • Site of interest 2
    • Robot A
    • Robot B

First, go to the folder [site of interest you just visited]/[the robot you used].

Then, create a folder whose name is the approximate date of the visit in the format YYYYmmddTHHMMSS, with YYYY the year (2022), mm the zero-padded month (04 for April), dd the zero-padded day (07 for the 7th), HH the zero-padded 24h-clock hour (14 for 14h/2PM), MM the zero-padded minutes and SS the zero-padded seconds. For example, if your visit was April the 7th at approximately 14h19, the folder name will be 20220407T141900.

In this folder, you can dump all of your data, whether it is rosbags or videos. If you have only video files, please name the videos according to their time of recording in the same format as the folder. For example if your video was recorded at 9h05 on April 8th, the video file must be named 20220408T090500.mp4 (depending on the extension of the video).

Hard drives will also contain a folder named Calibration with the following organisation:

  • Calibration
    • Robot A
    • Robot B

In the folder corresponding to tour robot, you will be asked to dump the data that was acquired during the calibration session.

Challenge de reconstruction 3D

Après la collecte, le traitement !

L’alimentation de la base de données se fera au fur et à mesure du workshop et dès les premières données disponibles sur la base, il sera possible de commencer les traitements. Tout le monde pourra participer, même ceux qui ne font pas la collecte ! L’objectif est d’utiliser les données images pour faire des reconstructions 3D locales et globales de la zone couverte. Tout traitement additionnel à valeur ajoutée sera intéressant (localisation des prises de vues, analyse de la complétude des données au jour le jour pour guider les acquisitions suivantes, pré-traitements, mosaïques, détection d’objets, …). Là encore, des guidelines seront fournies pour savoir comment partager ces résultats avec les autres participants.

A partir de certaines séquences d’acquisitions, nous nous efforcerons d’établir au mieux une vérité terrain de reconstruction 3D qui permettra aux participants de comparer de façon quantitative leurs algorithmes. Du fait qu’il sera trop compliqué de comparer des résultats obtenus avec différents robots non synchronisés entre eux et équipés de différents capteurs de façon quantitative, il est vraisemblable que le challenge de reconstruction 3D soit restreint aux acquisitions effectuées par un seul robot. Toutefois, le traitement des acquisitions effectuées avec d’autres robots permettra de faire une analyse qualitative des résultats obtenus.

Le challenge de reconstruction se poursuivra quelques mois après la fin du workshop.

À l’issue du challenge, nous souhaitons l’écriture collaborative d’un article scientifique pour présenter la base de données et les premiers résultats avec les personnes ayant participé à la collecte et au traitement des données.