Le 3e Atelier et Défi SHApe Recovery from Partial textured 3D scans (SHARP)
Organisateurs
Un total de 8 000 € parrainé par Artec 3D sera remis aux vainqueurs sous forme de prix en argent.
Le 3e Atelier et Défi SHApe Recovery from Partial textured 3D scans (SHARP) sera organisé en collaboration avec CVPR le 20 juin 2022 (date à confirmer). La recherche sur la reconstruction 3D des formes guidée par les données est très active ces dernières années grâce à la disponibilité de grands jeux de données de modèles 3D. Toutefois, les méthodes actuelles ne se sont pas suffisamment concentrées sur deux aspects importants : (1) la reconstruction d’objets 3D complets avec à la fois la forme et la texture, (2) la reconstruction d’arêtes vives souvent lissées par le scan 3D.
L’objectif de cet atelier est de promouvoir le développement de méthodes permettant de récupérer un scan 3D complet via son acquisition partielle. Cela doit favoriser à son tour le développement de techniques de modélisation 3D et de traitement exploitant aussi bien la géométrie que la texture.
Cet atelier comprendra un parcours de présentation d’un article et une compétition:
Le parcours de présentation d’un article encourage les participants à soumettre de nouvelles contributions sur le traitement des formes et des textures guidé par les données. Un appel à contributions précisant les sujets d’intérêt est disponible ci-dessous.
La compétition se concentre sur la reconstruction de maillages 3D complets en haute résolution de scans 3D partiels ou contenant du bruit, et inclut 2 défis et 3 jeux de données.
- Le premier défi consiste à récupérer des scans 3D texturés via une acquisition partielle. Il implique 2 parcours:
- Parcours 1: Récupérer des scans texturés du corps humain via des acquisitions partielles. Le jeu de données utilisé ici est le jeu de données 3DBodyTex.v2, qui contient 2 500 scans 3D texturés. Il s’agit d’une version élargie du jeu de données original 3DBodyTex.v1, publié pour la première fois lors de la 2018 International Conference on 3D Computer Vision, 3DV 2018.
- Parcours 2: Récupérer des scans d’objets texturés via des acquisitions partielles. Il implique la récupération de scans d’objets génériques du jeu de données 3DObjTex.v1, qui est un sous-ensemble du répertoire de scans 3D en ligne ViewShape. Ce jeu de données contient plus de 2 000 objets génériques divers avec différents niveaux de complexité dans la texture et la géométrie.
- Le deuxième défi se concentre sur la récupération de détails fins d’objets sous la forme d’arêtes vives à partir de scans pauvres avec du bruit et des arêtes lisses. Le jeu de données CC3D-PSE, qui est une nouvelle version du jeu de données CC3D, introduit lors de la 2020 IEEE International Conference on Image Processing (ICIP), sera utilisé à cette fin. Il contient plus de 50 000 paires de modèles CAO et leurs scans 3D correspondants. Chaque paire de scan et modèle 3D est annotée avec des arêtes vives paramétriques. Face à un scan 3D aux arêtes lisses, le but est de reconstruire le modèle CAO correspondant sous forme de maillage triangulaire, avec des arêtes vives ressemblant aux arêtes vives réelles. Le deuxième défi implique 2 parcours :
- Parcours 1 : Récupération d’arêtes vives linéaires. Un sous-ensemble du jeu de données CC3D-PSE est envisagé dans ce parcours qui ne comprend que des arêtes vives linéaires.
- Parcours 2 : Récupération d’arêtes vives en tant que segments linéaires, circulaires et splines. Tout le CC3D-PSE sera utilisé dans ce parcours.
Il s’agit de la troisième édition de SHARP, après deux éditions couronnées de succès en collaboration avec CVPR 2021 et ECCV 2020.
Sponsor
Appel à participation
(Défis)
Défi
Achèvement du scan partiel texturé
L’objectif de ce défi est de reconstruire précisément un maillage 3D texturé complet à partir d’un scan 3D partiel. Il implique 2 parcours :
Parcours 1 : Formes du corps
Parcours 2 : Scans d'objets
Défi
Récupération d'arêtes vives
Face à un scan d’objet en 3D aux arêtes lisses, le but de ce défi est de reconstruire le modèle CAO correspondant sous forme de maillage triangulaire avec des arêtes vives ressemblant aux arêtes vives réelles.
Parcours 1 : Lignes nettes
Parcours 2 : Arêtes vives (cercles, splines, lignes)
Appel à soumission d'articles
(Parcours Soumission d'articles)
Le principal objectif de SHARP est d’encourager les articles consacrés à la récupération de formes et textures 3D en haute résolution à partir de données partielles, en particulier sous forme d’articles accompagnant les défis. Qui plus est, tous les sujets touchant et servant l’objectif du traitement des formes et textures guidé par les données sont dignes d’intérêt. Cela inclut les contributions originales à différents niveaux du traitement de données, pour différentes applications industrielles, ainsi que les propositions pour de nouveaux paramètres d’évaluation et jeux de données originaux pertinents. Les sujets intéressants comprennent, sans s’y limiter :
- Représentation et évaluation de données 3D texturées
- Extraction des caractéristiques d’un scan 3D texturé
- Modélisation générative de scans 3D texturés
- Reconstruction 3D basée sur l’apprentissage
- Correspondance commune texture et forme
- Achèvement commun texture et forme
- Reconstruction des données 3D sémantiques
- Fusion des données 3D et 2D efficace
- Affinement des données 3D texturées
- Détection et affinement des arêtes des caractéristiques 3D
- Représentations de haut niveau des données 3D
- Modélisation CAO à partir de données 3D non structurées
Tous les papiers acceptés seront inclus dans les actes de la conférence CVPR 2022. Les articles seront examinés par des pairs et doivent respecter le style et le format des actes de CVPR 2022. Plus de détails sur les formats de présentation sont disponibles sur la page consacrée à la soumission des articles.
Échéancier
Organisateurs
Djamila Aouada
Kseniya Cherenkova
Anis Kacem
Sk Aziz Ali
Elona Dupont
David Fofi
Gleb Gusev
Bjorn Ottersten
Achèvement du scan partiel texturé
Défi 1
L’objectif de ce défi est de reconstruire précisément un maillage 3D texturé complet à partir d’un scan 3D partiel. Il implique 2 parcours :
Parcours 1
Parcours 2
Les données d’entraînement consistent en paires, (X, Y), de scans partiels et complets, respectivement. Le but est de récupérer Y à partir de X. Dans le cadre du défi, nous partageons des routines pour générer des scans partiels X des scans complets Y donnés. Les participants ont toutefois la liberté de concevoir leur propre méthode pour générer des données partielles, comme complément ou alternative complète.
- Toute procédure personnalisée doit être rapportée avec une description et une implémentation parmi les livrables.
- Un contrôle qualité est effectué afin de garantir un niveau raisonnable de défauts.
- Les scans partiels sont générés synthétiquement.
- Pour des raisons de confidentialité, tous les maillages sont rendus anonymes en floutant la forme et la texture des visages, à l’instar des données 3DBodyTex.
- Lors de l’évaluation, le visage et les mains sont ignorés car la forme des scans bruts est moins fiable.
Nouveauté : En plus des routines pour la génération de données partielles fournies dans les éditions précédentes (SHARP 2020 et SHARP 2021), des routines de génération de données partielles plus réalistes ont été mises en place pour cette édition. Des exemples de scans partiels du Parcours 1 et du Parcours 2 sont disponibles ci-dessous.
Récupération d'arêtes vives
Défi 2
Face à un scan d’objet en 3D aux arêtes lisses, le but de ce défi est de reconstruire le modèle CAO correspondant sous forme de maillage triangulaire avec des arêtes vives ressemblant aux arêtes vives réelles.
Nouveauté : Ce défi introduit le jeu de données CC3D-PSE, qui est une nouvelle version du jeu de données CC3D utilisé dans SHARP 2021. CC3D-PSE consiste en :
- +50 000 paires de scans et modèles CAO sous la forme de maillages triangulaires
- Annotations d’arêtes vives fournies comme courbes paramétriques incluant des segments linéaires, circulaires et splines
Parcours 1
Récupération d’arêtes vives linéaires. Un sous-ensemble du jeu de données CC3D-PSE est envisagé dans ce parcours qui ne comprend que des arêtes vives linéaires.
Parcours 2
Récupération d’arêtes vives en tant que segments linéaires, circulaires et splines. Tout le CC3D-PSE sera utilisé dans ce parcours.
