Le 3e Atelier et Défi SHApe Recovery from Partial textured 3D scans (SHARP)

Un total de 8 000 € parrainé par Artec 3D sera remis aux vainqueurs sous forme de prix en argent.
Le 3e Atelier et Défi SHApe Recovery from Partial textured 3D scans (SHARP) sera organisé en collaboration avec CVPR le 19 juin 2022. La recherche sur la reconstruction 3D des formes guidée par les données est très active ces dernières années grâce à la disponibilité de grands jeux de données de modèles 3D. Toutefois, les méthodes actuelles ne se sont pas suffisamment concentrées sur deux aspects importants : (1) la reconstruction d’objets 3D complets avec à la fois la forme et la texture, (2) la reconstruction d’arêtes vives souvent lissées par le scan 3D.
L’objectif de cet atelier est de promouvoir le développement de méthodes permettant de récupérer un scan 3D complet via son acquisition partielle. Cela doit favoriser à son tour le développement de techniques de modélisation 3D et de traitement exploitant aussi bien la géométrie que la texture.
Cet atelier comprendra un parcours de présentation d’un article et une compétition:
Le parcours de présentation d’un article encourage les participants à soumettre de nouvelles contributions sur le traitement des formes et des textures guidé par les données. Un appel à contributions précisant les sujets d’intérêt est disponible ci-dessous.
La compétition se concentre sur la reconstruction de maillages 3D complets en haute résolution de scans 3D partiels ou contenant du bruit, et inclut 2 défis et 3 jeux de données.
- Le premier défi consiste à récupérer des scans 3D texturés via une acquisition partielle. Il implique 2 parcours:
- Parcours 1: Récupérer des scans texturés du corps humain via des acquisitions partielles. Le jeu de données utilisé ici est le jeu de données 3DBodyTex.v2, qui contient 2 500 scans 3D texturés. Il s’agit d’une version élargie du jeu de données original 3DBodyTex.v1, publié pour la première fois lors de la 2018 International Conference on 3D Computer Vision, 3DV 2018.
- Parcours 2: Récupérer des scans d’objets texturés via des acquisitions partielles. Il implique la récupération de scans d’objets génériques du jeu de données 3DObjTex.v1, qui est un sous-ensemble du répertoire de scans 3D en ligne ViewShape. Ce jeu de données contient plus de 2 000 objets génériques divers avec différents niveaux de complexité dans la texture et la géométrie.
- Le deuxième défi se concentre sur la récupération de détails fins d’objets sous la forme d’arêtes vives à partir de scans pauvres avec du bruit et des arêtes lisses. Le jeu de données CC3D-PSE, qui est une nouvelle version du jeu de données CC3D, introduit lors de la 2020 IEEE International Conference on Image Processing (ICIP), sera utilisé à cette fin. Il contient plus de 50 000 paires de modèles CAO et leurs scans 3D correspondants. Chaque paire de scan et modèle 3D est annotée avec des arêtes vives paramétriques. Face à un scan 3D aux arêtes lisses, le but est de reconstruire le modèle CAO correspondant sous forme de maillage triangulaire, avec des arêtes vives ressemblant aux arêtes vives réelles. Le deuxième défi implique 2 parcours :
- Parcours 1 : Récupération d’arêtes vives linéaires. Un sous-ensemble du jeu de données CC3D-PSE est envisagé dans ce parcours qui ne comprend que des arêtes vives linéaires.
- Parcours 2 : Récupération d’arêtes vives en tant que segments linéaires, circulaires et splines. Tout le CC3D-PSE sera utilisé dans ce parcours.
Il s’agit de la troisième édition de SHARP, après deux éditions couronnées de succès en collaboration avec CVPR 2021 et ECCV 2020.
Sponsor
Appel à participation
(Défis)
Défi
Achèvement du scan partiel texturé
L’objectif de ce défi est de reconstruire précisément un maillage 3D texturé complet à partir d’un scan 3D partiel. Il implique 2 parcours :
Parcours 1 : Formes du corps
Parcours 2 : Scans d'objets
Défi
Récupération d'arêtes vives
Face à un scan d’objet en 3D aux arêtes lisses, le but de ce défi est de reconstruire le modèle CAO correspondant sous forme de maillage triangulaire avec des arêtes vives ressemblant aux arêtes vives réelles.
Parcours 1 : Lignes nettes
Parcours 2 : Arêtes vives (cercles, splines, lignes)
Appel à soumission d'articles
(Parcours Soumission d'articles)
Le principal objectif de SHARP est d’encourager les articles consacrés à la récupération de formes et textures 3D en haute résolution à partir de données partielles, en particulier sous forme d’articles accompagnant les défis. Qui plus est, tous les sujets touchant et servant l’objectif du traitement des formes et textures guidé par les données sont dignes d’intérêt. Cela inclut les contributions originales à différents niveaux du traitement de données, pour différentes applications industrielles, ainsi que les propositions pour de nouveaux paramètres d’évaluation et jeux de données originaux pertinents. Les sujets intéressants comprennent, sans s’y limiter :
- Représentation et évaluation de données 3D texturées
- Extraction des caractéristiques d’un scan 3D texturé
- Modélisation générative de scans 3D texturés
- Reconstruction 3D basée sur l’apprentissage
- Correspondance commune texture et forme
- Achèvement commun texture et forme
- Reconstruction des données 3D sémantiques
- Fusion des données 3D et 2D efficace
- Affinement des données 3D texturées
- Détection et affinement des arêtes des caractéristiques 3D
- Représentations de haut niveau des données 3D
- Modélisation CAO à partir de données 3D non structurées
Tous les papiers acceptés seront inclus dans les actes de la conférence CVPR 2022. Les articles seront examinés par des pairs et doivent respecter le style et le format des actes de CVPR 2022. Plus de détails sur les formats de présentation sont disponibles sur la page consacrée à la soumission des articles.
Échéancier
Organisateurs
Achèvement du scan partiel texturé
Défi 1
L’objectif de ce défi est de reconstruire précisément un maillage 3D texturé complet à partir d’un scan 3D partiel. Il implique 2 parcours :
Parcours 1

Parcours 2

Les données d’entraînement consistent en paires, (X, Y), de scans partiels et complets, respectivement. Le but est de récupérer Y à partir de X. Dans le cadre du défi, nous partageons des routines pour générer des scans partiels X des scans complets Y donnés. Les participants ont toutefois la liberté de concevoir leur propre méthode pour générer des données partielles, comme complément ou alternative complète.
- Toute procédure personnalisée doit être rapportée avec une description et une implémentation parmi les livrables.
- Un contrôle qualité est effectué afin de garantir un niveau raisonnable de défauts.
- Les scans partiels sont générés synthétiquement.
- Pour des raisons de confidentialité, tous les maillages sont rendus anonymes en floutant la forme et la texture des visages, à l’instar des données 3DBodyTex.
- Lors de l’évaluation, le visage et les mains sont ignorés car la forme des scans bruts est moins fiable.
Nouveauté : En plus des routines pour la génération de données partielles fournies dans les éditions précédentes (SHARP 2020 et SHARP 2021), des routines de génération de données partielles plus réalistes ont été mises en place pour cette édition. Des exemples de scans partiels du Parcours 1 et du Parcours 2 sont disponibles ci-dessous.
Récupération d'arêtes vives
Défi 2
Face à un scan d’objet en 3D aux arêtes lisses, le but de ce défi est de reconstruire le modèle CAO correspondant sous forme de maillage triangulaire avec des arêtes vives ressemblant aux arêtes vives réelles.
Nouveauté : Ce défi introduit le jeu de données CC3D-PSE, qui est une nouvelle version du jeu de données CC3D utilisé dans SHARP 2021. CC3D-PSE consiste en :
- +50 000 paires de scans et modèles CAO sous la forme de maillages triangulaires
- Annotations d’arêtes vives fournies comme courbes paramétriques incluant des segments linéaires, circulaires et splines
Parcours 1
Récupération d’arêtes vives linéaires. Un sous-ensemble du jeu de données CC3D-PSE est envisagé dans ce parcours qui ne comprend que des arêtes vives linéaires.

Parcours 2
Récupération d’arêtes vives en tant que segments linéaires, circulaires et splines. Tout le CC3D-PSE sera utilisé dans ce parcours.

Soumettez votre solution au défi
Programme
SHARP will be held on 19 June 2022.
The workshop will follow a hybrid format.
Essential inspection | |
---|---|
Opening | 13:30 – 13:35 |
Presentation of SHARP Challenges | 13:35 – 13:50 |
Plenary Talk – Prof. Angela Dai | 13:50 – 14:40 |
Coffee Break | 14:40 – 14:55 |
Finalists 1: Points2ISTF – Implicit Shape and Texture Field from Partial Point Clouds – Jianchuan Chen | 14:55 – 15:15 |
Finalists 2: 3D Textured Shape Recovery with Learned Geometric Priors – Lei Li | 15:15 – 15:35 |
Finalists 3: Parametric Sharp Edges from 3D Scans – Anis Kacem | 15:15 – 15:35 |
Plenary Talk – Prof. Tolga Birdal | 15:55 – 16:45 |
Announcement of Results | 16:45 – 16:55 |
Analysis of Results | 16:55 – 17:10 |
Panel Discussion | 17:10 – 17:30 |
Closing Remarks | 17:30 – 17:35 |
Prof. Angela Dai
Technical University of Munich

Prof. Tolga Birdal
Imperial College London

Bio: Angela Dai is an Assistant Professor at the Technical University of Munich where she leads the 3D AI group. Prof. Dai’s research focuses on understanding how the 3D world around us can be modeled and semantically understood. Previously, she received her PhD in computer science from Stanford in 2018 and her BSE in computer science from Princeton in 2013. Her research has been recognized through a Eurographics Young Researcher Award, ZDB Junior Research Group Award, an ACM SIGGRAPH Outstanding Doctoral Dissertation Honorable Mention, as well as a Stanford Graduate Fellowship.
Bio: Tolga Birdal is an assistant professor in the Department of Computing of Imperial College London. Previously, he was a senior Postdoctoral Research Fellow at Stanford University within the Geometric Computing Group of Prof. Leonidas Guibas. Tolga has defended his masters and Ph.D. theses at the Computer Vision Group under Chair for Computer Aided Medical Procedures, Technical University of Munich led by Prof. Nassir Navab. He was also a Doktorand at Siemens AG under supervision of Dr. Slobodan Ilic working on “Geometric Methods for 3D Reconstruction from Large Point Clouds”. His current foci of interest involve geometric machine learning and 3D computer vision. More theoretical work is aimed at investigating and interrogating limits in geometric computing and non-Euclidean inference as well as principles of deep learning. Tolga has several publications at the well-respected venues such as NeurIPS, CVPR, ICCV, ECCV, T-PAMI, ICRA, IROS, ICASSP and 3DV. Aside from his academic life, Tolga has co-founded multiple companies including Befunky, a widely used web-based image editing platform.
Towards Commodity 3D Content Creation
With the increasing availability of high quality imaging and even depth imaging now available as commodity sensors, comes the potential to democratize 3D content creation. State-of-the-art reconstruction results from commodity RGB and RGB-D sensors have achieved impressive tracking, but reconstructions remain far from usable in practical applications such as mixed reality or content creation, since they do not match the high quality of artist-modeled 3D graphics content: models remain incomplete, unsegmented, and with low-quality texturing. In this talk, we will address these challenges: I will present a self-supervised approach to learn effective geometric priors from limited real-world 3D data, then discuss object-level understanding from a single image, followed by realistic 3D texturing from real-world image observations. This will help to enable a closer step towards commodity 3D content creation.
Talks Rigid & Non-Rigid Multi-Way Point Cloud Matching via Late Fusion
Correspondences fuel a variety of applications from texture-transfer to structure from motion. However, simultaneous registration or alignment of multiple, rigid, articulated or non-rigid partial point clouds is a notoriously difficult challenge in 3D computer vision. With the advances in 3D sensing, solving this problem becomes even more crucial than ever as the observations for visual perception hardly ever come as a single image or scan. In this talk, I will present an unfinished quest in pursuit of generalizable, robust, scalable and flexible methods, designed to solve this problem. The talk is composed of two sections diving into (i) MultiBodySync, specialized in multi-body & articulated generalizable 3D motion segmentation as well as estimation, and (ii) SyNoRim, aiming at jointly matching multiple non-rigid shapes by relating learned functions defined on the point clouds. Both of these methods utilize a family of recently matured graph optimization techniques called synchronization as differentiable modules to ensure multi-scan / multi-view consistency in the late stages of deep architectures. Our methods can work on a diverse set of datasets and are general in the sense that they can solve a larger class of problems than the existing methods.