Le 3e Atelier et Défi SHApe Recovery from Partial textured 3D scans (SHARP)

Organisateurs

Un total de 8 000 € parrainé par Artec 3D sera remis aux vainqueurs sous forme de prix en argent.

Cet atelier comprendra un parcours de présentation d’un article et une compétition:

Le parcours de présentation d’un article encourage les participants à soumettre de nouvelles contributions sur le traitement des formes et des textures guidé par les données. Un appel à contributions précisant les sujets d’intérêt est disponible ci-dessous.  

La compétition se concentre sur la reconstruction de maillages 3D complets en haute résolution de scans 3D partiels ou contenant du bruit, et inclut 2 défis et 3 jeux de données. 

  • Le premier défi consiste à récupérer des scans 3D texturés via une acquisition partielle. Il implique 2 parcours: 
    • Parcours 1: Récupérer des scans texturés du corps humain via des acquisitions partielles. Le jeu de données utilisé ici est le jeu de données 3DBodyTex.v2, qui contient 2 500 scans 3D texturés. Il s’agit d’une version élargie du jeu de données original 3DBodyTex.v1, publié pour la première fois lors de la 2018 International Conference on 3D Computer Vision, 3DV 2018.
    • Parcours 2: Récupérer des scans d’objets texturés via des acquisitions partielles. Il implique la récupération de scans d’objets génériques du jeu de données 3DObjTex.v1, qui est un sous-ensemble du répertoire de scans 3D en ligne ViewShape. Ce jeu de données contient plus de 2 000 objets génériques divers avec différents niveaux de complexité dans la texture et la géométrie.
  • Le deuxième défi se concentre sur la récupération de détails fins d’objets sous la forme d’arêtes vives à partir de scans pauvres avec du bruit et des arêtes lisses. Le jeu de données CC3D-PSE, qui est une nouvelle version du jeu de données CC3D, introduit lors de la 2020 IEEE International Conference on Image Processing (ICIP), sera utilisé à cette fin. Il contient plus de 50 000 paires de modèles CAO et leurs scans 3D correspondants. Chaque paire de scan et modèle 3D est annotée avec des arêtes vives paramétriques. Face à un scan 3D aux arêtes lisses, le but est de reconstruire le modèle CAO correspondant sous forme de maillage triangulaire, avec des arêtes vives ressemblant aux arêtes vives réelles. Le deuxième défi implique 2 parcours : 
    • Parcours 1 : Récupération d’arêtes vives linéaires. Un sous-ensemble du jeu de données CC3D-PSE est envisagé dans ce parcours qui ne comprend que des arêtes vives linéaires.
    • Parcours 2 :  Récupération d’arêtes vives en tant que segments linéaires, circulaires et splines. Tout le CC3D-PSE sera utilisé dans ce parcours.

Il s’agit de la troisième édition de SHARP, après deux éditions couronnées de succès en collaboration avec CVPR 2021 et ECCV 2020.

Sponsor

Appel à participation
(Défis)

Défi
Achèvement du scan partiel texturé

L’objectif de ce défi est de reconstruire précisément un maillage 3D texturé complet à partir d’un scan 3D partiel. Il implique 2 parcours :

Parcours 1 : Formes du corps
Parcours 2 : Scans d'objets

Défi
Récupération d'arêtes vives

Face à un scan d’objet en 3D aux arêtes lisses, le but de ce défi est de reconstruire le modèle CAO correspondant sous forme de maillage triangulaire avec des arêtes vives ressemblant aux arêtes vives réelles.

Parcours 1 : Lignes nettes
Parcours 2 : Arêtes vives (cercles, splines, lignes)

Appel à soumission d'articles
(Parcours Soumission d'articles)

  • Représentation et évaluation de données 3D texturées
  • Extraction des caractéristiques d’un scan 3D texturé
  • Modélisation générative de scans 3D texturés
  • Reconstruction 3D basée sur l’apprentissage
  • Correspondance commune texture et forme
  • Achèvement commun texture et forme
  • Reconstruction des données 3D sémantiques
  • Fusion des données 3D et 2D efficace
  • Affinement des données 3D texturées
  • Détection et affinement des arêtes des caractéristiques 3D
  • Représentations de haut niveau des données 3D
  • Modélisation CAO à partir de données 3D non structurées

Tous les papiers acceptés seront inclus dans les actes de la conférence CVPR 2022. Les articles seront examinés par des pairs et doivent respecter le style et le format des actes de CVPR 2022. Plus de détails sur les formats de présentation sont disponibles sur la page consacrée à la soumission des articles.

Échéancier

Organisateurs

Achèvement du scan partiel texturé

Défi 1

Parcours 1

Récupérer des scans texturés du corps humain via des acquisitions partielles. Le jeu de données utilisé ici est le jeu de données 3DBodyTex.v2, qui contient 2 500 scans 3D texturés. Il s’agit d’une version élargie du jeu de données original 3DBodyTex.v1, publié pour la première fois lors de la 2018 International Conference on 3D Computer Vision, 3DV 2018.

Parcours 2

Récupérer des scans d’objets texturés via des acquisitions partielles. Il implique la récupération de scans d’objets génériques du jeu de données 3DObjTex.v1, qui est un sous-ensemble du répertoire de scans 3D en ligne ViewShape. Ce jeu de données contient plus de 2 000 objets génériques divers avec différents niveaux de complexité dans la texture et la géométrie.
  • Toute procédure personnalisée doit être rapportée avec une description et une implémentation parmi les livrables.
  • Un contrôle qualité est effectué afin de garantir un niveau raisonnable de défauts.
  • Les scans partiels sont générés synthétiquement.
  • Pour des raisons de confidentialité, tous les maillages sont rendus anonymes en floutant la forme et la texture des visages, à l’instar des données 3DBodyTex.
  • Lors de l’évaluation, le visage et les mains sont ignorés car la forme des scans bruts est moins fiable.

Nouveauté : En plus des routines pour la génération de données partielles fournies dans les éditions précédentes (SHARP 2020 et SHARP 2021), des routines de génération de données partielles plus réalistes ont été mises en place pour cette édition. Des exemples de scans partiels du Parcours 1 et du Parcours 2 sont disponibles ci-dessous.

Récupération d'arêtes vives

Défi 2

Nouveauté : Ce défi introduit le jeu de données CC3D-PSE, qui est une nouvelle version du jeu de données CC3D utilisé dans SHARP 2021. CC3D-PSE consiste en :

  • +50 000 paires de scans et modèles CAO sous la forme de maillages triangulaires
  • Annotations d’arêtes vives fournies comme courbes paramétriques incluant des segments linéaires, circulaires et splines

Parcours 1

Récupération d’arêtes vives linéaires. Un sous-ensemble du jeu de données CC3D-PSE est envisagé dans ce parcours qui ne comprend que des arêtes vives linéaires.

Parcours 2

Récupération d’arêtes vives en tant que segments linéaires, circulaires et splines. Tout le CC3D-PSE sera utilisé dans ce parcours.

Soumettez votre solution au défi

À venir...

Programme

SHARP will be held on 19 June 2022.
The workshop will follow a hybrid format.

b4-table-white b4-table-first-col b4-table-specifications b4-table-header-colspan
Essential inspection
Opening13:30 – 13:35
Presentation of SHARP Challenges13:35 – 13:50
Plenary Talk – Prof. Angela Dai13:50 – 14:40
Coffee Break14:40 – 14:55
Finalists 1: Points2ISTF – Implicit Shape and Texture Field from Partial Point Clouds – Jianchuan Chen14:55 – 15:15
Finalists 2: 3D Textured Shape Recovery with Learned Geometric Priors – Lei Li15:15 – 15:35
Finalists 3: Parametric Sharp Edges from 3D Scans – Anis Kacem15:15 – 15:35
Plenary Talk – Prof. Tolga Birdal15:55 – 16:45
Announcement of Results16:45 – 16:55
Analysis of Results16:55 – 17:10
Panel Discussion17:10 – 17:30
Closing Remarks17:30 – 17:35
Invited Speakers

Prof. Angela Dai

Technical University of Munich

Prof. Angela Dai
Invited Speakers

Prof. Tolga Birdal

Imperial College London

Bio: Angela Dai is an Assistant Professor at the Technical University of Munich where she leads the 3D AI group. Prof. Dai’s research focuses on understanding how the 3D world around us can be modeled and semantically understood. Previously, she received her PhD in computer science from Stanford in 2018 and her BSE in computer science from Princeton in 2013. Her research has been recognized through a Eurographics Young Researcher Award, ZDB Junior Research Group Award, an ACM SIGGRAPH Outstanding Doctoral Dissertation Honorable Mention, as well as a Stanford Graduate Fellowship.

Bio: Tolga Birdal is an assistant professor in the Department of Computing of Imperial College London. Previously, he was a senior Postdoctoral Research Fellow at Stanford University within the Geometric Computing Group of Prof. Leonidas Guibas. Tolga has defended his masters and Ph.D. theses at the Computer Vision Group under Chair for Computer Aided Medical Procedures, Technical University of Munich led by Prof. Nassir Navab. He was also a Doktorand at Siemens AG under supervision of Dr. Slobodan Ilic working on “Geometric Methods for 3D Reconstruction from Large Point Clouds”. His current foci of interest involve geometric machine learning and 3D computer vision. More theoretical work is aimed at investigating and interrogating limits in geometric computing and non-Euclidean inference as well as principles of deep learning. Tolga has several publications at the well-respected venues such as NeurIPS, CVPR, ICCV, ECCV, T-PAMI, ICRA, IROS, ICASSP and 3DV. Aside from his academic life, Tolga has co-founded multiple companies including Befunky, a widely used web-based image editing platform.

Plenary Talks

Towards Commodity 3D Content Creation

With the increasing availability of high quality imaging and even depth imaging now available as commodity sensors, comes the potential to democratize 3D content creation. State-of-the-art reconstruction results from commodity RGB and RGB-D sensors have achieved impressive tracking, but reconstructions remain far from usable in practical applications such as mixed reality or content creation, since they do not match the high quality of artist-modeled 3D graphics content: models remain incomplete, unsegmented, and with low-quality texturing. In this talk, we will address these challenges: I will present a self-supervised approach to learn effective geometric priors from limited real-world 3D data, then discuss object-level understanding from a single image, followed by realistic 3D texturing from real-world image observations. This will help to enable a closer step towards commodity 3D content creation.

Plenary

Talks Rigid & Non-Rigid Multi-Way Point Cloud Matching via Late Fusion

Correspondences fuel a variety of applications from texture-transfer to structure from motion. However, simultaneous registration or alignment of multiple, rigid, articulated or non-rigid partial point clouds is a notoriously difficult challenge in 3D computer vision. With the advances in 3D sensing, solving this problem becomes even more crucial than ever as the observations for visual perception hardly ever come as a single image or scan. In this talk, I will present an unfinished quest in pursuit of generalizable, robust, scalable and flexible methods, designed to solve this problem. The talk is composed of two sections diving into (i) MultiBodySync, specialized in multi-body & articulated generalizable 3D motion segmentation as well as estimation, and (ii) SyNoRim, aiming at jointly matching multiple non-rigid shapes by relating learned functions defined on the point clouds. Both of these methods utilize a family of recently matured graph optimization techniques called synchronization as differentiable modules to ensure multi-scan / multi-view consistency in the late stages of deep architectures. Our methods can work on a diverse set of datasets and are general in the sense that they can solve a larger class of problems than the existing methods.