Il terzo workshop e sfida SHApe Recovery from Partial textured 3D scans (SHARP)

Organizzatori

Verranno assegnati 8.000 € complessivi di premi in denaro ai vincitori sponsorizzati da Artec 3D.

Questo workshop ospiterà un percorso di presentazione di paper e un concorso:

Il percorso di presentazione di paper incoraggia i partecipanti a presentare nuovi contributi sull'elaborazione di forme e texture basata sui dati. Di seguito è riportato un invito a presentare articoli che specifichino gli argomenti di interesse.  

Il concorso si concentra sulla ricostruzione di mesh 3D complete ad alta risoluzione partendo da scansioni 3D parziali o rumorose e include 2 sfide e 3 set di dati: 

  • La prima sfida consiste nel recupero di scansioni 3D testurizzate partendo da acquisizioni parziali. Comprende 2 tracce: 
    • Traccia 1: Recupero di scansioni strutturate del corpo umano partendo da acquisizioni parziali. Il set di dati utilizzato in questo ambito è il set di dati 3DBodyTex.v2, contenente 2500 scansioni 3D con texture. È una versione estesa del set di dati 3DBodyTex.v1 originale, pubblicato per la prima volta nella Conferenza internazionale 2018 sulla visione artificiale 3D, 3DV 2018.
    • Traccia 2: Recupero di scansioni di oggetti con texture da acquisizioni parziali. Implica il ripristino di scansioni di oggetti generici da set di dati 3DObjTex.v1, che è un sottoinsieme del repository online di ViewShape di scansioni 3D. Questo set di dati contiene oltre 2000 vari oggetti generici con diversi livelli di complessità nella texture e nella geometria.
  • La seconda sfida si concentra sul recupero di dettagli di oggetti fini sotto forma di spigoli vivi partendo da scansioni rumorose con bordi lisci. A questo scopo verrà utilizzato il set di dati CC3D-PSE, una nuova versione del set di dati CC3D, introdotto alla Conferenza internazionale IEEE 2020 sull'elaborazione delle immagini (ICIP). Contiene oltre 50.000 coppie di modelli CAD e le corrispondenti scansioni 3D. Ogni coppia di scansioni e modelli CAD è annotata con spigoli vivi parametrici. Data una scansione 3D con bordi smussati, l'obiettivo è ricostruire il modello CAD corrispondente come una mesh triangolare, con spigoli vivi che si avvicinano agli spigoli vivi della realtà. La seconda sfida prevede 2 tracce: 
    • Traccia 1: Recupero di spigoli vivi lineari. In questa traccia viene considerato un sottoinsieme del dataset CC3D-PSE che include solo spigoli vivi lineari.
    • Traccia 2:  Recupero di spigoli vivi come segmenti lineari, circolari e spline. L'intero CC3D-PSE verrà utilizzato in questa traccia.

Questa è la terza edizione di SHARP, dopo due edizioni di successo in concomitanza con CVPR 2021 ed ECCV 2020.

Sponsor

Bandi di partecipazione
(Sfide)

Sfida
Completamento di scansione parziale strutturata

Il compito di questa sfida è ricostruire accuratamente una mesh strutturata 3D completa partendo da una scansione 3D parziale. Comprende 2 tracce:

Traccia 1: Forme del corpo
Traccia 2: Scansioni di oggetti

Sfida
Recupero Bordi Sottili

Dato un oggetto 3D con bordi smussati, l'obiettivo di questa sfida è ricostruire il modello CAD corrispondente come una mesh triangolare, con spigoli vivi che si avvicinano agli spigoli vivi della realtà.

Traccia 1: Linee sottili
Traccia 2: Spigoli vivi (cerchi, spline, linee)

Bandi per i documenti
(Traccia presentazione dei paper)

  • Rappresentazione e valutazione dei dati 3D testurizzati
  • Estrazione della funzione di scansione 3D testurizzata
  • Modellazione generativa di scansioni 3D testurizzate
  • Ricostruzione 3D basata sull'apprendimento
  • Corrispondenza di texture e forma insieme
  • Completamento di texture e forma insieme
  • Ricostruzione di dati semantici 3D
  • Efficace fusione di dati 3D e 2D
  • Perfezionamento dei dati 3D strutturati
  • Rilevamento e perfezionamento dei bordi delle funzioni 3D
  • Rappresentazioni ad alto livello di dati 3D
  • Modellazione CAD partendo da dati 3D non strutturati

Tutti i documenti accettati saranno inclusi negli atti della conferenza CVPR 2022. I documenti saranno sottoposti a revisione paritaria e dovranno essere conformi allo stile e al formato degli atti CVPR 2022.Maggiori dettagli sui formati di invio possono essere trovati nella pagina di invio.

Tempistiche

Organizzatori

Completamento di scansione parziale strutturata

Sfida 1

Traccia 1

Recupero di scansioni strutturate del corpo umano partendo da acquisizioni parziali. Il set di dati utilizzato in questo ambito è il set di dati 3DBodyTex.v2, contenente 2500 scansioni 3D con texture.È una versione estesa del set di dati 3DBodyTex.v1 originale, pubblicato per la prima volta nella Conferenza internazionale 2018 sulla visione artificiale 3D, 3DV 2018.

Traccia 2

Recupero di scansioni di oggetti con texture partendo da acquisizioni parziali. Implica il ripristino di scansioni di oggetti generici da set di dati 3DObjTex.v1, che è un sottoinsieme del repository online di ViewShape di scansioni 3D. Questo set di dati contiene oltre 2000 vari oggetti generici con diversi livelli di complessità nella texture e nella geometria.
  • Qualsiasi procedura personalizzata deve essere segnalata con una descrizione e implementazione tra quanto consegnato.
  • Viene eseguito un controllo di qualità per sfidantire un livello ragionevole di difetti.
  • Le scansioni parziali vengono generate sinteticamente.
  • Per motivi di privacy, tutte le mesh vengono rese anonime sfocando la forma e la texture dei volti, in modo simile ai dati 3DBodyTex.
  • Durante la valutazione, il viso e le mani vengono ignorati perché la forma delle scansioni grezze è meno affidabile.

Novità: oltre alle routine per la generazione parziale di dati fornite nelle precedenti edizioni (SHARP 2020 e SHARP 2021), per questa edizione sono state messe in atto routine di generazione parziale di dati più realistiche. Di seguito sono riportati esempi di scansioni parziali dalla traccia 1 e dalla traccia 2.

Recupero Bordi Sottili

Sfida 2

Novità: questa sfida introduce il set di dati CC3D-PSE, una nuova versione del set di dati CC3D utilizzato in SHARP 2021. CC3D-PSE è composto da:

  • +50.000 coppie di scansioni e modelli CAD come mesh triangolari
  • Annotazioni di spigoli vivi fornite come curve parametriche, inclusi segmenti lineari, circolari e spline

Traccia 1

Recupero di spigoli vivi lineari. In questa traccia viene considerato un sottoinsieme del dataset CC3D-PSE che include solo spigoli vivi lineari.

Traccia 2

Recupero di spigoli vivi come segmenti lineari, circolari e spline. L'intero CC3D-PSE verrà utilizzato in questa traccia.

Invia la tua soluzione alla sfida

In arrivo...

Programme

SHARP will be held on 19 June 2022.
The workshop will follow a hybrid format.

b4-table-white b4-table-first-col b4-table-specifications b4-table-header-colspan
Essential inspection
Opening13:30 – 13:35
Presentation of SHARP Challenges13:35 – 13:50
Plenary Talk – Prof. Angela Dai13:50 – 14:40
Coffee Break14:40 – 14:55
Finalists 1: Points2ISTF – Implicit Shape and Texture Field from Partial Point Clouds – Jianchuan Chen14:55 – 15:15
Finalists 2: 3D Textured Shape Recovery with Learned Geometric Priors – Lei Li15:15 – 15:35
Finalists 3: Parametric Sharp Edges from 3D Scans – Anis Kacem15:15 – 15:35
Plenary Talk – Prof. Tolga Birdal15:55 – 16:45
Announcement of Results16:45 – 16:55
Analysis of Results16:55 – 17:10
Panel Discussion17:10 – 17:30
Closing Remarks17:30 – 17:35
Invited Speakers

Prof. Angela Dai

Technical University of Munich

Prof. Angela Dai
Invited Speakers

Prof. Tolga Birdal

Imperial College London

Bio: Angela Dai is an Assistant Professor at the Technical University of Munich where she leads the 3D AI group. Prof. Dai’s research focuses on understanding how the 3D world around us can be modeled and semantically understood. Previously, she received her PhD in computer science from Stanford in 2018 and her BSE in computer science from Princeton in 2013. Her research has been recognized through a Eurographics Young Researcher Award, ZDB Junior Research Group Award, an ACM SIGGRAPH Outstanding Doctoral Dissertation Honorable Mention, as well as a Stanford Graduate Fellowship.

Bio: Tolga Birdal is an assistant professor in the Department of Computing of Imperial College London. Previously, he was a senior Postdoctoral Research Fellow at Stanford University within the Geometric Computing Group of Prof. Leonidas Guibas. Tolga has defended his masters and Ph.D. theses at the Computer Vision Group under Chair for Computer Aided Medical Procedures, Technical University of Munich led by Prof. Nassir Navab. He was also a Doktorand at Siemens AG under supervision of Dr. Slobodan Ilic working on “Geometric Methods for 3D Reconstruction from Large Point Clouds”. His current foci of interest involve geometric machine learning and 3D computer vision. More theoretical work is aimed at investigating and interrogating limits in geometric computing and non-Euclidean inference as well as principles of deep learning. Tolga has several publications at the well-respected venues such as NeurIPS, CVPR, ICCV, ECCV, T-PAMI, ICRA, IROS, ICASSP and 3DV. Aside from his academic life, Tolga has co-founded multiple companies including Befunky, a widely used web-based image editing platform.

Plenary Talks

Towards Commodity 3D Content Creation

With the increasing availability of high quality imaging and even depth imaging now available as commodity sensors, comes the potential to democratize 3D content creation. State-of-the-art reconstruction results from commodity RGB and RGB-D sensors have achieved impressive tracking, but reconstructions remain far from usable in practical applications such as mixed reality or content creation, since they do not match the high quality of artist-modeled 3D graphics content: models remain incomplete, unsegmented, and with low-quality texturing. In this talk, we will address these challenges: I will present a self-supervised approach to learn effective geometric priors from limited real-world 3D data, then discuss object-level understanding from a single image, followed by realistic 3D texturing from real-world image observations. This will help to enable a closer step towards commodity 3D content creation.

Plenary

Talks Rigid & Non-Rigid Multi-Way Point Cloud Matching via Late Fusion

Correspondences fuel a variety of applications from texture-transfer to structure from motion. However, simultaneous registration or alignment of multiple, rigid, articulated or non-rigid partial point clouds is a notoriously difficult challenge in 3D computer vision. With the advances in 3D sensing, solving this problem becomes even more crucial than ever as the observations for visual perception hardly ever come as a single image or scan. In this talk, I will present an unfinished quest in pursuit of generalizable, robust, scalable and flexible methods, designed to solve this problem. The talk is composed of two sections diving into (i) MultiBodySync, specialized in multi-body & articulated generalizable 3D motion segmentation as well as estimation, and (ii) SyNoRim, aiming at jointly matching multiple non-rigid shapes by relating learned functions defined on the point clouds. Both of these methods utilize a family of recently matured graph optimization techniques called synchronization as differentiable modules to ensure multi-scan / multi-view consistency in the late stages of deep architectures. Our methods can work on a diverse set of datasets and are general in the sense that they can solve a larger class of problems than the existing methods.