Il terzo workshop e sfida SHApe Recovery from Partial textured 3D scans (SHARP)

Verranno assegnati 8.000 € complessivi di premi in denaro ai vincitori sponsorizzati da Artec 3D.
Il 19 giugno 2022 si terrà il terzo workshop e sfida SHApe Recovery from Partial textured 3D scans (SHARP) in concomitanza con CVPR. La ricerca sulla ricostruzione 3D di forme basata sui dati è stata molto attiva negli ultimi anni grazie alla disponibilità di grandi set di dati di modelli 3D. Tuttavia, i metodi attuali non si sono concentrati abbastanza su due aspetti importanti: (1) la ricostruzione di oggetti 3D completi con allo stesso tempo forma e texture, (2) ricostruzione di spigoli vivi che tendono a essere levigati dalla scansione 3D.
L'obiettivo di questo workshop è promuovere lo sviluppo di metodi per recuperare una scansione 3D completa dalla sua acquisizione parziale. Ciò dovrebbe a sua volta favorire lo sviluppo di tecniche di modellazione e elaborazione 3D che sfruttino sia la geometria che la texture.
Questo workshop ospiterà un percorso di presentazione di paper e un concorso:
Il percorso di presentazione di paper incoraggia i partecipanti a presentare nuovi contributi sull'elaborazione di forme e texture basata sui dati. Di seguito è riportato un invito a presentare articoli che specifichino gli argomenti di interesse.
Il concorso si concentra sulla ricostruzione di mesh 3D complete ad alta risoluzione partendo da scansioni 3D parziali o rumorose e include 2 sfide e 3 set di dati:
- La prima sfida consiste nel recupero di scansioni 3D testurizzate partendo da acquisizioni parziali. Comprende 2 tracce:
- Traccia 1: Recupero di scansioni strutturate del corpo umano partendo da acquisizioni parziali. Il set di dati utilizzato in questo ambito è il set di dati 3DBodyTex.v2, contenente 2500 scansioni 3D con texture. È una versione estesa del set di dati 3DBodyTex.v1 originale, pubblicato per la prima volta nella Conferenza internazionale 2018 sulla visione artificiale 3D, 3DV 2018.
- Traccia 2: Recupero di scansioni di oggetti con texture da acquisizioni parziali. Implica il ripristino di scansioni di oggetti generici da set di dati 3DObjTex.v1, che è un sottoinsieme del repository online di ViewShape di scansioni 3D. Questo set di dati contiene oltre 2000 vari oggetti generici con diversi livelli di complessità nella texture e nella geometria.
- La seconda sfida si concentra sul recupero di dettagli di oggetti fini sotto forma di spigoli vivi partendo da scansioni rumorose con bordi lisci. A questo scopo verrà utilizzato il set di dati CC3D-PSE, una nuova versione del set di dati CC3D, introdotto alla Conferenza internazionale IEEE 2020 sull'elaborazione delle immagini (ICIP). Contiene oltre 50.000 coppie di modelli CAD e le corrispondenti scansioni 3D. Ogni coppia di scansioni e modelli CAD è annotata con spigoli vivi parametrici. Data una scansione 3D con bordi smussati, l'obiettivo è ricostruire il modello CAD corrispondente come una mesh triangolare, con spigoli vivi che si avvicinano agli spigoli vivi della realtà. La seconda sfida prevede 2 tracce:
- Traccia 1: Recupero di spigoli vivi lineari. In questa traccia viene considerato un sottoinsieme del dataset CC3D-PSE che include solo spigoli vivi lineari.
- Traccia 2: Recupero di spigoli vivi come segmenti lineari, circolari e spline. L'intero CC3D-PSE verrà utilizzato in questa traccia.
Questa è la terza edizione di SHARP, dopo due edizioni di successo in concomitanza con CVPR 2021 ed ECCV 2020.
Sponsor
Bandi di partecipazione
(Sfide)
Sfida
Completamento di scansione parziale strutturata
Il compito di questa sfida è ricostruire accuratamente una mesh strutturata 3D completa partendo da una scansione 3D parziale. Comprende 2 tracce:
Traccia 1: Forme del corpo
Traccia 2: Scansioni di oggetti
Sfida
Recupero Bordi Sottili
Dato un oggetto 3D con bordi smussati, l'obiettivo di questa sfida è ricostruire il modello CAD corrispondente come una mesh triangolare, con spigoli vivi che si avvicinano agli spigoli vivi della realtà.
Traccia 1: Linee sottili
Traccia 2: Spigoli vivi (cerchi, spline, linee)
Bandi per i documenti
(Traccia presentazione dei paper)
L'obiettivo principale di SHARP è incoraggiare l'invio di paper sul recupero di forme 3D e texture ad alta risoluzione da dati parziali, in particolare come paper di accompagnamento alle sfide. Inoltre ci sarà interesse per tutti gli argomenti che riguardano e servono l'obiettivo dell'elaborazione di forme e texture basata sui dati. Ciò include contributi originali a diversi livelli di elaborazione dei dati; per diverse applicazioni industriali, nonché proposte per nuove metriche di valutazione e set di dati originali pertinenti. Gli argomenti di interesse includono, ma non si limitano a:
- Rappresentazione e valutazione dei dati 3D testurizzati
- Estrazione della funzione di scansione 3D testurizzata
- Modellazione generativa di scansioni 3D testurizzate
- Ricostruzione 3D basata sull'apprendimento
- Corrispondenza di texture e forma insieme
- Completamento di texture e forma insieme
- Ricostruzione di dati semantici 3D
- Efficace fusione di dati 3D e 2D
- Perfezionamento dei dati 3D strutturati
- Rilevamento e perfezionamento dei bordi delle funzioni 3D
- Rappresentazioni ad alto livello di dati 3D
- Modellazione CAD partendo da dati 3D non strutturati
Tutti i documenti accettati saranno inclusi negli atti della conferenza CVPR 2022. I documenti saranno sottoposti a revisione paritaria e dovranno essere conformi allo stile e al formato degli atti CVPR 2022.Maggiori dettagli sui formati di invio possono essere trovati nella pagina di invio.
Tempistiche
Organizzatori
Completamento di scansione parziale strutturata
Sfida 1
Il compito di questa sfida è ricostruire accuratamente una mesh strutturata 3D completa partendo da una scansione 3D parziale. Comprende 2 tracce:
Traccia 1

Traccia 2

I dati di addestramento sono costituiti rispettivamente da coppie (X, Y), di scansioni parziali e complete. L'obiettivo è recuperare Y da X. Come parte della sfida, condividiamo le routine per generare scansioni parziali X dalle scansioni complete fornite Y. Tuttavia i partecipanti sono liberi di escogitare il proprio modo di generare dati parziali, come miglioramenti o un'alternativa completamente diversa.
- Qualsiasi procedura personalizzata deve essere segnalata con una descrizione e implementazione tra quanto consegnato.
- Viene eseguito un controllo di qualità per sfidantire un livello ragionevole di difetti.
- Le scansioni parziali vengono generate sinteticamente.
- Per motivi di privacy, tutte le mesh vengono rese anonime sfocando la forma e la texture dei volti, in modo simile ai dati 3DBodyTex.
- Durante la valutazione, il viso e le mani vengono ignorati perché la forma delle scansioni grezze è meno affidabile.
Novità: oltre alle routine per la generazione parziale di dati fornite nelle precedenti edizioni (SHARP 2020 e SHARP 2021), per questa edizione sono state messe in atto routine di generazione parziale di dati più realistiche. Di seguito sono riportati esempi di scansioni parziali dalla traccia 1 e dalla traccia 2.
Recupero Bordi Sottili
Sfida 2
Dato un oggetto 3D con bordi smussati, l'obiettivo di questa sfida è ricostruire il modello CAD corrispondente come una mesh triangolare, con spigoli vivi che si avvicinano agli spigoli vivi della realtà.
Novità: questa sfida introduce il set di dati CC3D-PSE, una nuova versione del set di dati CC3D utilizzato in SHARP 2021. CC3D-PSE è composto da:
- +50.000 coppie di scansioni e modelli CAD come mesh triangolari
- Annotazioni di spigoli vivi fornite come curve parametriche, inclusi segmenti lineari, circolari e spline
Traccia 1
Recupero di spigoli vivi lineari. In questa traccia viene considerato un sottoinsieme del dataset CC3D-PSE che include solo spigoli vivi lineari.

Traccia 2
Recupero di spigoli vivi come segmenti lineari, circolari e spline. L'intero CC3D-PSE verrà utilizzato in questa traccia.

Invia la tua soluzione alla sfida
Programme
SHARP will be held on 19 June 2022.
The workshop will follow a hybrid format.
Essential inspection | |
---|---|
Opening | 13:30 – 13:35 |
Presentation of SHARP Challenges | 13:35 – 13:50 |
Plenary Talk – Prof. Angela Dai | 13:50 – 14:40 |
Coffee Break | 14:40 – 14:55 |
Finalists 1: Points2ISTF – Implicit Shape and Texture Field from Partial Point Clouds – Jianchuan Chen | 14:55 – 15:15 |
Finalists 2: 3D Textured Shape Recovery with Learned Geometric Priors – Lei Li | 15:15 – 15:35 |
Finalists 3: Parametric Sharp Edges from 3D Scans – Anis Kacem | 15:15 – 15:35 |
Plenary Talk – Prof. Tolga Birdal | 15:55 – 16:45 |
Announcement of Results | 16:45 – 16:55 |
Analysis of Results | 16:55 – 17:10 |
Panel Discussion | 17:10 – 17:30 |
Closing Remarks | 17:30 – 17:35 |
Prof. Angela Dai
Technical University of Munich

Prof. Tolga Birdal
Imperial College London

Bio: Angela Dai is an Assistant Professor at the Technical University of Munich where she leads the 3D AI group. Prof. Dai’s research focuses on understanding how the 3D world around us can be modeled and semantically understood. Previously, she received her PhD in computer science from Stanford in 2018 and her BSE in computer science from Princeton in 2013. Her research has been recognized through a Eurographics Young Researcher Award, ZDB Junior Research Group Award, an ACM SIGGRAPH Outstanding Doctoral Dissertation Honorable Mention, as well as a Stanford Graduate Fellowship.
Bio: Tolga Birdal is an assistant professor in the Department of Computing of Imperial College London. Previously, he was a senior Postdoctoral Research Fellow at Stanford University within the Geometric Computing Group of Prof. Leonidas Guibas. Tolga has defended his masters and Ph.D. theses at the Computer Vision Group under Chair for Computer Aided Medical Procedures, Technical University of Munich led by Prof. Nassir Navab. He was also a Doktorand at Siemens AG under supervision of Dr. Slobodan Ilic working on “Geometric Methods for 3D Reconstruction from Large Point Clouds”. His current foci of interest involve geometric machine learning and 3D computer vision. More theoretical work is aimed at investigating and interrogating limits in geometric computing and non-Euclidean inference as well as principles of deep learning. Tolga has several publications at the well-respected venues such as NeurIPS, CVPR, ICCV, ECCV, T-PAMI, ICRA, IROS, ICASSP and 3DV. Aside from his academic life, Tolga has co-founded multiple companies including Befunky, a widely used web-based image editing platform.
Towards Commodity 3D Content Creation
With the increasing availability of high quality imaging and even depth imaging now available as commodity sensors, comes the potential to democratize 3D content creation. State-of-the-art reconstruction results from commodity RGB and RGB-D sensors have achieved impressive tracking, but reconstructions remain far from usable in practical applications such as mixed reality or content creation, since they do not match the high quality of artist-modeled 3D graphics content: models remain incomplete, unsegmented, and with low-quality texturing. In this talk, we will address these challenges: I will present a self-supervised approach to learn effective geometric priors from limited real-world 3D data, then discuss object-level understanding from a single image, followed by realistic 3D texturing from real-world image observations. This will help to enable a closer step towards commodity 3D content creation.
Talks Rigid & Non-Rigid Multi-Way Point Cloud Matching via Late Fusion
Correspondences fuel a variety of applications from texture-transfer to structure from motion. However, simultaneous registration or alignment of multiple, rigid, articulated or non-rigid partial point clouds is a notoriously difficult challenge in 3D computer vision. With the advances in 3D sensing, solving this problem becomes even more crucial than ever as the observations for visual perception hardly ever come as a single image or scan. In this talk, I will present an unfinished quest in pursuit of generalizable, robust, scalable and flexible methods, designed to solve this problem. The talk is composed of two sections diving into (i) MultiBodySync, specialized in multi-body & articulated generalizable 3D motion segmentation as well as estimation, and (ii) SyNoRim, aiming at jointly matching multiple non-rigid shapes by relating learned functions defined on the point clouds. Both of these methods utilize a family of recently matured graph optimization techniques called synchronization as differentiable modules to ensure multi-scan / multi-view consistency in the late stages of deep architectures. Our methods can work on a diverse set of datasets and are general in the sense that they can solve a larger class of problems than the existing methods.