Der 3. Veranstaltung SHApe Recovery from Partial textured 3D scans (SHARP)

Die Gewinner erhalten insgesamt 8.000 € in Form von Geldpreisen, die von Artec 3D gesponsert werden.
Der 3. Veranstaltung SHApe Recovery from Partial textured 3D scans (SHARP) wird als Workshop and Challenge zusammen mit der CVPR am 19. Juni 2022 stattfinden. Die Forschung auf dem Gebiet der datengesteuerten 3D-Rekonstruktion von Formen zeigte in den letzten Jahren dank der Verfügbarkeit großer Datensätze von 3D-Modellen sehr aktiv. Allerdings haben sich die aktuellen Methoden nicht ausreichend auf zwei wichtige Aspekte konzentriert: (1) die gleichzeitige Rekonstruktion vollständiger 3D-Objekte mit Form und Textur, (2) die Rekonstruktion scharfer Kanten, die beim 3D-Scannen tendenziell geglättet werden.
Ziel dieses Workshops ist es, die Entwicklung von Methoden zur Wiederherstellung eines vollständigen 3D-Scans aus einer Teilerfassung zu fördern. Dies wiederum soll die Entwicklung von 3D-Modellierungs- und Verarbeitungstechniken, die sowohl die Geometrie als auch die Textur nutzen, antreiben.
Im Rahmen dieses Workshops können Beiträge eingereicht und an einem Wettbewerb teilgenommen werden:
Die Teilnehmer sind eingeladen, neue Beiträge zur datengesteuerten Verarbeitung von Formen und Texturen einzureichen. Eine genaue Beschreibung zur Einreichung von Beiträgen mit Angabe der gewünschten Themen finden Sie unten.
Der Wettbewerb konzentriert sich auf die Rekonstruktion vollständiger hochauflösender 3D-Polygonnetze aus partiellen oder verrauschten 3D-Scans und umfasst 2 Herausforderungen und 3 Datensätze:
- Die erste Herausforderung besteht in der Wiederherstellung von texturierten 3D-Scans aus Teilerfassungen. Sie umfasst 2 Teile:
- Teil 1: Wiederherstellung von texturierten menschlichen Körperscans aus Teilaufnahmen. Der in diesem Bereich verwendete Datensatz heißt 3DBodyTex.v2 und enthält 2500 texturierte 3D-Scans. Er ist eine erweiterte Version des ursprünglichen Datensatzes 3DBodyTex.v1, der erstmals im Jahr 2018 auf der Veranstaltung 2018 International Conference on 3D Computer Vision, 3DV 2018, veröffentlicht wurde.
- Teil 2: Wiederherstellung von texturierten Objekt-Scans aus Teilerfassungen. Dabei geht es um die Wiederherstellung von Scans generischer Objekte aus dem Datensatz 3DObjTex.v1, der wiederum eine Teilmenge aus dem Repositorium für 3D-Scans ViewShape ist. Dieser Datensatz enthält über 2000 verschiedene generische Objekte mit unterschiedlichen Komplexitätsgraden in Bezug auf Textur und Geometrie.
- Die zweite Herausforderung konzentriert sich auf die Wiederherstellung feiner Objektdetails in Form von scharfen Kanten aus spärlichen verrauschten Scans mit glatten Kanten. Zu diesem Zweck wird der Datensatz CC3D-PSE verwendet, eine neue Version des CC3D-Datensatzes, der auf der IEEE International Conference on Image Processing (ICIP) 2020 vorgestellt wurde. Er enthält über 50.000 Paare von CAD-Modellen und den dazugehörigen 3D-Scans. Jedes Paar aus Scan und CAD-Modell ist mit parametrischen scharfen Kanten versehen. Bei einem 3D-Scan mit glatten Kanten besteht das Ziel darin, das entsprechende CAD-Modell als Polygonnetz zu rekonstruieren, wobei die scharfen Kanten annähernd den echten scharfen Kanten entsprechen. Die zweite Aufgabe besteht aus 2 Teilen:
- Teil 1: Wiederherstellung von linearen scharfen Kanten. In diesem Teil wird eine Teilmenge des Datensatzes CC3D-PSE, die nur lineare scharfe Kanten enthält, betrachtet.
- Teil 2: Wiederherstellung von scharfen Kanten als lineare, kreisförmige und Spline-Segmente. In diesem Teil wird das gesamte CC3D-PSE verwendet.
Dies ist bereits die dritte Ausgabe von SHARP – nach zwei erfolgreichen Veranstaltungen zusammen mit der CVPR 2021 und der ECCV 2020.
Sponsor
Aufruf zur Teilnahme
(Herausforderungen)
Herausforderung
Vervollständigung texturierter Teilscans
Die Aufgabe dieser Herausforderung besteht darin, ein vollständiges texturiertes 3D-Netz aus einem partiellen 3D-Scan genau zu rekonstruieren. Die Herausforderung umfasst 2 Teile:
Teil 1: Körperformen
Teil 2: Objekt-Scans
Herausforderung
Wiederherstellung scharfer Kanten
Bei einem 3D-Objektscan mit glatten Kanten besteht das Ziel dieser Aufgabe darin, das entsprechende CAD-Modell als Polygonnetz mit scharfen Kanten, das sich den scharfen Kanten der Grunddaten annähert, zu rekonstruieren.
Teil 1: Scharfe Linien
Teil 2: Scharfe Kanten (Kreise, Spline, Linien)
Aufruf zur Einreichung von Artikeln
(Einreichung von Artikeln)
Das Hauptaugenmerk von SHARP liegt auf der Förderung von Beiträgen zur hochauflösenden 3D-Form- und Texturwiederherstellung aus Teildaten, insbesondere als Begleitdokumentationen zu den Wettbewerbsbeiträgen. Darüber hinaus sind alle Themen von Interesse, die sich auf das Ziel der datengesteuerten Form- und Texturverarbeitung beziehen und dieses vorantreiben können. Dazu gehören Originalbeiträge auf verschiedenen Ebenen der Datenverarbeitung, für verschiedene industrielle Anwendungen, sowie Vorschläge für neue Bewertungsmetriken und relevante Originaldatensätze. Themen von Interesse sind unter anderem:
- Texturierte 3D-Darstellung und Auswertung
- Extraktion texturierter 3D-Scan-Merkmale
- Generative Modellierung von texturierten 3D-Scans
- Lernbasierte 3D-Rekonstruktion
- Gemeinsame Anpassung von Textur und Form
- Gemeinsame Vervollständigung von Textur und Form
- Semantische 3D-Datenrekonstruktion
- Effektive 3D- und 2D-Datenfusion
- Veredelung von texturierten 3D-Daten
- Erkennung und Verfeinerung von 3D-Merkmalskanten
- Hochrangige Darstellungen von 3D-Daten
- CAD-Modellierung aus unstrukturierten 3D-Daten
Sämtliche angenommenen Beiträge werden in den Tagungsband der CVPR 2022 aufgenommen. Die Beiträge werden einer Peer-Review unterzogen und müssen Stil und Format des Tagungsbandes der CVPR 2022 entsprechen. Weitere Einzelheiten zu den Einreichungsformaten finden Sie auf der Einreichungsseite.
Zeitleiste
Organisatoren
Vervollständigung texturierter Teilscans
Herausforderung 1
Die Aufgabe dieser Herausforderung besteht darin, ein vollständiges texturiertes 3D-Netz aus einem partiellen 3D-Scan genau zu rekonstruieren. Die Herausforderung umfasst 2 Teile:
Teil 1

Teil 2

Die Trainingsdaten bestehen aus Paaren (X, Y) von Teil- bzw. Vollscans. Das Ziel ist es, Y aus X wiederherzustellen. Als Teil der Herausforderung stellen wir Routinen zur Verfügung, um aus den gegebenen vollständigen Scans Y partielle Scans X zu generieren. Es steht den Teilnehmern jedoch frei, ihre eigene Methode zur Generierung partieller Daten zu entwickeln, entweder als Ergänzung oder als vollständige Alternative.
- Jedes benutzerdefinierte Verfahren sollte bei Einreichung mit einer Beschreibung und Implementierung angegeben werden.
- Es wird eine Qualitätskontrolle durchgeführt, um ein angemessenes Maß an Mängeln zu gewährleisten.
- Die Teilscans werden synthetisch erzeugt.
- Aus Gründen des Datenschutzes werden alle Polygonnetze anonymisiert, indem die Form und Textur der Gesichter verwischt wird, ähnlich wie bei den 3DBodyTex-Daten.
- Bei der Auswertung werden Gesicht und Hände ignoriert, da die Form aus Rohscans weniger zuverlässig ist.
Neu: Zusätzlich zu den in den vorherigen Ausgaben (SHARP 2020 und SHARP 2021) zur Verfügung gestellten Routinen für die Erzeugung von Teildaten wurden für diese Ausgabe realistischere Routinen eingerichtet. Beispiele für Teilscans von Teil 1 und Teil 2 finden Sie unten.
Wiederherstellung scharfer Kanten
Herausforderung 2
Bei einem 3D-Objektscan mit glatten Kanten besteht das Ziel dieser Aufgabe darin, das entsprechende CAD-Modell als Polygonnetz mit scharfen Kanten, das sich den scharfen Kanten der Grunddaten annähert, zu rekonstruieren.
Neu: Mit dieser Herausforderung wird der Datensatz CC3D-PSE, der eine neue Version des in SHARP 2021 verwendeten CC3D-Datensatzes ist, eingeführt. CC3D-PSE besteht aus:
- Über 50.000 Paaren von Scans und CAD-Modellen als Polygonnetze
- Zuordnungen von scharfen Kanten als parametrische Kurven mit linearen, kreisförmigen und Spline-Segmenten
Teil 1

Teil 2
Wiederherstellung von scharfen Kanten als lineare, kreisförmige und Spline-Segmente. In diesem Track wird der gesamte Datensatz CC3D-PSE verwendet.

Reichen Sie Ihre Lösung für die Herausforderung ein
Folgt bald...
Programme
SHARP will be held on 19 June 2022.
The workshop will follow a hybrid format.
Essential inspection | |
---|---|
Opening | 13:30 – 13:35 |
Presentation of SHARP Challenges | 13:35 – 13:50 |
Plenary Talk – Prof. Angela Dai | 13:50 – 14:40 |
Coffee Break | 14:40 – 14:55 |
Finalists 1: Points2ISTF – Implicit Shape and Texture Field from Partial Point Clouds – Jianchuan Chen | 14:55 – 15:15 |
Finalists 2: 3D Textured Shape Recovery with Learned Geometric Priors – Lei Li | 15:15 – 15:35 |
Finalists 3: Parametric Sharp Edges from 3D Scans – Anis Kacem | 15:15 – 15:35 |
Plenary Talk – Prof. Tolga Birdal | 15:55 – 16:45 |
Announcement of Results | 16:45 – 16:55 |
Analysis of Results | 16:55 – 17:10 |
Panel Discussion | 17:10 – 17:30 |
Closing Remarks | 17:30 – 17:35 |
Prof. Angela Dai
Technical University of Munich

Prof. Tolga Birdal
Imperial College London

Bio: Angela Dai is an Assistant Professor at the Technical University of Munich where she leads the 3D AI group. Prof. Dai’s research focuses on understanding how the 3D world around us can be modeled and semantically understood. Previously, she received her PhD in computer science from Stanford in 2018 and her BSE in computer science from Princeton in 2013. Her research has been recognized through a Eurographics Young Researcher Award, ZDB Junior Research Group Award, an ACM SIGGRAPH Outstanding Doctoral Dissertation Honorable Mention, as well as a Stanford Graduate Fellowship.
Bio: Tolga Birdal is an assistant professor in the Department of Computing of Imperial College London. Previously, he was a senior Postdoctoral Research Fellow at Stanford University within the Geometric Computing Group of Prof. Leonidas Guibas. Tolga has defended his masters and Ph.D. theses at the Computer Vision Group under Chair for Computer Aided Medical Procedures, Technical University of Munich led by Prof. Nassir Navab. He was also a Doktorand at Siemens AG under supervision of Dr. Slobodan Ilic working on “Geometric Methods for 3D Reconstruction from Large Point Clouds”. His current foci of interest involve geometric machine learning and 3D computer vision. More theoretical work is aimed at investigating and interrogating limits in geometric computing and non-Euclidean inference as well as principles of deep learning. Tolga has several publications at the well-respected venues such as NeurIPS, CVPR, ICCV, ECCV, T-PAMI, ICRA, IROS, ICASSP and 3DV. Aside from his academic life, Tolga has co-founded multiple companies including Befunky, a widely used web-based image editing platform.
Towards Commodity 3D Content Creation
With the increasing availability of high quality imaging and even depth imaging now available as commodity sensors, comes the potential to democratize 3D content creation. State-of-the-art reconstruction results from commodity RGB and RGB-D sensors have achieved impressive tracking, but reconstructions remain far from usable in practical applications such as mixed reality or content creation, since they do not match the high quality of artist-modeled 3D graphics content: models remain incomplete, unsegmented, and with low-quality texturing. In this talk, we will address these challenges: I will present a self-supervised approach to learn effective geometric priors from limited real-world 3D data, then discuss object-level understanding from a single image, followed by realistic 3D texturing from real-world image observations. This will help to enable a closer step towards commodity 3D content creation.
Talks Rigid & Non-Rigid Multi-Way Point Cloud Matching via Late Fusion
Correspondences fuel a variety of applications from texture-transfer to structure from motion. However, simultaneous registration or alignment of multiple, rigid, articulated or non-rigid partial point clouds is a notoriously difficult challenge in 3D computer vision. With the advances in 3D sensing, solving this problem becomes even more crucial than ever as the observations for visual perception hardly ever come as a single image or scan. In this talk, I will present an unfinished quest in pursuit of generalizable, robust, scalable and flexible methods, designed to solve this problem. The talk is composed of two sections diving into (i) MultiBodySync, specialized in multi-body & articulated generalizable 3D motion segmentation as well as estimation, and (ii) SyNoRim, aiming at jointly matching multiple non-rigid shapes by relating learned functions defined on the point clouds. Both of these methods utilize a family of recently matured graph optimization techniques called synchronization as differentiable modules to ensure multi-scan / multi-view consistency in the late stages of deep architectures. Our methods can work on a diverse set of datasets and are general in the sense that they can solve a larger class of problems than the existing methods.