Der 3. Veranstaltung SHApe Recovery from Partial textured 3D scans (SHARP)

Sharp 2022

Organisatoren

Die Gewinner erhalten insgesamt 8.000 € in Form von Geldpreisen, die von Artec 3D gesponsert werden.

Im Rahmen dieses Workshops können Beiträge eingereicht und an einem Wettbewerb teilgenommen werden:

Die Teilnehmer sind eingeladen, neue Beiträge zur datengesteuerten Verarbeitung von Formen und Texturen einzureichen. Eine genaue Beschreibung zur Einreichung von Beiträgen mit Angabe der gewünschten Themen finden Sie unten.  

Der Wettbewerb konzentriert sich auf die Rekonstruktion vollständiger hochauflösender 3D-Polygonnetze aus partiellen oder verrauschten 3D-Scans und umfasst 2 Herausforderungen und 3 Datensätze: 

  • Die erste Herausforderung besteht in der Wiederherstellung von texturierten 3D-Scans aus Teilerfassungen. Sie umfasst 2 Teile: 
    • Teil 1: Wiederherstellung von texturierten menschlichen Körperscans aus Teilaufnahmen. Der in diesem Bereich verwendete Datensatz heißt 3DBodyTex.v2 und enthält 2500 texturierte 3D-Scans. Er ist eine erweiterte Version des ursprünglichen Datensatzes 3DBodyTex.v1, der erstmals im Jahr 2018 auf der Veranstaltung 2018 International Conference on 3D Computer Vision, 3DV 2018, veröffentlicht wurde.
    • Teil 2: Wiederherstellung von texturierten Objekt-Scans aus Teilerfassungen. Dabei geht es um die Wiederherstellung von Scans generischer Objekte aus dem Datensatz 3DObjTex.v1, der wiederum eine Teilmenge aus dem Repositorium für 3D-Scans ViewShape ist. Dieser Datensatz enthält über 2000 verschiedene generische Objekte mit unterschiedlichen Komplexitätsgraden in Bezug auf Textur und Geometrie.
  • Die zweite Herausforderung konzentriert sich auf die Wiederherstellung feiner Objektdetails in Form von scharfen Kanten aus spärlichen verrauschten Scans mit glatten Kanten. Zu diesem Zweck wird der Datensatz CC3D-PSE verwendet, eine neue Version des CC3D-Datensatzes, der auf der IEEE International Conference on Image Processing (ICIP) 2020 vorgestellt wurde. Er enthält über 50.000 Paare von CAD-Modellen und den dazugehörigen 3D-Scans. Jedes Paar aus Scan und CAD-Modell ist mit parametrischen scharfen Kanten versehen. Bei einem 3D-Scan mit glatten Kanten besteht das Ziel darin, das entsprechende CAD-Modell als Polygonnetz zu rekonstruieren, wobei die scharfen Kanten annähernd den echten scharfen Kanten entsprechen. Die zweite Aufgabe besteht aus 2 Teilen: 
    • Teil 1: Wiederherstellung von linearen scharfen Kanten. In diesem Teil wird eine Teilmenge des Datensatzes CC3D-PSE, die nur lineare scharfe Kanten enthält, betrachtet.
    • Teil 2:  Wiederherstellung von scharfen Kanten als lineare, kreisförmige und Spline-Segmente. In diesem Teil wird das gesamte CC3D-PSE verwendet.

Dies ist bereits die dritte Ausgabe von SHARP – nach zwei erfolgreichen Veranstaltungen zusammen mit der CVPR 2021 und der ECCV 2020.

Sponsor

Aufruf zur Teilnahme
(Herausforderungen)

Herausforderung
Vervollständigung texturierter Teilscans

Die Aufgabe dieser Herausforderung besteht darin, ein vollständiges texturiertes 3D-Netz aus einem partiellen 3D-Scan genau zu rekonstruieren. Die Herausforderung umfasst 2 Teile:

Teil 1: Körperformen
Teil 2: Objekt-Scans

Herausforderung
Wiederherstellung scharfer Kanten

Bei einem 3D-Objektscan mit glatten Kanten besteht das Ziel dieser Aufgabe darin, das entsprechende CAD-Modell als Polygonnetz mit scharfen Kanten, das sich den scharfen Kanten der Grunddaten annähert, zu rekonstruieren.

Teil 1: Scharfe Linien
Teil 2: Scharfe Kanten (Kreise, Spline, Linien)

Aufruf zur Einreichung von Artikeln
(Einreichung von Artikeln)

  • Texturierte 3D-Darstellung und Auswertung
  • Extraktion texturierter 3D-Scan-Merkmale
  • Generative Modellierung von texturierten 3D-Scans
  • Lernbasierte 3D-Rekonstruktion
  • Gemeinsame Anpassung von Textur und Form
  • Gemeinsame Vervollständigung von Textur und Form
  • Semantische 3D-Datenrekonstruktion
  • Effektive 3D- und 2D-Datenfusion
  • Veredelung von texturierten 3D-Daten
  • Erkennung und Verfeinerung von 3D-Merkmalskanten
  • Hochrangige Darstellungen von 3D-Daten
  • CAD-Modellierung aus unstrukturierten 3D-Daten

Sämtliche angenommenen Beiträge werden in den Tagungsband der CVPR 2022 aufgenommen. Die Beiträge werden einer Peer-Review unterzogen und müssen Stil und Format des Tagungsbandes der CVPR 2022 entsprechen. Weitere Einzelheiten zu den Einreichungsformaten finden Sie auf der Einreichungsseite.

Zeitleiste

Organisatoren

Vervollständigung texturierter Teilscans

Herausforderung 1

Teil 1

Wiederherstellung von texturierten menschlichen Körperscans aus Teilaufnahmen. Der in diesem Bereich verwendete Datensatz ist 3DBodyTex.v2, der 2.500 texturierte 3D-Scans enthält. Er ist eine erweiterte Version des ursprünglichen Datensatzes 3DBodyTex.v1 , der erstmals im Jahr 2018 auf der Veranstaltung 2018 International Conference on 3D Computer Vision, 3DV 2018, veröffentlicht wurde.

Teil 2

Wiederherstellung von texturierten Objekt-Scans aus Teilerfassungen. Dabei geht es um die Wiederherstellung von Scans generischer Objekte aus dem Datensatz 3DObjTex.v1, der wiederum eine Teilmenge aus dem Repositorium für 3D-Scans ViewShape ist. Dieser Datensatz enthält über 2000 verschiedene generische Objekte mit unterschiedlichen Komplexitätsgraden in Bezug auf Textur und Geometrie.
  • Jedes benutzerdefinierte Verfahren sollte bei Einreichung mit einer Beschreibung und Implementierung angegeben werden.
  • Es wird eine Qualitätskontrolle durchgeführt, um ein angemessenes Maß an Mängeln zu gewährleisten.
  • Die Teilscans werden synthetisch erzeugt.
  • Aus Gründen des Datenschutzes werden alle Polygonnetze anonymisiert, indem die Form und Textur der Gesichter verwischt wird, ähnlich wie bei den 3DBodyTex-Daten.
  • Bei der Auswertung werden Gesicht und Hände ignoriert, da die Form aus Rohscans weniger zuverlässig ist.

Neu: Zusätzlich zu den in den vorherigen Ausgaben (SHARP 2020 und SHARP 2021) zur Verfügung gestellten Routinen für die Erzeugung von Teildaten wurden für diese Ausgabe realistischere Routinen eingerichtet. Beispiele für Teilscans von Teil 1 und Teil 2 finden Sie unten.

Wiederherstellung scharfer Kanten

Herausforderung 2

Neu: Mit dieser Herausforderung wird der Datensatz CC3D-PSE, der eine neue Version des in SHARP 2021 verwendeten CC3D-Datensatzes ist, eingeführt. CC3D-PSE besteht aus:

  • Über 50.000 Paaren von Scans und CAD-Modellen als Polygonnetze
  • Zuordnungen von scharfen Kanten als parametrische Kurven mit linearen, kreisförmigen und Spline-Segmenten

Teil 1

Wiederherstellung von linearen scharfen Kanten. In diesem Teil wird eine Teilmenge des CC3D-PSE-Datensatzes betrachtet, die nur lineare scharfe Kanten enthält.

Teil 2

Wiederherstellung von scharfen Kanten als lineare, kreisförmige und Spline-Segmente. In diesem Track wird der gesamte Datensatz CC3D-PSE verwendet.

Reichen Sie Ihre Lösung für die Herausforderung ein

Folgt bald...

Programme

SHARP will be held on 19 June 2022.
The workshop will follow a hybrid format.

b4-table-white b4-table-first-col b4-table-specifications b4-table-header-colspan
Essential inspection
Opening13:30 – 13:35
Presentation of SHARP Challenges13:35 – 13:50
Plenary Talk – Prof. Angela Dai13:50 – 14:40
Coffee Break14:40 – 14:55
Finalists 1: Points2ISTF – Implicit Shape and Texture Field from Partial Point Clouds – Jianchuan Chen14:55 – 15:15
Finalists 2: 3D Textured Shape Recovery with Learned Geometric Priors – Lei Li15:15 – 15:35
Finalists 3: Parametric Sharp Edges from 3D Scans – Anis Kacem15:15 – 15:35
Plenary Talk – Prof. Tolga Birdal15:55 – 16:45
Announcement of Results16:45 – 16:55
Analysis of Results16:55 – 17:10
Panel Discussion17:10 – 17:30
Closing Remarks17:30 – 17:35
Invited Speakers

Prof. Angela Dai

Technical University of Munich

Prof. Angela Dai
Invited Speakers

Prof. Tolga Birdal

Imperial College London

Bio: Angela Dai is an Assistant Professor at the Technical University of Munich where she leads the 3D AI group. Prof. Dai’s research focuses on understanding how the 3D world around us can be modeled and semantically understood. Previously, she received her PhD in computer science from Stanford in 2018 and her BSE in computer science from Princeton in 2013. Her research has been recognized through a Eurographics Young Researcher Award, ZDB Junior Research Group Award, an ACM SIGGRAPH Outstanding Doctoral Dissertation Honorable Mention, as well as a Stanford Graduate Fellowship.

Bio: Tolga Birdal is an assistant professor in the Department of Computing of Imperial College London. Previously, he was a senior Postdoctoral Research Fellow at Stanford University within the Geometric Computing Group of Prof. Leonidas Guibas. Tolga has defended his masters and Ph.D. theses at the Computer Vision Group under Chair for Computer Aided Medical Procedures, Technical University of Munich led by Prof. Nassir Navab. He was also a Doktorand at Siemens AG under supervision of Dr. Slobodan Ilic working on “Geometric Methods for 3D Reconstruction from Large Point Clouds”. His current foci of interest involve geometric machine learning and 3D computer vision. More theoretical work is aimed at investigating and interrogating limits in geometric computing and non-Euclidean inference as well as principles of deep learning. Tolga has several publications at the well-respected venues such as NeurIPS, CVPR, ICCV, ECCV, T-PAMI, ICRA, IROS, ICASSP and 3DV. Aside from his academic life, Tolga has co-founded multiple companies including Befunky, a widely used web-based image editing platform.

Plenary Talks

Towards Commodity 3D Content Creation

With the increasing availability of high quality imaging and even depth imaging now available as commodity sensors, comes the potential to democratize 3D content creation. State-of-the-art reconstruction results from commodity RGB and RGB-D sensors have achieved impressive tracking, but reconstructions remain far from usable in practical applications such as mixed reality or content creation, since they do not match the high quality of artist-modeled 3D graphics content: models remain incomplete, unsegmented, and with low-quality texturing. In this talk, we will address these challenges: I will present a self-supervised approach to learn effective geometric priors from limited real-world 3D data, then discuss object-level understanding from a single image, followed by realistic 3D texturing from real-world image observations. This will help to enable a closer step towards commodity 3D content creation.

Plenary

Talks Rigid & Non-Rigid Multi-Way Point Cloud Matching via Late Fusion

Correspondences fuel a variety of applications from texture-transfer to structure from motion. However, simultaneous registration or alignment of multiple, rigid, articulated or non-rigid partial point clouds is a notoriously difficult challenge in 3D computer vision. With the advances in 3D sensing, solving this problem becomes even more crucial than ever as the observations for visual perception hardly ever come as a single image or scan. In this talk, I will present an unfinished quest in pursuit of generalizable, robust, scalable and flexible methods, designed to solve this problem. The talk is composed of two sections diving into (i) MultiBodySync, specialized in multi-body & articulated generalizable 3D motion segmentation as well as estimation, and (ii) SyNoRim, aiming at jointly matching multiple non-rigid shapes by relating learned functions defined on the point clouds. Both of these methods utilize a family of recently matured graph optimization techniques called synchronization as differentiable modules to ensure multi-scan / multi-view consistency in the late stages of deep architectures. Our methods can work on a diverse set of datasets and are general in the sense that they can solve a larger class of problems than the existing methods.