제3회 SHApe Recovery from Partial textured 3D scans(이하 SHARP) 워크숍 및 챌린지가

주최자

Artec 3D가 후원하는 수상자들에게는 총 8,000유로가 상금으로 수여됩니다.

이 워크숍에서는 다음의 논문 제출 트랙과 경연 대회를 개최합니다.

논문 제출 트랙은 참가자가 데이터 기반 모양 및 텍스처 처리에 대한 새로운 기고문을 제출하도록 장려합니다. 관심 주제를 명시한 논문 요청은 아래에서 확인할 수 있습니다.  

경연 대회는 부분 또는 노이즈가 있는 3D 스캔에서 전체 고해상도 3D 메시를 재구성하는 데 중점을 두고 있으며 다음과 같은 2개의 챌린지와 3개의 데이터 세트를 포함합니다. 

  • 첫 번째 챌린지는 부분 획득에서 텍스처링된 3D 스캔을 복구하는 것입니다. 여기에는 다음 2개의 트랙이 포함됩니다. 
    • 트랙 1: 부분 획득에서 텍스처링된 인체 스캔 복구. 이 영역에 사용되는 데이터 세트는 2,500개의 텍스처링된 3D 스캔이 들어 있는 3DBodyTex.v2 데이터 세트입니다. 이는 2018년 3D Computer Vision 국제 학술대회인 3DV 2018에서 처음 공개된 원본 3DBodyTex.v1 데이터 세트의 확장 버전입니다.
    • 트랙 2: 부분 획득에서 텍스처링된 물체 스캔 복구. 여기에는 3D 스캔의 ViewShape 온라인 리포지토리의 하위 집합인 3DObjTex.v1 데이터 세트에서 일반 물체 스캔을 복구하는 작업이 포함됩니다. 이 데이터 세트에는 텍스처와 형상의 복잡도가 다른 2,000개 이상의 다양한 일반 물체가 포함되어 있습니다.
  • 두 번째 챌린지는 가장자리 매끄러운 노이즈가 많은 희소 스캔에서 선명한 가장자리 형태로 미세한 물체 디테일을 복구하는 데 중점을 둡니다. 2020 IEEE ICIP(이미지 처리 국제 학술대회)에서 소개된 CC3D 데이터 세트의 새로운 버전인 CC3D-PSE 데이터 세트가 이러한 목적으로 사용될 예정입니다. 여기에는 50,000쌍 이상의 CAD 모델과 그에 상응하는 3D 스캔이 포함되어 있습니다. 스캔 및 CAD 모델의 각 쌍에는 매개변수적 선명한 가장자리로 주석이 달립니다. 가장자리가 매끄러운 3D 스캔을 가정하면 목표는 해당 CAD 모델을 실제의 선명한 가장자리에 가까운 선명한 가장자리를 가진 삼각형 메시로 재구성하는 것입니다. 두 번째 챌린지에는 다음 2개의 트랙이 포함됩니다. 
    • 트랙 1: 선형의 선명한 가장자리 복구. CC3D-PSE 데이터 세트의 하위 집합은 선형의 선명한 가장자리만 포함하는 이 트랙에서 고려됩니다.
    • 트랙 2:  선명한 가장자리를 선형, 원형 및 스플라인 세그먼트로 복구. 이 트랙에서는 전체 CC3D-PSE가 사용됩니다.

이번 SHARP는 CVPR 2021ECCV 2020과 함께 두 번의 성공적인 에디션에 이은 세 번째 에디션입니다.

스폰서

참가 요청
(챌린지)

챌린지
텍스처링된 부분 스캔 완료

이 챌린지의 과제는 부분 3D 스캔에서 전체 3D 텍스처 메시를 정확하게 재구성하는 것입니다. 여기에는 다음 2개의 트랙이 포함됩니다.

트랙 1: 인체 모양
트랙 2: 물체 스캔

챌린지
날카로운 가장자리 복구

가장자리가 매끄러운 3D 물체 스캔을 가정하면 이 챌린지의 목표는 해당 CAD 모델을 실제의 선명한 가장자리에 가까운 선명한 가장자리를 가진 삼각형 메시로 재구성하는 것입니다.

트랙 1: 날카로운 선
트랙 2: 날카로운 가장자리(원, 스플라인, 선)

논문 요청 (논문 제출 트랙)

  • 텍스처링된 3D 데이터 표현 및 평가
  • 텍스처링된 3D 스캔 특징 추출
  • 텍스처링된 3D 스캔 생성 모델링
  • 학습 기반 3D 재구성
  • 조인트 텍스처 및 모양 일치
  • 조인트 텍스처 및 모양 완성
  • 의미론적 3D 데이터 재구성
  • 효과적인 3D 및 2D 데이터 융합
  • 텍스처링된 3D 데이터 개선
  • 3D 특징 가장자리 감지 및 개선
  • 높은 수준의 3D 데이터 표현
  • 비정형 3D 데이터에서 CAD 모델링

승인된 모든 논문은 CVPR 2022 학술대회 논문집에 수록됩니다. 논문은 동료 심사를 거치며 CVPR 2022 논문집의 양식 및 형식을 준수해야 합니다. 제출 형식에 대한 자세한 내용은 제출 페이지에서 확인할 수 있습니다.

일정

주최자

텍스처링된 부분 스캔 완료

챌린지 1

트랙 1

부분 획득에서 텍스처링된 인체 스캔 복구. 이 영역에 사용되는 데이터 세트는 2,500개의 텍스처링된 3D 스캔이 들어 있는 3DBodyTex.v2 데이터 세트입니다. 이는 2018년 3D Computer Vision 국제 학술대회인 3DV 2018에서 처음 공개된 원본 3DBodyTex.v1 데이터 세트의 확장 버전입니다.

트랙 2

부분 획득에서 텍스처링된 물체 스캔 복구. 여기에는 3D 스캔의 ViewShape 온라인 리포지토리의 하위 집합인 3DObjTex.v1 데이터 세트에서 일반 물체 스캔을 복구하는 작업이 포함됩니다. 이 데이터 세트에는 텍스처와 형상의 복잡도가 다른 2,000개 이상의 다양한 일반 물체가 포함되어 있습니다.
  • 모든 사용자 정의 절차는 결과물에 대한 설명 및 구현과 함께 보고되어야 합니다.
  • 합리적인 수준의 결함을 보장하기 위해 품질 검사가 수행됩니다.
  • 부분 스캔은 합성적으로 생성됩니다.
  • 개인 정보 보호를 위해 모든 메시는 3DBodyTex 데이터와 유사하게 얼굴의 모양과 텍스처를 흐리게 하여 익명 처리합니다.
  • 평가하는 동안에는 원시 스캔에서 얻은 모양의 신뢰성이 떨어지기 때문에 얼굴과 손은 무시됩니다.

새로운 루틴: 이번 회에서는 이전 회(SHARP 2020 및 SHARP 2021)에서 제공된 부분 데이터 생성 루틴 외에도 더 현실적인 부분 데이터 생성 루틴이 마련되었습니다. 트랙 1 및 트랙 2의 부분 스캔 샘플은 아래에서 볼 수 있습니다.

날카로운 가장자리 복구

챌린지 2

새로운 데이터 세트: 이 챌린지에는 SHARP 2021에 사용된 CC3D 데이터 세트의 새로운 버전인 CC3D-PSE 데이터 세트가 도입됩니다. CC3D-PSE는 다음으로 구성됩니다.

  • 삼각형 메시로 된 50,000개 이상의 스캔 및 CAD 모델 쌍
  • 선형, 원형 및 스플라인 세그먼트를 포함하는 매개변수적 곡선으로 제공되는 선명한 가장자리 주석

트랙 1

선형의 선명한 가장자리 복구. CC3D-PSE 데이터 세트의 하위 집합은 선형의 선명한 가장자리만 포함하는 이 트랙에서 고려됩니다.

트랙 2

선명한 가장자리를 선형, 원형 및 스플라인 세그먼트로 복구. 이 트랙에서는 전체 CC3D-PSE가 사용됩니다.

챌린지에 대한 솔루션 제출

곧 발표 예정

Programme

SHARP will be held on 19 June 2022.
The workshop will follow a hybrid format.

b4-table-white b4-table-first-col b4-table-specifications b4-table-header-colspan
Essential inspection
Opening13:30 – 13:35
Presentation of SHARP Challenges13:35 – 13:50
Plenary Talk – Prof. Angela Dai13:50 – 14:40
Coffee Break14:40 – 14:55
Finalists 1: Points2ISTF – Implicit Shape and Texture Field from Partial Point Clouds – Jianchuan Chen14:55 – 15:15
Finalists 2: 3D Textured Shape Recovery with Learned Geometric Priors – Lei Li15:15 – 15:35
Finalists 3: Parametric Sharp Edges from 3D Scans – Anis Kacem15:15 – 15:35
Plenary Talk – Prof. Tolga Birdal15:55 – 16:45
Announcement of Results16:45 – 16:55
Analysis of Results16:55 – 17:10
Panel Discussion17:10 – 17:30
Closing Remarks17:30 – 17:35
Invited Speakers

Prof. Angela Dai

Technical University of Munich

Prof. Angela Dai
Invited Speakers

Prof. Tolga Birdal

Imperial College London

Bio: Angela Dai is an Assistant Professor at the Technical University of Munich where she leads the 3D AI group. Prof. Dai’s research focuses on understanding how the 3D world around us can be modeled and semantically understood. Previously, she received her PhD in computer science from Stanford in 2018 and her BSE in computer science from Princeton in 2013. Her research has been recognized through a Eurographics Young Researcher Award, ZDB Junior Research Group Award, an ACM SIGGRAPH Outstanding Doctoral Dissertation Honorable Mention, as well as a Stanford Graduate Fellowship.

Bio: Tolga Birdal is an assistant professor in the Department of Computing of Imperial College London. Previously, he was a senior Postdoctoral Research Fellow at Stanford University within the Geometric Computing Group of Prof. Leonidas Guibas. Tolga has defended his masters and Ph.D. theses at the Computer Vision Group under Chair for Computer Aided Medical Procedures, Technical University of Munich led by Prof. Nassir Navab. He was also a Doktorand at Siemens AG under supervision of Dr. Slobodan Ilic working on “Geometric Methods for 3D Reconstruction from Large Point Clouds”. His current foci of interest involve geometric machine learning and 3D computer vision. More theoretical work is aimed at investigating and interrogating limits in geometric computing and non-Euclidean inference as well as principles of deep learning. Tolga has several publications at the well-respected venues such as NeurIPS, CVPR, ICCV, ECCV, T-PAMI, ICRA, IROS, ICASSP and 3DV. Aside from his academic life, Tolga has co-founded multiple companies including Befunky, a widely used web-based image editing platform.

Plenary Talks

Towards Commodity 3D Content Creation

With the increasing availability of high quality imaging and even depth imaging now available as commodity sensors, comes the potential to democratize 3D content creation. State-of-the-art reconstruction results from commodity RGB and RGB-D sensors have achieved impressive tracking, but reconstructions remain far from usable in practical applications such as mixed reality or content creation, since they do not match the high quality of artist-modeled 3D graphics content: models remain incomplete, unsegmented, and with low-quality texturing. In this talk, we will address these challenges: I will present a self-supervised approach to learn effective geometric priors from limited real-world 3D data, then discuss object-level understanding from a single image, followed by realistic 3D texturing from real-world image observations. This will help to enable a closer step towards commodity 3D content creation.

Plenary

Talks Rigid & Non-Rigid Multi-Way Point Cloud Matching via Late Fusion

Correspondences fuel a variety of applications from texture-transfer to structure from motion. However, simultaneous registration or alignment of multiple, rigid, articulated or non-rigid partial point clouds is a notoriously difficult challenge in 3D computer vision. With the advances in 3D sensing, solving this problem becomes even more crucial than ever as the observations for visual perception hardly ever come as a single image or scan. In this talk, I will present an unfinished quest in pursuit of generalizable, robust, scalable and flexible methods, designed to solve this problem. The talk is composed of two sections diving into (i) MultiBodySync, specialized in multi-body & articulated generalizable 3D motion segmentation as well as estimation, and (ii) SyNoRim, aiming at jointly matching multiple non-rigid shapes by relating learned functions defined on the point clouds. Both of these methods utilize a family of recently matured graph optimization techniques called synchronization as differentiable modules to ensure multi-scan / multi-view consistency in the late stages of deep architectures. Our methods can work on a diverse set of datasets and are general in the sense that they can solve a larger class of problems than the existing methods.