El tercer Workshop de Recuperación de formas a partir de escaneos 3D de textura parcial (SHARP)

Organizadores

Se repartirán 8.000 euros en premios en metálico a los ganadores patrocinados por Artec 3D.

Este taller acogerá una parte de presentación de trabajos y un concurso:

La sección de presentaciones invita a los participantes a presentar aportaciones novedosas sobre el procesamiento de formas y texturas basado en datos. A continuación, se puede encontrar una convocatoria de ponencias en la que se especifican los temas de mayor interés.  

El concurso está enfocado en la reconstrucción de mallas 3D completas de alta resolución a partir de escaneos 3D parciales o con ruido e incluye 2 retos y 3 conjuntos de datos: 

  • El primer reto consiste en recuperar escaneos 3D con textura a partir de una adquisición parcial. Se lleva a cabo en dos 2 etapas: 
    • Etapa 1: Recuperación de escaneos del cuerpo humano con textura a partir de capturas parciales. Los datos utilizados en esta etapa son 3DBodyTex.v2, que contiene 2.500 escaneos 3D texturizados. Es una versión ampliada de la versión original 3DBodyTex.v1, publicado por primera vez en la Conferencia Internacional de Visión 3D por Ordenador 2018, 3DV 2018.
    • Etapa 2: Recuperación de escaneos de objetos texturizados a partir de adquisiciones parciales. Se trata de la recuperación de escaneos de objetos generales a partir del conjunto de datos 3DObjTex.v1, que es un subconjunto del ViewShape, del archivo online de escaneos en 3D. Este conjunto de datos contiene más de 2.000 objetos generales distintos que presentan diferentes niveles de complejidad en cuanto a textura y geometría.
  • El segundo reto consiste en recuperar los pequeños detalles de los objetos, como los bordes afilados, a partir de escaneos irregulares y con ruido, con aristas suavizadas. Para ello se utilizará el conjunto de datos CC3D-PSE, que es una nueva versión del conjunto de datos CC3D, presentado en la Conferencia Internacional del IEEE sobre Procesamiento de Imágenes (ICIP) de 2020. Contiene más de 50.000 modelos CAD y sus correspondientes escaneos 3D. Dado un escaneo 3D con aristas suavizadas, el objetivo es reconstruir el modelo CAD correspondiente como una malla triangular, con cantos vivos que representen las aristas reales. El segundo reto presenta 2 etapas: 
    • Etapa 1: Recuperación de aristas vivas lineales. En esta etapa se utiliza un subconjunto del conjunto de datos CC3D-PSE que sólo contiene aristas vivas lineales.
    • Etapa 2:  Recuperación de aristas como segmentos lineales, circulares y splines. En este tema se utilizará todo el CC3D-PSE.

Esta es la tercera edición de SHARP, después de dos ediciones de gran éxito en colaboración con CVPR 2021 y ECCV 2020.

Patrocinador

Solicitud de inscripción
(Retos)

Reto
Finalización de Escaneo Parcial con Textura

El objetivo de este reto es reconstruir con precisión una malla texturizada 3D completa a partir de un escaneo 3D parcial. Incluye 2 etapas:

Etapa 1: Formas corporales
Etapa 2: Escaneos de objetos

Reto
Recuperación de Aristas Vivas

Dado un objeto escaneado en 3D con bordes suavizados, el objetivo de este reto es reconstruir el modelo CAD correspondiente como una malla triangular con aristas vivas que se parezca a las aristas vivas reales.

Etapa 1: Líneas vivas
Etapa 2: Aristas vivas (segmentos lineales, circulares y splines)

Convocatoria de ponencias
(Etapa de presentación de ponencias)

  • Representación y evaluación de datos 3D con textura
  • Extracción de características de escaneos 3D texturizados
  • Modelado generativo de escaneos 3D con textura
  • Reconstrucción 3D basada en el aprendizaje
  • Coincidencia conjunta de textura y forma
  • Terminación conjunta de la textura y la forma
  • Reconstrucción semántica de datos 3D
  • Fusión efectiva de datos 3D y 2D
  • Refinamiento de datos 3D con textura
  • Detección y refinamiento de bordes de características 3D
  • Representaciones de alto nivel de los datos 3D

Modelado CAD a partir de datos 3D no estructurados Todos los trabajos aceptados se incluirán en las actas del congreso CVPR 2022. Los trabajos serán revisados por pares y deben cumplir con el estilo y formato de las actas CVPR 2022. Puede encontrar más detalles sobre los formatos de presentación en la página de presentaciones.

Línea de tiempo

Organizadores

Finalización de Escaneo Parcial con Textura

Reto 1

Etapa 1

Recuperación de escaneos del cuerpo humano con textura a partir de adquisiciones parciales. El conjunto de datos utilizado en este caso es el 3DBodyTex.v2 , contiene 2.500 escaneos 3D texturizados. Es una versión ampliada de la versión original 3DBodyTex.v1, publicado por primera vez en la Conferencia Internacional de Visión 3D por Ordenador 2018, 3DV 2018.

Etapa 2

Recuperación de escaneos de objetos texturizados a partir de adquisiciones parciales. Se trata de la recuperación de escaneos de objetos genéricos del conjunto de datos 3DObjTex.v1, que es un subconjunto del ViewShape archivo online de escaneos en 3D. Este conjunto de datos contiene más de 2.000 objetos genéricos con diferentes niveles de complejidad en cuanto a textura y geometría.
  • Cualquier método propio se debe describir y aplicar en el documento final.
  • Se realizará un control de calidad para asegurar un nivel de defectos aceptable.
  • Los escaneos parciales se generan sintéticamente.
  • Por razones de privacidad, todas las mallas son anónimas al difuminar la forma y la textura de las caras, del mismo modo que en el conjunto de datos 3DBodyTex.
  • Durante la evaluación, la cara y las manos se ignoran porque la forma de los escaneos en bruto es menos fiable.

Novedad: Además de las estrategias para generar datos parciales que se ofrecían en las ediciones anteriores (SHARP 2020 and SHARP 2021), Para esta edición se han puesto en marcha algunas estrategias más realistas para generar datos parciales. A continuación, se pueden encontrar muestras de escaneos parciales de las etapas 1 y 2.

Recuperación de aristas vivas

Reto 2

Novedad: Este reto presenta el conjunto de datos CC3D-PSE, que es una nueva versión del conjunto de datos CC3D utilizado en SHARP 2021. CC3D-PSE consta de:

  • más de cincuenta mil pares de escaneos y modelos CAD como mallas triangulares
  • anotaciones de aristas vivas proporcionadas como curvas paramétricas que incluyen segmentos lineales, circulares y splines

Etapa 1

Reconstrucción de aristas vivas lineales. En esta etapa se utiliza un subconjunto del conjunto de datos CC3D-PSE que incluye sólo las aristas vivas lineales.

Etapa 2

Recuperación de aristas como segmentos lineales, circulares y splines. En este tema se utilizará todo el CC3D-PSE.

Envía tu solución al reto

En breve...

Programme

SHARP will be held on 19 June 2022.
The workshop will follow a hybrid format.

b4-table-white b4-table-first-col b4-table-specifications b4-table-header-colspan
Essential inspection
Opening13:30 – 13:35
Presentation of SHARP Challenges13:35 – 13:50
Plenary Talk – Prof. Angela Dai13:50 – 14:40
Coffee Break14:40 – 14:55
Finalists 1: Points2ISTF – Implicit Shape and Texture Field from Partial Point Clouds – Jianchuan Chen14:55 – 15:15
Finalists 2: 3D Textured Shape Recovery with Learned Geometric Priors – Lei Li15:15 – 15:35
Finalists 3: Parametric Sharp Edges from 3D Scans – Anis Kacem15:15 – 15:35
Plenary Talk – Prof. Tolga Birdal15:55 – 16:45
Announcement of Results16:45 – 16:55
Analysis of Results16:55 – 17:10
Panel Discussion17:10 – 17:30
Closing Remarks17:30 – 17:35
Invited Speakers

Prof. Angela Dai

Technical University of Munich

Prof. Angela Dai
Invited Speakers

Prof. Tolga Birdal

Imperial College London

Bio: Angela Dai is an Assistant Professor at the Technical University of Munich where she leads the 3D AI group. Prof. Dai’s research focuses on understanding how the 3D world around us can be modeled and semantically understood. Previously, she received her PhD in computer science from Stanford in 2018 and her BSE in computer science from Princeton in 2013. Her research has been recognized through a Eurographics Young Researcher Award, ZDB Junior Research Group Award, an ACM SIGGRAPH Outstanding Doctoral Dissertation Honorable Mention, as well as a Stanford Graduate Fellowship.

Bio: Tolga Birdal is an assistant professor in the Department of Computing of Imperial College London. Previously, he was a senior Postdoctoral Research Fellow at Stanford University within the Geometric Computing Group of Prof. Leonidas Guibas. Tolga has defended his masters and Ph.D. theses at the Computer Vision Group under Chair for Computer Aided Medical Procedures, Technical University of Munich led by Prof. Nassir Navab. He was also a Doktorand at Siemens AG under supervision of Dr. Slobodan Ilic working on “Geometric Methods for 3D Reconstruction from Large Point Clouds”. His current foci of interest involve geometric machine learning and 3D computer vision. More theoretical work is aimed at investigating and interrogating limits in geometric computing and non-Euclidean inference as well as principles of deep learning. Tolga has several publications at the well-respected venues such as NeurIPS, CVPR, ICCV, ECCV, T-PAMI, ICRA, IROS, ICASSP and 3DV. Aside from his academic life, Tolga has co-founded multiple companies including Befunky, a widely used web-based image editing platform.

Plenary Talks

Towards Commodity 3D Content Creation

With the increasing availability of high quality imaging and even depth imaging now available as commodity sensors, comes the potential to democratize 3D content creation. State-of-the-art reconstruction results from commodity RGB and RGB-D sensors have achieved impressive tracking, but reconstructions remain far from usable in practical applications such as mixed reality or content creation, since they do not match the high quality of artist-modeled 3D graphics content: models remain incomplete, unsegmented, and with low-quality texturing. In this talk, we will address these challenges: I will present a self-supervised approach to learn effective geometric priors from limited real-world 3D data, then discuss object-level understanding from a single image, followed by realistic 3D texturing from real-world image observations. This will help to enable a closer step towards commodity 3D content creation.

Plenary

Talks Rigid & Non-Rigid Multi-Way Point Cloud Matching via Late Fusion

Correspondences fuel a variety of applications from texture-transfer to structure from motion. However, simultaneous registration or alignment of multiple, rigid, articulated or non-rigid partial point clouds is a notoriously difficult challenge in 3D computer vision. With the advances in 3D sensing, solving this problem becomes even more crucial than ever as the observations for visual perception hardly ever come as a single image or scan. In this talk, I will present an unfinished quest in pursuit of generalizable, robust, scalable and flexible methods, designed to solve this problem. The talk is composed of two sections diving into (i) MultiBodySync, specialized in multi-body & articulated generalizable 3D motion segmentation as well as estimation, and (ii) SyNoRim, aiming at jointly matching multiple non-rigid shapes by relating learned functions defined on the point clouds. Both of these methods utilize a family of recently matured graph optimization techniques called synchronization as differentiable modules to ensure multi-scan / multi-view consistency in the late stages of deep architectures. Our methods can work on a diverse set of datasets and are general in the sense that they can solve a larger class of problems than the existing methods.