The 3rd SHApe Recovery from Partial textured 3D scans (SHARP) のワークショップとチャレンジは

主催者

Artec 3Dがスポンサーとなっている受賞者には、賞金として総額8000ユーロが授与されます。

こちらのワークショップでは、論文の提出と競技が実施されます:

論文の提出を通し、参加者はデータ駆動型による形状とテクスチャの処理に関する斬新な貢献をすることが奨励されています。論文の課題は以下に指定されています。  

競技は、部分的スキャンおよびノイズを多く含む3Dスキャンから高解像度の完全な3Dメッシュを再構築させることに焦点を当てており、 2つのチャレンジと3つのデータセットを含みます: 

  • 最初のチャレンジは、部分的なキャプチャをテクスチャを含む3Dスキャンに修復させることです。それには以下2つのトラッキングが含まれます: 
    • トラッキング1: 部分的なキャプチャからテクスチャを含む人体スキャンを修復します。ここで使用されるデータセットは2500にも及ぶテクスチャを含む3Dスキャンを備えたデータセットである 3DBodyTex.v2です。こちらは、 3DBodyTex.v1のオリジナル版を誇張させたデータセットで、 2018 International Conference on 3D Computer Vision(3DV 2018)にて最初に公開されたものです。
    • トラッキング2: 部分的なキャプチャからテクスチャを含むオブジェクトスキャンを修復します。これには、3DObjTex.v1のデータセットから汎用オブジェクトスキャンを修復させることが含まれます。このデータセットは、3Dスキャンのオンラインリポジトリである ViewShapeからのサブセットです。このデータセットには、テクスチャとジオメトリの複雑さのレベルが異なる2000種類以上のさまざまな汎用オブジェクトが含まれています。
  • 2番目のチャレンジは、滑らかなエッジとノイズを多く含むまばらなスキャンから、シャープなエッジを持つオブジェクトの細かい詳細の修復に焦点を当てています。2020 IEEE International Conference on Image Processing(ICIP)で導入されたCC3Dデータセットの新しいバージョンであるCC3D-PSEデータセットがこのチャレンジに使用されます。これには、5万以上のCADモデルとそれに対応する3Dスキャンが含まれています。スキャンとCADモデルのそれぞれのペアには、パラメトリックでシャープなエッジが注釈として付けられます。滑らかなエッジを持つ3Dスキャンの場合での目標は、それに対応するCADモデルを三角形メッシュとして再構築させ、そのシャープなエッジを原物に正確に近づけることです。この2番目のチャレンジには2つのトラッキングを含みます: 
    • トラッキング1: 線形のシャープなエッジを修復させます。CC3D-PSEデータセットのサブセットは、線形のシャープなエッジのみを含むこのトラッキングで考慮されます。
    • トラッキング2:  シャープなエッジを線形、円形、またはまばらなセグメントとして修復させます。CC3D-PSE全体がこのトラッキングで使用されます。

これは、SHARPの3番目のエディションであり、成功したエディション CVPR 2021ECCV 2020の後に続いたものです。

スポンサー

参加の募集(チャレンジ)

チャレンジ
テクスチャを含む部分的スキャンの完成

このチャレンジのタスクは、部分的な3Dスキャンからテクスチャを含んだ完全な3Dメッシュを正確に再構築することです。それには以下2つのトラッキングが含まれます:

トラッキング1:体の形状
トラッキング2:オブジェクトスキャン

チャレンジ
シャープなエッジの修復

滑らかなエッジを持つオブジェクトを3Dスキャンする場合、そこでのチャレンジの目標はそれに対応するCADモデルを三角形メッシュとして再構築させ、そのシャープなエッジを原物のものに正確に近づけることです。

トラッキング1:シャープな線
トラッキング2:シャープなエッジ(円、スプライン、線)

論文の募集(論文の提出)

  • テクスチャを含む3Dデータの表現と評価
  • テクスチャを含む3Dスキャンのフィーチャーの抽出
  • テクスチャを含む3Dスキャンの生成モデル
  • 学習ベースの3D再構築
  • テクスチャのつなぎあわせと形状のマッチング
  • テクスチャのつなぎあわせと形状の補完
  • セマンティック3Dデータの再構築
  • 効果的な3Dおよび2Dデータの融合
  • テクスチャを含む3Dデータの改良
  • 3Dフィーチャーのエッジ検出と改良
  • 3Dデータのハイレベルな表現
  • 非構造化3DデータからのCADモデリング

承認されたすべての論文は、CVPR 2022会議議事録に含まれます。それらの論文は査読されますが、 CVPR 2022会議議事録が指定するスタイルと形式にそわなければなりません。論文の形式についての詳細は、提出ページをご覧ください。

日程

主催者

テクスチャを含む部分的スキャンの完成

チャレンジ 1

トラッキング1

部分的なキャプチャからテクスチャを含む人体スキャンを修復します。このスコープで使用されるデータセットは2500にも及ぶテクスチャを含む3Dスキャンを含むデータセットである 3DBodyTex.v2です。こちらは、3DBodyTex.v1のオリジナルを誇張させたデータセットで、 2018 International Conference on 3D Computer Vision(3DV 2018)にて最初に公開されたものです。

トラッキング2

部分的なキャプチャからテクスチャを含むオブジェクトスキャンを修復します。これには、3DObjTex.v1のデータセットから汎用オブジェクトスキャンを修復させることが含まれます。このデータセットは、3Dスキャンのオンラインリポジトリである ViewShapeからのサブセットです。このデータセットには、テクスチャとジオメトリの複雑さのレベルが異なる2000種類以上のさまざまな汎用オブジェクトが含まれています。
  • 独自で行う手順は、その説明と実装の様子をこの課題の提出物の一部として報告する必要があります。
  • 妥当なレベルの欠陥を保証するために、品質チェックが実行されます。
  • 部分的スキャンは合成的に生成されます。
  • プライバシー上の理由から、すべてのメッシュは 3DBodyTexのデータにあるように、顔の形状とテクスチャをぼかすことによって匿名化されます。
  • 評価中には生のスキャンからの顔と手の形状は(ぼかされることにより)信頼性が低いため、それらは無視されます。 

新規事項:以前のエディション(SHARP 2020およびSHARP 2021)で提供されていた部分的データ生成のルーチンに加えて、このエディションではより現実的なそれが導入されました。トラッキング1とトラッキング2の部分的スキャンのサンプルを以下に示します。

シャープなエッジの修復

チャレンジ 2

新規事項:このチャレンジでは、SHARP 2021で使用されるCC3Dデータセットの新しいバージョンであるCC3D-PSEを紹介します。CC3D-PSEは以下で構成されます。

  • 三角形メッシュの5万以上のスキャンとCADモデル
  • 線形、円形、スプラインセグメントを含むパラメトリック曲線として提供されるシャープエッジの注釈

トラッキング1

線形のシャープなエッジを修復させます。CC3D-PSEデータセットのサブセットは、線形のシャープなエッジのみを含むこのトラッキングで考慮されます。

トラッキング2

シャープなエッジを線形、円形、またはまばらなセグメントとして修復させます。CC3D-PSE全体がこのトラッキングで使用されます。

チャレンジに対するソルーションの提出

近日公開

Programme

SHARP will be held on 19 June 2022.
The workshop will follow a hybrid format.

b4-table-white b4-table-first-col b4-table-specifications b4-table-header-colspan
Essential inspection
Opening13:30 – 13:35
Presentation of SHARP Challenges13:35 – 13:50
Plenary Talk – Prof. Angela Dai13:50 – 14:40
Coffee Break14:40 – 14:55
Finalists 1: Points2ISTF – Implicit Shape and Texture Field from Partial Point Clouds – Jianchuan Chen14:55 – 15:15
Finalists 2: 3D Textured Shape Recovery with Learned Geometric Priors – Lei Li15:15 – 15:35
Finalists 3: Parametric Sharp Edges from 3D Scans – Anis Kacem15:15 – 15:35
Plenary Talk – Prof. Tolga Birdal15:55 – 16:45
Announcement of Results16:45 – 16:55
Analysis of Results16:55 – 17:10
Panel Discussion17:10 – 17:30
Closing Remarks17:30 – 17:35
Invited Speakers

Prof. Angela Dai

Technical University of Munich

Prof. Angela Dai
Invited Speakers

Prof. Tolga Birdal

Imperial College London

Bio: Angela Dai is an Assistant Professor at the Technical University of Munich where she leads the 3D AI group. Prof. Dai’s research focuses on understanding how the 3D world around us can be modeled and semantically understood. Previously, she received her PhD in computer science from Stanford in 2018 and her BSE in computer science from Princeton in 2013. Her research has been recognized through a Eurographics Young Researcher Award, ZDB Junior Research Group Award, an ACM SIGGRAPH Outstanding Doctoral Dissertation Honorable Mention, as well as a Stanford Graduate Fellowship.

Bio: Tolga Birdal is an assistant professor in the Department of Computing of Imperial College London. Previously, he was a senior Postdoctoral Research Fellow at Stanford University within the Geometric Computing Group of Prof. Leonidas Guibas. Tolga has defended his masters and Ph.D. theses at the Computer Vision Group under Chair for Computer Aided Medical Procedures, Technical University of Munich led by Prof. Nassir Navab. He was also a Doktorand at Siemens AG under supervision of Dr. Slobodan Ilic working on “Geometric Methods for 3D Reconstruction from Large Point Clouds”. His current foci of interest involve geometric machine learning and 3D computer vision. More theoretical work is aimed at investigating and interrogating limits in geometric computing and non-Euclidean inference as well as principles of deep learning. Tolga has several publications at the well-respected venues such as NeurIPS, CVPR, ICCV, ECCV, T-PAMI, ICRA, IROS, ICASSP and 3DV. Aside from his academic life, Tolga has co-founded multiple companies including Befunky, a widely used web-based image editing platform.

Plenary Talks

Towards Commodity 3D Content Creation

With the increasing availability of high quality imaging and even depth imaging now available as commodity sensors, comes the potential to democratize 3D content creation. State-of-the-art reconstruction results from commodity RGB and RGB-D sensors have achieved impressive tracking, but reconstructions remain far from usable in practical applications such as mixed reality or content creation, since they do not match the high quality of artist-modeled 3D graphics content: models remain incomplete, unsegmented, and with low-quality texturing. In this talk, we will address these challenges: I will present a self-supervised approach to learn effective geometric priors from limited real-world 3D data, then discuss object-level understanding from a single image, followed by realistic 3D texturing from real-world image observations. This will help to enable a closer step towards commodity 3D content creation.

Plenary

Talks Rigid & Non-Rigid Multi-Way Point Cloud Matching via Late Fusion

Correspondences fuel a variety of applications from texture-transfer to structure from motion. However, simultaneous registration or alignment of multiple, rigid, articulated or non-rigid partial point clouds is a notoriously difficult challenge in 3D computer vision. With the advances in 3D sensing, solving this problem becomes even more crucial than ever as the observations for visual perception hardly ever come as a single image or scan. In this talk, I will present an unfinished quest in pursuit of generalizable, robust, scalable and flexible methods, designed to solve this problem. The talk is composed of two sections diving into (i) MultiBodySync, specialized in multi-body & articulated generalizable 3D motion segmentation as well as estimation, and (ii) SyNoRim, aiming at jointly matching multiple non-rigid shapes by relating learned functions defined on the point clouds. Both of these methods utilize a family of recently matured graph optimization techniques called synchronization as differentiable modules to ensure multi-scan / multi-view consistency in the late stages of deep architectures. Our methods can work on a diverse set of datasets and are general in the sense that they can solve a larger class of problems than the existing methods.