The 3rd SHApe Recovery from Partial textured 3D scans (SHARP) のワークショップとチャレンジは

Artec 3Dがスポンサーとなっている受賞者には、賞金として総額8000ユーロが授与されます。
The 3rd SHApe Recovery from Partial textured 3D scans (SHARP) のワークショップとチャレンジは、CVPR(Computer Vision and Pattern Recognition)と併せて2022年の6月19日(後日発表)に開催されます。データ駆動型による形状の3D再構築に関する研究は、3Dモデルの大規模なデータセットが利用できるようになったおかげで、この過去数年間で非常に活発に行われてきました。しかし現在の方法では、以下2点の重要な側面に十分に焦点を当てていませんでした。(1)形状とテクスチャを備えた完全な3Dオブジェクトを同時に再構築すること。(2)3Dスキャンによって滑らかになりがちなシャープなエッジを再構築すること。
このワークショップの目的は、部分的なキャプチャから完全な3Dスキャンを修復する方法の開発を促進させることです。これにより、ジオメトリとテクスチャの両方を活用した3Dモデリングおよび処理技術の開発が促進されるはずです。
こちらのワークショップでは、論文の提出と競技が実施されます:
論文の提出を通し、参加者はデータ駆動型による形状とテクスチャの処理に関する斬新な貢献をすることが奨励されています。論文の課題は以下に指定されています。
競技は、部分的スキャンおよびノイズを多く含む3Dスキャンから高解像度の完全な3Dメッシュを再構築させることに焦点を当てており、 2つのチャレンジと3つのデータセットを含みます:
- 最初のチャレンジは、部分的なキャプチャをテクスチャを含む3Dスキャンに修復させることです。それには以下2つのトラッキングが含まれます:
- トラッキング1: 部分的なキャプチャからテクスチャを含む人体スキャンを修復します。ここで使用されるデータセットは2500にも及ぶテクスチャを含む3Dスキャンを備えたデータセットである 3DBodyTex.v2です。こちらは、 3DBodyTex.v1のオリジナル版を誇張させたデータセットで、 2018 International Conference on 3D Computer Vision(3DV 2018)にて最初に公開されたものです。
- トラッキング2: 部分的なキャプチャからテクスチャを含むオブジェクトスキャンを修復します。これには、3DObjTex.v1のデータセットから汎用オブジェクトスキャンを修復させることが含まれます。このデータセットは、3Dスキャンのオンラインリポジトリである ViewShapeからのサブセットです。このデータセットには、テクスチャとジオメトリの複雑さのレベルが異なる2000種類以上のさまざまな汎用オブジェクトが含まれています。
- 2番目のチャレンジは、滑らかなエッジとノイズを多く含むまばらなスキャンから、シャープなエッジを持つオブジェクトの細かい詳細の修復に焦点を当てています。2020 IEEE International Conference on Image Processing(ICIP)で導入されたCC3Dデータセットの新しいバージョンであるCC3D-PSEデータセットがこのチャレンジに使用されます。これには、5万以上のCADモデルとそれに対応する3Dスキャンが含まれています。スキャンとCADモデルのそれぞれのペアには、パラメトリックでシャープなエッジが注釈として付けられます。滑らかなエッジを持つ3Dスキャンの場合での目標は、それに対応するCADモデルを三角形メッシュとして再構築させ、そのシャープなエッジを原物に正確に近づけることです。この2番目のチャレンジには2つのトラッキングを含みます:
- トラッキング1: 線形のシャープなエッジを修復させます。CC3D-PSEデータセットのサブセットは、線形のシャープなエッジのみを含むこのトラッキングで考慮されます。
- トラッキング2: シャープなエッジを線形、円形、またはまばらなセグメントとして修復させます。CC3D-PSE全体がこのトラッキングで使用されます。
これは、SHARPの3番目のエディションであり、成功したエディション CVPR 2021 と ECCV 2020の後に続いたものです。
スポンサー
参加の募集(チャレンジ)
論文の募集(論文の提出)
SHARPの主な焦点は、部分的なデータから高解像度の3D形状とテクスチャを修復させることに関する論文の提出を奨励することです。特に、今回の競技のチャレンジに付随する論文を作成することが重要になります。さらに、データ駆動型の形状およびテクスチャ処理に関するすべてのトピックが対象となります。これにはさまざまな産業用アプリケーションや、新しい評価指標や適切なデータセットの提案といった、さまざまなデータ処理の段階における独自の貢献が含まれます。対象となるトピックには以下が含まれますが、これらに限定はされません。
- テクスチャを含む3Dデータの表現と評価
- テクスチャを含む3Dスキャンのフィーチャーの抽出
- テクスチャを含む3Dスキャンの生成モデル
- 学習ベースの3D再構築
- テクスチャのつなぎあわせと形状のマッチング
- テクスチャのつなぎあわせと形状の補完
- セマンティック3Dデータの再構築
- 効果的な3Dおよび2Dデータの融合
- テクスチャを含む3Dデータの改良
- 3Dフィーチャーのエッジ検出と改良
- 3Dデータのハイレベルな表現
- 非構造化3DデータからのCADモデリング
承認されたすべての論文は、CVPR 2022会議議事録に含まれます。それらの論文は査読されますが、 CVPR 2022会議議事録が指定するスタイルと形式にそわなければなりません。論文の形式についての詳細は、提出ページをご覧ください。
日程
主催者
テクスチャを含む部分的スキャンの完成
このチャレンジのタスクは、部分的な3Dスキャンからテクスチャを含んだ完全な3Dメッシュを正確に再構築することです。それには以下2つのトラッキングが含まれます:
トラッキング1

トラッキング2

トレーニングデータは(X、Y)のペアで構成されており、Xは部分的なスキャンを、Yは完全なスキャンを表します。ここでの目標はXからYを修復させることです。このチャレンジの一部として、部分的スキャンXを完全なスキャンYから生成するための過程を公開します。ただし、参加者は拡張または完全な代替手段として、部分的なデータを生成する独自の方法を自由に考案することができます。
- 独自で行う手順は、その説明と実装の様子をこの課題の提出物の一部として報告する必要があります。
- 妥当なレベルの欠陥を保証するために、品質チェックが実行されます。
- 部分的スキャンは合成的に生成されます。
- プライバシー上の理由から、すべてのメッシュは 3DBodyTexのデータにあるように、顔の形状とテクスチャをぼかすことによって匿名化されます。
- 評価中には生のスキャンからの顔と手の形状は(ぼかされることにより)信頼性が低いため、それらは無視されます。
新規事項:以前のエディション(SHARP 2020およびSHARP 2021)で提供されていた部分的データ生成のルーチンに加えて、このエディションではより現実的なそれが導入されました。トラッキング1とトラッキング2の部分的スキャンのサンプルを以下に示します。
シャープなエッジの修復
チャレンジ 2
滑らかなエッジを持つオブジェクトを3Dスキャンする場合、そこでのチャレンジの目標はそれに対応するCADモデルを三角形メッシュとして再構築させ、そのシャープなエッジを原物のものに正確に近づけることです。
新規事項:このチャレンジでは、SHARP 2021で使用されるCC3Dデータセットの新しいバージョンであるCC3D-PSEを紹介します。CC3D-PSEは以下で構成されます。
- 三角形メッシュの5万以上のスキャンとCADモデル
- 線形、円形、スプラインセグメントを含むパラメトリック曲線として提供されるシャープエッジの注釈
トラッキング1
線形のシャープなエッジを修復させます。CC3D-PSEデータセットのサブセットは、線形のシャープなエッジのみを含むこのトラッキングで考慮されます。

トラッキング2
シャープなエッジを線形、円形、またはまばらなセグメントとして修復させます。CC3D-PSE全体がこのトラッキングで使用されます。

チャレンジに対するソルーションの提出
Programme
SHARP will be held on 19 June 2022.
The workshop will follow a hybrid format.
Essential inspection | |
---|---|
Opening | 13:30 – 13:35 |
Presentation of SHARP Challenges | 13:35 – 13:50 |
Plenary Talk – Prof. Angela Dai | 13:50 – 14:40 |
Coffee Break | 14:40 – 14:55 |
Finalists 1: Points2ISTF – Implicit Shape and Texture Field from Partial Point Clouds – Jianchuan Chen | 14:55 – 15:15 |
Finalists 2: 3D Textured Shape Recovery with Learned Geometric Priors – Lei Li | 15:15 – 15:35 |
Finalists 3: Parametric Sharp Edges from 3D Scans – Anis Kacem | 15:15 – 15:35 |
Plenary Talk – Prof. Tolga Birdal | 15:55 – 16:45 |
Announcement of Results | 16:45 – 16:55 |
Analysis of Results | 16:55 – 17:10 |
Panel Discussion | 17:10 – 17:30 |
Closing Remarks | 17:30 – 17:35 |
Prof. Angela Dai
Technical University of Munich

Prof. Tolga Birdal
Imperial College London

Bio: Angela Dai is an Assistant Professor at the Technical University of Munich where she leads the 3D AI group. Prof. Dai’s research focuses on understanding how the 3D world around us can be modeled and semantically understood. Previously, she received her PhD in computer science from Stanford in 2018 and her BSE in computer science from Princeton in 2013. Her research has been recognized through a Eurographics Young Researcher Award, ZDB Junior Research Group Award, an ACM SIGGRAPH Outstanding Doctoral Dissertation Honorable Mention, as well as a Stanford Graduate Fellowship.
Bio: Tolga Birdal is an assistant professor in the Department of Computing of Imperial College London. Previously, he was a senior Postdoctoral Research Fellow at Stanford University within the Geometric Computing Group of Prof. Leonidas Guibas. Tolga has defended his masters and Ph.D. theses at the Computer Vision Group under Chair for Computer Aided Medical Procedures, Technical University of Munich led by Prof. Nassir Navab. He was also a Doktorand at Siemens AG under supervision of Dr. Slobodan Ilic working on “Geometric Methods for 3D Reconstruction from Large Point Clouds”. His current foci of interest involve geometric machine learning and 3D computer vision. More theoretical work is aimed at investigating and interrogating limits in geometric computing and non-Euclidean inference as well as principles of deep learning. Tolga has several publications at the well-respected venues such as NeurIPS, CVPR, ICCV, ECCV, T-PAMI, ICRA, IROS, ICASSP and 3DV. Aside from his academic life, Tolga has co-founded multiple companies including Befunky, a widely used web-based image editing platform.
Towards Commodity 3D Content Creation
With the increasing availability of high quality imaging and even depth imaging now available as commodity sensors, comes the potential to democratize 3D content creation. State-of-the-art reconstruction results from commodity RGB and RGB-D sensors have achieved impressive tracking, but reconstructions remain far from usable in practical applications such as mixed reality or content creation, since they do not match the high quality of artist-modeled 3D graphics content: models remain incomplete, unsegmented, and with low-quality texturing. In this talk, we will address these challenges: I will present a self-supervised approach to learn effective geometric priors from limited real-world 3D data, then discuss object-level understanding from a single image, followed by realistic 3D texturing from real-world image observations. This will help to enable a closer step towards commodity 3D content creation.
Talks Rigid & Non-Rigid Multi-Way Point Cloud Matching via Late Fusion
Correspondences fuel a variety of applications from texture-transfer to structure from motion. However, simultaneous registration or alignment of multiple, rigid, articulated or non-rigid partial point clouds is a notoriously difficult challenge in 3D computer vision. With the advances in 3D sensing, solving this problem becomes even more crucial than ever as the observations for visual perception hardly ever come as a single image or scan. In this talk, I will present an unfinished quest in pursuit of generalizable, robust, scalable and flexible methods, designed to solve this problem. The talk is composed of two sections diving into (i) MultiBodySync, specialized in multi-body & articulated generalizable 3D motion segmentation as well as estimation, and (ii) SyNoRim, aiming at jointly matching multiple non-rigid shapes by relating learned functions defined on the point clouds. Both of these methods utilize a family of recently matured graph optimization techniques called synchronization as differentiable modules to ensure multi-scan / multi-view consistency in the late stages of deep architectures. Our methods can work on a diverse set of datasets and are general in the sense that they can solve a larger class of problems than the existing methods.