【解析手法一覧】3次元点群処理を学ぶ
点群とは
点群とは点の集まりで構成されるデータで、 3次元の座標であるX,Y,Zで表現されます。
点群データは3次元測量によって取得できるデータであり、膨大な数の細かい点が集まって構成されています。
その他の3次元表現はこちら
https://tech-deliberate-jiro.com/3dmodel/
古典的な点群解析手法
ダウンサンプリング
• FPS
遠い点からサンプリングする手法
• ボクセルダウンサンプリング
グリッド内の点の重心点をサンプリングする手法
• ダウンサンプリングまとめ
フィルタリング（ノイズ除去）
• Radius based outlier filter
球の半径内にある点の個数で判断
• Static based outlier filter
k近傍点との距離の平均から判断
アップサンプリング
• Edge Aware resampling
エッジと法線を利用してアップサンプリングする手法
https://www.cs.ubc.ca/~ascher/papers/hwgcaz.pdf
• Upsampling using Voronoi diagram
ボロノイ図を利用してアップサンプリングする手法
https://www.sci.utah.edu/~shachar/Publications/crpss.pdf
近傍点探索
• KDTree
点集合を二分探索木によって管理することで指定された点に最も近い点を効率的に求める方法
• Octree
3D空間を8分割することで点集合を効率的に探索する方法
特徴点抽出 (key points)
• ISS
距離によって重み付けして計算
https://ieeexplore.ieee.org/document/5457637
• Harris-3D
Harrisコーナー検出を3次元点群へ応用
https://www.ivan-sipiran.com/papers/SB11b.pdf
記述子 (descriptor)
• PFH
k近傍の点とその推定表面法線との間の関係をヒストグラム化して計算される特徴量
https://ieeexplore.ieee.org/document/4650967
• SHOT
局所座標系の原点に位置する点とその周辺点群の法線の角度差のヒストグラムから計算される特徴量
http://www.vision.deis.unibo.it/fede/papers/eccv10.pdf
レジストレーション
• Iterative Closet Point (ICP)
点群の剛体変換を求めて繰り返すことで一致させる
• Coherent Point Drift (CPD)
確率モデルを使用した手法
https://ieeexplore.jeee.org/abstract/document/5432191
ディープラーニングを使った解析手法
概要については下記記事でまとめています。
フィルタリング（ノイズ除去）
• PointClean Net
→PCPNetを応用した深層学習によるノイズ除去モデル
https://arxiv.org/pdf/2007.13551.pdf
• DMR Denoise
サブサンプル点およびその近傍特徴から、ノイズの多い点群特徴を学習。 教師なし教師ありのどちらにも対応
https://arxiv.org/pdf/2007.13551.pdf
ダウンサンプリング
• Learning to Sample
PointNetを基本構造としたサンプリングする点を生成するネットワーク
https://arxiv.org/pdf/1812.01659.pdf
• Sample Net
Learning to Sampleの応用
アップサンプリング
• EC-Net
Edge Aware resamplingをネットワークの学習に応用
https://yulequan.github.io/ec-net/
• PU-GAN
GAN (敵対的生成ネットワーク)を応用
https://liruihui.github.io/publication/PU-GAN/
特徵点
• 3DFeatNet
キーポイント検出器と特徴量を弱教師あり学習で求める
https://arxiv.org/pdf/1807.09413.pdf
• USIP
教師なしのキーポイント検出
https://arxiv.org/pdf/1904.00229.pdf
クラス分類/セグメンテーション
• PointNet、PointNet++
後発の研究にも大きな影響を与えた点群処理における代表的なモデル
• RnadLA-Net
効率的に演算するためのランダムサンプリングと局所的な特徴を抽出するLocal Feature Aggregation からなるモデル
• KPconv
点群の効果的な畳み込みを用いたモデル
https://arxiv.org/pdf/1904.08889.pdf
• Point Transformer
Transformer のアイデアを応用したモデル
https://openaccess.thecvf.com/content/ICCV2021/papers/Zhao_Point_Transformer_ICCV_2021_paper.pdf
レジストレーション(位置合わせ)
• PointNetLK
LK法にPointNetを適用したネットワーク
https://arxiv.org/pdf/1903.05711.pdf
• Deep Closet Point
DGCNNなどでエンコードし,transformerで対応付けする
https://arxiv.org/pdf/1905.03304.pdf
物体検出
• PointPillars
点群をPillarという特徴に変換することで高速な物体検出が可能
• VoteNet
物体の中心をハフ変換の投票メカニズムの応用で予測し、物体を検出
https://arxiv.org/pdf/1904.09664.pdf
機械学習を使った解析手法
クラス分類/セグメンテーション
• PointHop
https://arxiv.org/pdf/1907.12766.pdf
• PointHop++
https://arxiv.org/pdf/2002.03281.pdf
• Unsupervised Feedforward Feature (UFF)
https://arxiv.org/pdf/2009.01280.pdf
レジストレーション
• Unsupervised Point Cloud Registration via Salient Points Analysis (SPA)
https://arxiv.org/pdf/2009.01293.pdf
• R-PointHop
https://arxiv.org/pdf/2103.08129.pdf