3D model reconstruction with kinect

この記事ではKinectを使った空間の3D復元について紹介します。
Kinectは毎秒30フレームで前方を撮影し、RGB画像と深度画像を出力します。このRGB画像に対し特徴点抽出を行い、前後のフレームの特徴点をトラッキングし、深度画像と組み合わせてカメラ座標系において特徴点がどのように移動したかを求めます。カメラの視界内部の物が動かないとすれば、フレーム間の特徴点の移動がすべてカメラの移動によるものとみなせるため、各時点でのカメラの位置と向きの変化が求められます。それを積み重ねて、補正を行い絶対座標系内のカメラの位置と向きを求め、カメラ座標系内の各画素の座標と組み合わせることで空間を復元します。

3d reconstruction
3D復元のデモビデオです。復元の過程を16倍再生して表示しています。映像内では復元された空間を2cm角のボクセルの集まりとして表現しています。
左側はKinectから得られたRGB画像であり、緑の線は特徴点のトラッキングを表しています。右側は復元された三次元空間を表示しています。

カテゴリー: 未分類 パーマリンク