3次元復元

3次元復元はインターネット上の仮想モールや文化遺産のディジタルアーカイブ化など様々な応用がなされています。 本研究室では、3次元復元を行うオブジェクトの特徴点の3次元位置を計算する手法や、実際にオブジェクトの全周多面体表現などを行っています。


 

特徴点の対応付け

3画像からの3次元復元を行うにあたって, 3枚の入力画像における対応点を取得する必要があります。対応点の取得方法には様々な手法がありますが、本研究室では各画像からSIFTと呼ばれる手法に より特徴点を抽出し, それらを対応付けることで対応点を取得します。また、対応付けの際に誤対応点が含まれることがあるため、エピ極線幾何を用いた誤対応点除去を行っていま す。エピ極線幾何とは、空間上のある点を複数の視点から撮影した場合に現れる特有の幾何関係のことで、3画像間のエピ極線幾何を考慮して誤対応点除去を行 うことで、誤対応点の検出精度を向上させています。

matchingimage

3画像の対応点自動取得

 


 

特徴点軌跡の延長

ビデオ画像から物体の3次元形状の復元を行う方法として、因子分解法が存在します。因子分解法では、ビデオ画像から各フレームで追跡された特徴点の軌跡 から3次元形状を復元します。この方法では、ビデオ画像の全てのフレームにおいて全ての特徴点が追跡されている必要があります。しかし、実際のビデオ画像 では物体の背面や凹凸などに隠れて写らない特徴点が存在します。そこで、本研究では写っている特徴点を用いて、写っていない特徴点の位置を推定します。

000in
011in
019in

画像中に写っている特徴点のみを取得した例

000out

011out
019out

画像中に写っていない特徴点も含めた全特徴点


3次元位置の計算

3次元位置の計算には様々な方法があります。本研究室では、3画像間の対応点から基礎行列を計算して、カメラ運動と3次元位置を求める方法と3画像間の対応点から三重焦点テンソルを計算して、3次元位置を求める方法を行っています。

  • シーンを撮影した多くの画像から3次元復元を行う手法では多くの画像を扱うにも関わらず、基本的な3次元復元は2画像からの3次元復元により行われています。そこで、本研究では2画像を3画像へ拡張し、3画像の対応点から3次元位置を計算します。
  • 3画像間でそれぞれの画像において同一点を示す時、三重線形拘束条件が成り立ちます。三重線形拘束条件式における三重焦点テンソルと呼ばれる3台のカメラ配置から求まる3×3×3の3階のテンソルを高精度に計算することで、より正確な3次元位置の計算を行います。

 

疎な対応点からの3次元復元

2画像から3次元復元を行うためには、対応点とそれからなる三角網を定義する必要があります。対応点が少ないときに三角網を定義すると物体形状に矛盾す る三角形が含まれてしまい、別の視点から見ると不自然な見え方となってしまいます。そこで、本研究では三角網の細分化と簡略化を行うことで、物体形状に適 合した三角網の生成を行います。

3Dmesh_1

初期状態

3Dmesh_2

三角網の細分化

3Dmesh_3

三角網の簡略化


 

複数三角形メッシュの統合

物体の全周形状表現には様々な方法があります。本研究室では、未校正カメラからの3次元復元を基として物体の全周形状表現を行っています。 全周形状表現を行う物体をカメラで撮影した場合、一枚の画像では物体の背面や凹凸などに隠れて一部分しか写りません。そこで、本研究ではオブジェクトの全周が写った複数の画像に三角形メッシュを定義し、それらを統合することで物体の全周形状表現を行います。

image000
image001
image002

3D2

歪み系数を考慮したバンドル調整

コンピュータビジョンの分野では複数枚の画像を入力として撮影シーンの3次元形状やカメラの位置姿勢を推定することがよく行われています.最近ではスマートフォンの普及によって,様々な場所で簡単に撮影できるようになって,画像情報を使った3次元復元の需要が高まっています.しかし,これらに搭載されるカメラには広角レンズが多く採用されています.そのため,スマートフォンで撮影した画像にはレンズによる歪みが生じてしまって,3次元復元のカメラの位置姿勢の推定精度が低下してしまいます.

スマートフォンで撮影した画像

歪みを補正した後

推定したパラメータの精度を更に向上させる手法としてバンドル調整があります.バンドル調整とは多画像間の対応点から計算された誤差を含むパラメータを調整する方法です. しかし,既存のバンドル調整を定式化する研究ではこのレンズ歪みについて考慮していないので,歪みのあるレンズで撮影した未補正な画像を使った場合,推定精度が低下する問題があります.

本研究では既存手法を改善することで歪みを含むレンズで撮影した画像に対応しました.

続きを読む...

仮のカメラ運動に基づいた対応点とカメラ運動の同時推定

複数枚の画像から撮影シーンの3次元復元を行う時、カメラの位置姿勢を推定することが必要とされています。カメラの位置姿勢を推定する方法として、画像間で対応する箇所(対応点)を探索し、その結果から推定を行う方法がよく利用されます。対応点を探索する手法は複数提案されていますが、誤った対応が含まれることがあります。誤った対応が含まれると、画像間の正しいカメラ運動を求めることができません。

誤った対応点が含まれる対応点組

4

誤った対応点を含んだ状態で得たカメラ運動

本研究では、ユーザが目視で指定した仮のカメラ運動を初期値として与え、そのカメラ運動を基にした幾何学的制約に合致する対応点を選択してカメラ運動を推定することで正しいカメラ運動の推定を行います。

続きを読む...