・ SlidAR: Visual SLAMを用いたハンドヘルド型拡張現実感のための三次元位置指定法
 


 Visual SLAMを用いたハンドヘルド型拡張現実感のための三次元位置指定方法を提案する.本研究では,拡張現実感のためのアノテーションなどの三次元位置をタブレット端末を用いて効率良く配置することを実現する.Visual SLAMを用いた場合には,環境の疎な形状情報のみしか取得することが出来ないため,一度の操作で正確な三次元位置を指定することは難しい.このような問題に対して,本研究では,エピポーラ拘束に基づく三次元位置補正インタフェースを開発した.本研究で提案するインタフェースを用いることで,従来提案されている位置補正インタフェースよりも高精度かつ素早い位置の補正が可能であることをユーザ実験を通して確認した.
J. Polvi, T. Taketomi, G. Yamamoto, A. Dey, C. Sandor, and H. Kato:
"SlidAR: A 3D Positioning Method for SLAM-Based Handheld Augmented Reality",
Computers and Graphics, Vol. 55, pp. 33-43, 2016. (pdf file)

・ 
ズームによる内部パラメータの変化を考慮したカメラ位置・姿勢推定
 


 これまでのビデオシースルー型拡張現実感では困難であったカメラズーム機能利用時における高精度な位置合わせ手法を提案する.本研究では事前にカメラズーム利用時の内部パラメータの変化を計測しズーム値を変数とする関数でモデル化しておくことでオンラインのカメラ位置・姿勢推定時に高精度かつ安定に内部パラメータおよびカメラの位置・姿勢を同時に推定することを実現する.オンラインでの推定時には,従来の再投影誤差に基づくエネルギー関数に,エピポーラ拘束に基づくエネルギー項と連続フレーム間におけるズーム値の連続性に関するエネルギー項を加えた新たなエネルギー関数を用いることでズーム値とカメラ位置・姿勢の同時推定を実現している.
T. Taketomi, K. Okada, G. Yamamoto, J. Miyazaki, and H. Kato: "Camera Pose Estimation under Dynamic Intrinsic Parameter Change for Augmented Reality", Computers and Graphics, Vol. 44, pp. 11-19, Jul. 2014. (pdf file)

・ 変形を伴う物体への幾何的整合性を考慮したテクスチャプロジェクション
 




 投影型拡張現実感は,ヘッドマウントディスプレイやモバイル端末などの機器を用いた拡張現実感に対して,複数人が同じ情報を容易に共有可能であるという特長を持つ.このような特長を持つことから,工業製品に対するデザイン支援を目的としたシミュレーションシステムへの応用が期待されており,これまでに様々な手法が提案されている.しかし,これまでに提案されている手法では, 投影対象の物体は剛体であることを仮定しており,形状デザインをその場で変更するようなデザインシミュレーションを実現することは困難であった.この問題に対して,本研究では,柔軟物体の形状情報に基づいて適切にテクスチャの投影を行える投影型拡張現実感システムを構築することで,形状デザインの変更が可能なデザインシミュレーションを実現する.提案システムでは,プロジェクタカメ ラシステムを用いて物体の形状計測と物体表面に配置した再帰性反射素材マーカを認識することで,形状デザインが変更された場合においても適切にテクスチャを投影し,物体表面のテクスチャのシミュレーションを可能とする.
Y. Fujimoto, R. T. Smith, T. Taketomi, G. Yamamoto, J. Miyazaki, H. Kato, and B. Thomas:"Geometrically-correct projection-based texture mapping onto a deformable object", IEEE Transactions on Visualization and Computer Graphics, Vol. 20, No. 4, pp. 540-549, Mar. 2014. (pdf file)

・ 道路環境の三次元モデル生成のための計測点群からの移動物体上の点の除去
 




 現実環境の測定結果に基づいて,広域な屋外環境の三次元モデルを生成する技術は景観シミュレーションや複合現実感などの様々な分野への応用が期待されている.現実環境の測定に基づく三次元モデル生成手法では,レーザレンジファインダやカメラ,GPS,ジャイロセンサなどのセンサを用いて計測されているが,三次元測定時に移動物体が含まれた場合,これらの点は三次元モデル生成の過程において妨げとなるという問題がある.この問題を解決するために,本研究では,三次元モデル生成のための前処理として,レンジファインダから得られる形状データと撮影位置・姿勢情報が既知の複数の全方位画像から得られる輝度情報を利用して,測定データ中から移動物体上の点を除去する手法を提案する.提案手法では,レンジファインダで測定した点を複数の全方位画像上に投影した際の輝度の変化に基づき,移動物体上の測定点を抽出する.
T. Kanatani, H. Kume, T. Taketomi, T. Sato, and N. Yokoya: "Detection of 3D Points on Moving Objects from Point Cloud Data for 3D Modeling of Outdoor Environments", Proc. IEEE Int. Conf. on Image Processing (ICIP2013), pp. 2163-2167, Sep. 2013. (pdf file)

・ ランドマークデータベースを用いたカメラ位置・姿勢推定
 



 拡張現実感において,現実環境と仮想環境の幾何学的な位置合わせを実現するためには,カメラの位置・姿勢を推定する必要があり,現在までに様々なカメラ位置・姿勢推定手法が提案されている.なかでも,ランドマークデータベースを用いたカメラ位置・姿勢推定手法は,屋内外を問わず利用でき,広域な環境を対象とした場合にもカメラ位置・姿勢推定の誤差が累積しないという特長を持つ.しかし,従来手法ではデータベース中のランドマークと入力画像上の自然特徴点との対応付け処理に多くの計算コストを必要とするため,実時間でのカメラ位置・姿勢の推定が困難であるという問題がある.そこで,本論文では連続フレーム間でのランドマークの追跡とランドマークへの優先度情報の付加により,対応付け処理において用いられる対応点候補数を削減することで,実時間でのカメラ位置・姿勢推定処理を実現する手法を提案する.
T. Taketomi, T. Sato, and N. Yokoya: "Real-time and Accurate Extrinsic Camera Parameter Estimation using Feature Landmark Database for Augmented Reality", Computers and Graphics, Vol. 35, No. 4, pp. 768-777, Aug. 2011. (pdf file)
 
・ GPS測位精度を考慮した動画像とGPSの併用によるカメラ位置・姿勢推定
 


 広域屋外環境における動画像からのカメラ位置・姿勢推定において,GPS を併用することで蓄積誤差を抑止する手法を提案する.従来提案されている動画像と GPS の併用手法は,GPS の測位誤差として平均値 0 の正規分布を仮定しているため,特に GPS の測位精度が低い場合などのように,短時間の観測において平均測位位置が真値から大きく外れる (バイアス誤差が大きい) 場合においてカメラ位置・姿勢の推定精度が大きく低下するという問題がある.この問題に対して,本研究では,GPS 受信機の真の位置が GPS の測位位置を中心とする GPS の測位精度に依存した一定の範囲内に存在することを仮定し,この仮定に基づくエネルギー関数を最小化することで,バイアス誤差の影響を排除しながら GPS の測位精度に応じて動画像からのカメラの位置・姿勢推定結果を補正する.
H. Kume, T. Taketomi, T. Sato, and N. Yokoya: "Extrinsic camera parameter estimation using video images and GPS considering GPS positioning accuracy", Proc. 20th IAPR Int. Conf. on Pattern Recognition (ICPR2010), pp. 3923-3926, Aug. 2010. (pdf file)
 
・ 中空透明球体上の鏡面反射光を用いた近接光源位置の推定
 



 近接光源位置の推定は, 照度差ステレオ法による物体形状の計測において重要な課題である. 本研究では, 実環境の光源分布を計測する方法として, 中空透明球体を用いた近接光源位置の推定手法を提案する. 従来, 近接光源位置の推定手法として, 複数の参照物体から観測される反射光や単一の参照物体によって生じる影を用いる方法が提案されてきた. しかし, 前者は参照物体間の位置関係を事前にキャリブレーションする必要があり, 後者には推定すべきパラメータが多く, 光源位置を安定に推定することが難しいという問題がある. 本研究では, 中空透明球体を用いることで, これらの問題を解決する. 提案手法は, (1) 単一の参照物体のみによる推定を行うため参照物体間の幾何学的キャリブレーションが不要である, (2) 光源・カメラの光学中心・透明球の中心の 3 点で構成されるエピポーラ平面上に必ず反射光が存在するため, 画像上で反射光と球中心が直線上に観測でき反射光の対応付けが容易である, (3) 画像上で反射光の再投影誤差を最小化することで光源位置を高精度かつ安定に推定できる, という特長がある.
T. Aoto, T. Taketomi, T. Sato, Y. Mukaigawa, and N. Yokoya: "Position Estimation of Near Point Light Sources using Clear Hollow Sphere", Proc. 21st IAPR Int. Conf. on Pattern Recognition (ICPR2012), pp. 3721-3724, Nov. 2012. (pdf file)
 
・ エッジベーストラッキングにおける推定可能自由度の変化に対するロバスト性の向上
 

 モデルベーストラッキングは対象物体の形状によって推定可能な自由度が減少する場合がある.推定可能な自由度が減少した場合,(1) 推定値が一意に定まらないために不安定な状態になる.(2) 推定不可能になった自由度の復帰が困難になる,という問題がある.従来では,これらの問題が生じた場合には再度初期化を行わなければ,位置・姿勢の推定処理を継続させることができなかった.本研究では,この問題に対して,推定可能な自由度を逐次算出することで現在のトラッキング状態を観測し推定可能な自由度が減少した場合には,零空間を探索することで減少した自由度の位置・姿勢推定処理への復帰を実現する.
K. Kumagai, M. Oikawa, T. Taketomi, G. Yamamoto, J. Miyazaki, and H. Kato:
"Robust model-based tracking considering changes in the measurable DoF of the target object", Proc. 21st IAPR Int. Conf. on Pattern Recognition (ICPR2012), pp.2157-2160, Nov. 2012.(pdf file)
 
・ 粗なポリゴンメッシュを用いた三次元曲面物体のモデルベーストラッキング
 
 粗なポリゴンメッシュを用い たテクスチャの無い 3 次元曲面剛体物体のための新たなモデルベーストラッキング法を提案する. 本研究では, オフラインにおいて,メッシュ内の各パッチについて一般的な二次多項式を計算し, 物体の輪郭の滑らかな局所近似を与える. オンラインでのトラッキング時にはメッシュのエッジをそのまま計算に使用するのではなく, オフライン処理で算出された二次曲面を射影した曲線を再投影誤差の算出に利用する. この表現を用いることで, モデル形状の複雑さに依存せずにトラッキング精度を保ちながら, 計算効率良く処理することができる. 
M. Oikawa, T. Taketomi, G. Yamamoto, M. Fujisawa, T. Amano, J. Miyazaki, and H. Kato: "A model-based tracking framework for textureless 3D rigid curved objects", SBC Journal on 3D Interactive Systems, Vol.3, No. 2, pp. 2-15, Jan. 2013. (pdf file)