研究内容人に合わせるデジタルヒューマン

4次元計測システム - 歩行中の足の3次元形状計測

>> English

背景・概要

従来の人体形状計測装置の多くは,制御された光源を用いて3次元形状を計測する手法を用いており,原理的にデータ取得に時間がかかる(数秒)ことが知られている.本研究は,歩行中の足の形状変化の計測データを取得することを目的としている.

コンピュータ・ビジョンの分野において,複数画像からシーン内の物体の3次元形状を再構成する問題は普遍的な課題であり,過去に数多くの研究が行われている.トリガ入力を用いて同期したビデオ・カメラにより取得される複数の動画像を用い,各フレームで3次元形状の再構成を行うことにより,(3次元形状+時間軸の)4次元計測を実現するための研究を行っている.最終目標は足(足首より先の部分)の完全な形状を計測することであるが,現在は,足の基本的な特徴量であるボール,インステップ,ヒールに着目し,歩行中の特徴量の計測技術の研究を行っている.

処理対象

下図に示した3つの線は,爪先の方から順に「ボール」「インステップ」「ヒール」と呼ばれ,それぞれの位置は解剖学的なランドマークによって定義されている.日本の工業規格では,靴の大きさは「足長」「ボール部断面の周長」「ボール部断面の幅」の3つのパラメータで定義されている.また,インステップやヒールは,靴の設計時にフィット感を評価するための指標として用いられている.このように,これら3つの特徴断面は基本的かつ重要なデータである.本研究では,これらの特徴断面にテープを巻き,そのテープの形状を3次元再構成している.

3lines.jpg
要素技術
  • カメラ・キャリブレーション
    • Tsai手法を簡便に適用するためのインタフェース作成

  • 画像内のボール,インステップ,ヒール領域の検出
    • 背景差分,色情報などを用いた画像処理で入力画像内のマーカ領域を検出

  • エッジ・ベースドなステレオ法
    • 安定的にマッチングを取るため,検出されたマーカ領域の端のみで対応点探索
    • ゼロ交差法を用いて,マーカ領域の端の位置をサブ・ピクセル推定

  • ステレオ・マッチングに適したカメラ組の取捨選択
    • カメラの向きによる選択
    • エピポーラ線とエッジの角度による選択
キャプチャ・システム

トリガ入力によって同期されたIEEE1394カメラ を6台用い,各カメラ毎に接続されたPCをリモート制御することにより,同期されたステレオ動画像を約14FPS(70msec間隔)で撮影するシステムを構築した.なお,得られる画像は,サイズXGA(1024×768)で,16bpp(2pixelで4Byte)のYUV画像である.

cameras.jpg system.jpg
処理内容・結果例

I.入力画像
cam01.jpg cam07.jpg cam02.jpg cam05.jpg cam06.jpg cam08.jpg

II.各画像内のマーカ領域の検出
region01.jpg region07.jpg region02.jpg region05.jpg region06.jpg region08.jpg

III.カメラ組の取捨選択+ステレオ・マッチング

III-A.逆向きのカメラ組は用いない
fig1a.jpg fig1b.jpg

III-B.エピポーラ線がエッジの向きと垂直に近い場合は用いない
fig2a.jpg fig2b.jpg fig2c.jpg

III-C.1対1対応の対応点のみを採用する
fig3.jpg

IV.上記の(Iで示した)入力フレームからの3次元再構成結果
cg1.jpg cg2.jpg cg3.jpg

V.入力された動画(解像度を落したmpeg)と,3次元再構成結果のムービー
入力動画 #1(160kB)
入力動画 #2(160kB)
入力動画 #3(160kB)
入力動画 #4(160kB)
入力動画 #5(160kB)
入力動画 #6(160kB)
3次元再構成結果(9MB)