DLPプロジェクタによる高速度構造化光投影を利用した高速度アクティブビジョン

Srinivasa G. Narasimhan, Sanjeev J. Koppal, and Shuntaro Yamazaki,
“Temporal Dithering of Illumination for Fast Active Vision”,
Proc. European Conference on Computer Vision, pp.830-844,
Oct. 2008.

[予稿] [Movie] [プレゼンテーション] [BibTex]

“超高速度で形状を計測するためのプロジェクタカメラシステム ”,
ポスター発表，産総研オープンラボ，他
2008年10月.

“高速度3D計測システム ”,
ポスター発表，TXテクノロジー・ショーケースin筑波，他
2009年1月.

“3D計測，100万円切る”,
日経産業新聞，1面，
2009年2月19日．

DLP (Digital Light Processing)プロジェクタは，光源から発せられた光をDMD (Digital Micromirror-array Device)を用いてスクリーンに反射することによって，映像を表示するシステムです．( 画像 はTexas Instruments 社の資料より抜粋)

DMDは多数の微小鏡面を平面に配列した表示素子です． 各微小鏡面は軸周りに± 12度傾斜でき， 光源からの光を外部（スクリーン）に反射するか，内部の吸収体に反射するかを選択することによって光の投射を制御しています．( 画像 はTexas Instruments 社の資料より抜粋)

この図は，構造化光を用いた，プロジェクタとカメラ間の三角測量に基づく形状計測システムを示しています． 高速度カメラにPHOTRON社製 Fastcam 1024-PCI，プロジェクタに Infocus社製の IN38 DLPプロジェクタを利用しています． カメラとプロジェクタの相対位置，射影パラメータはあらかじめ校正しておきます． この例ではカメラとプロジェクタを鉛直直線上に配置しています．

プロジェクタによる構造化光を利用した3D計測システムは， 異なるパターン投影像を複数回計測する時間コード化法と， 色情報を利用して単一の計測画像から形状を復元する空間コード化法に大別されます． われわれのシステムは，時間コード化法に分類されます． ただし既存のシステムと異なり，プロジェクタからは単一のカラーパターン画像を投影します． また，計測画像の色情報は利用していないため，物体表面の模様や色に対して，比較的頑健に計測を行う事が出来ます． この写真は，投影像を60Hz(低速度)のカメラで計測した画像です．

この動画は DLPプロジェクタで単一のパターン光を投影し3000Hzの高速度カメラで撮影した映像 です． パターン画像中の異なる色(輝度)を合成するために，プロジェクタ内部の光源からの反射光が，DMDによって高速にON-OFFされている様子が分かります． パターン画像中の各色が，DMDによってどのような2進パターン列に分解されるかをあらかじめ調べておくことにより， 計測画像の各画素が対応する，パターン画像中の画素位置を一意に決定できます．

The correspondences between projector and camera pixels are estimated by finding the best match of the intensity profiles in temporal domain. The intensity profiles of a projector pixels are captured from the right edge of the acquired images where stripe pattern is projected on a plane located at a known distance. This alleviates the synchronization issue between the projector and the camera.

The shape of a statue object is recovered using 25 continuous images acquired by a high-speed camera at 3kHz. The background region is eliminated by thresholding out the pixels which have large error in the stripe matching.

We capture the appearances of a dynamic scene illuminated from multiple lighting directions using multiple DLP projectors. We draw upon the idea of illumination de-multiplexing, where the images of the scene are simultaneously captured from multiple source directions and de-multiplexed in software to obtain the desired images under each lighting direction. A mirror sphere is placed in the scene to measure the dithering intensities from the three projectors.

De-multiplexing illumination from three projectors to create appearances under each lighting direction. The scene consists of a wiry polyhedral ball falling vertically, and illuminated by three DLP projectors simultaneously. We can separate the illumination and obtain three sequences of images illuminated by either 1st, 2nd, or 3rd projector.

Three DLP projectors simultaneously illuminate a fast moving flag and the camera operates at 3kHz. The projectors and camera are far enough away from the scene to assume orthographic viewing and distant lighting. The surface normal at a point on the object is computed by photometric stereo using three de-multiplexed illumination images.

When the photograph of a dancer is acquired under a DLP illumination, we see multiple copies of the body that moves simultaneously in multiple directions.

When a brick with the writing “ECCV08” falling vertically is illuminated by a fluorescent source, the resulting motion-blur appears like a smear across the image. On the other hand, when the scene is illuminated using a DLP projector, we see distinct copies of the text that are translated downward. Thus, the DLP illumination preserves more high frequencies in the motion-blurred image.

The DLP projector and the camera are co-located using a beam splitter. A single checker pattern with two intensities 113 and 116 are input to the projector.

The DLP projector emits complementary checker patterns onto the scene (movie) that are used to separate the direct and global components (movie).

See how DLP® technology works at the official page by Texas Instruments.

See also another project page at Carnegie Mellon University.