ステレオカメラの3 次元シーンの再構成

以下のサイト

https://jp.mathworks.com/help/vision/ug/depth-estimation-from-stereo-video.html

を参考にして実際に自分のカメラデバイスでマッピングをするとき、「ビデオファイルリーダーとビデオプレーヤーの作成」では

以下のコード

videoFileLeft = 'handshake_left.avi';

videoFileRight = 'handshake_right.avi';

では'avi'形式で動画を用いていたことから、画像ではなく'avi'形式で動画をとる必要がありますか?

またこれをrealsenseカメラで行う際にどうすれば'avi'形式で動画を撮影することができますか?

Answer 1

[Kenta]

後処理でもよいのか、リアルタイムでやりたいかにもよりますが、もし後処理でよい場合、画像でも問題ないです。画像を順番になるように名前をつけておいて、順に読み込んでいけば、こちらの例題と同じようになるはずです。

また、リアルセンスのバージョンにもよるのですが、赤外線照射によって、特徴点の少ないところも復元できるようにカーバーしていると記憶していて、そのあたりは上のＵＲＬではできないと思います（ステレオカメラのみを用いたドキュメントなので）。ただ、上のドキュメントでもかなりきれいに復元ができると思うのでまずは色々と試されるとよろしいかと思います。

以上、お役に立てれば幸いです。

[圭介 川邉]

Kentaさんにお聞きしたいのですが、私は現在Realsenseのd435iを用いています。

このバージョンでは上記のURLサイトでマッピングを実行することができますか?

またKentaさんが過去にRealsenseカメラやZEDカメラでどのサイトを参考にしてMATLABで三次元シーンの再構成を実現していたのかを詳しく教えていただけませんか?

[Kenta]

返信が遅くなり申し訳ありません。

>>このバージョンでは上記のURLサイトでマッピングを実行することができますか?

いま手元にカメラがないので確認できないんですが、リアスセンスからステレオ画像を得ることはできましたか？もし得られているのなら、上のURLは実行可能です。

ZEDの場合はまさに上のURLで、リアスセンスのほうは、リアスセンスから出ているmatlabファイルで３Dの再構築をしていました。ZEDのほうが長くつかっていて、PCに差し込み、リアルタイムで表示させたり、深層学習ネットワークと組み合わせて物体の認識などをしておりました。

image acquisition toolboxをもちいることで、簡単に処理できていました。ＺＥＤの場合は、そこでステレオ画像を得て、ＰＣに保存し、連番で左右が対応できるようにしておき（r1.png, l1.pngなど）ＭＡＴＬＡＢアプリでキャリブレーションをしました。そこで得たパラメータをもとにブロックマッチングで３Ｄの再構築をしていました。