DejaVu

Integrated Support for Developing Interactive Camera-Based Programs

カメラ入力を用いたインタラクティブなアプリケーション開発が一般的になるにつれ、その特徴的な開発フローが既存の統合開発環境に馴染まないことが明らかになってきた。そこで本研究では、統合開発環境の拡張機能DejaVuを提案する。我々は、カメラからの入力が与えられるたびに画像処理のパイプラインが走るプログラムの構造に着目して、既存の統合開発環境に2つのインタフェースCanvasとTimelineを追加した。Canvasインタフェースは、カメラからの入力とプログラム内の処理結果およびウィンドウ出力をリアルタイムかつ継続的に可視化し続ける。Timelineインタフェースは、同データを容易に記録、再生できる。また、ソースコードに変更があった際、記録したカメラ入力を用いて、プログラム内の処理結果とウィンドウ出力を更新できる。DejaVuは、3名のベテランターゲットユーザーによる予備的な試用の結果、好意的に受け入れられた。

本研究は、Microsoft Research Asia HCI Groupにおける3か月強のインターンの成果物である。Xiang CaoおよびSean McDirmidがメンターであった。

我々は以下の2つのインタフェースを、一般的な統合開発環境に追加した。実装のベースにはSharpDevelopを用いたが、VisualStudioやEclipse、Xcodeに同様の機能拡張を施すこともできる。