DejaVu
Integrated Support for Developing Interactive Camera-Based Programs

2012
UIST '12
関連キーワード: IDE, NUI
本研究の成果物である統合開発環境は、現在のところ公開される予定はありません。ただ、Kinectデータの録画再生など類似の機能は、統合開発環境とは独立したツールKinect Studioとして提供されています。ぜひご利用ください。

概要

カメラ入力を用いたインタラクティブなアプリケーション開発が一般的になるにつれ、その特徴的な開発フローが既存の統合開発環境に馴染まないことが明らかになってきた。そこで本研究では、統合開発環境の拡張機能DejaVuを提案する。我々は、カメラからの入力が与えられるたびに画像処理のパイプラインが走るプログラムの構造に着目して、既存の統合開発環境に2つのインタフェースCanvasとTimelineを追加した。Canvasインタフェースは、カメラからの入力とプログラム内の処理結果およびウィンドウ出力をリアルタイムかつ継続的に可視化し続ける。Timelineインタフェースは、同データを容易に記録、再生できる。また、ソースコードに変更があった際、記録したカメラ入力を用いて、プログラム内の処理結果とウィンドウ出力を更新できる。DejaVuは、3名のベテランターゲットユーザーによる予備的な試用の結果、好意的に受け入れられた。

本研究は、Microsoft Research Asia HCI Groupにおける3か月強のインターンの成果物である。Xiang CaoおよびSean McDirmidがメンターであった。

発表内容

UIST 2012 デモ動画

UIST 2012 発表スライド

DejaVu IDE

我々は以下の2つのインタフェースを、一般的な統合開発環境に追加した。実装のベースにはSharpDevelopを用いたが、VisualStudioやEclipse、Xcodeに同様の機能拡張を施すこともできる。

Canvas

Timeline

Canvas

  • 変数のドラッグ&ドロップによる可視化
  • カメラ入力、変数の中身、ウィンドウ出力のリアルタイム更新
  • スケッチによるアノテーション

Timeline

  • Canvasインタフェースに可視化されている項目が自動的に表示される
  • カメラ入力、変数の中身、ウィンドウ出力の自動録画と再生
  • ソースコードに変更があった場合に、カメラ入力の録画を用いて変数の中身とウィンドウ出力を自動更新

発表文献

引用するならコレ!2012UIST '12

DejaVu: Integrated Support for Developing Interactive Camera-Based Programs

Jun Kato, Sean McDirmid, Xiang Cao
Proceedings of the 25th Annual ACM symposium on User Interface Software and Technology, pp.189-196
クリップボードにコピー