VisionSketch
Integrated Support for Example-Centric Programming of Image Processing Applications

2013-2014
GI '14
ACM PLDI '13 Student Research Competition Finalist
関連キーワード: PwE, Live, IDE, NUI
ソースコードがGitHubで公開されています。WindowsとMac両用です。

概要

プログラムの手順を表すのに文字が最善手とは限らない。とくに画像処理のパイプライン処理では、入力と出力は画像および動画であり、アルゴリズムに渡すパラメタは二次元座標系上の領域など画像や動画上で何らかの意味を持っていることが多い。我々は画像処理のプログラミングが持つこれらのビジュアルな特徴に着目し、画像処理のパイプラインを素早く構築して実行できるプロトタイピング目的の言語および開発環境"VisionSketch"を提案する。

VisionSketchのユーザは、まず操作対象となる画像または動画のソースを開き、その上で図形を描いて着目する領域(ROI, region of interest)を指定する。次に、VisionSketchの開発環境がROIに対して適用できる操作を一覧表示する。ユーザがその中から一つを選ぶと、操作の適用結果がインタラクティブに表示される。ユーザは、このようにして望みの操作を探すことができる。さらに、必要であれば、出力として得られた画像または動画を入力として用い、ROIの指定と画像処理の適用を繰り返すことができる。

VisionSketchでは、従来の文字列ベースの言語ではメソッド呼び出しの繰り返しとしてタイピングにより記述していた処理が、図形の描画と必要な操作の選択をGUIの直接操作で繰り返すことにより指示可能となっている。

発表内容

GI 2014 デモ動画

GI 2014 発表スライド

VisionSketch IDE

Overview
VisionSketch IDEの概観
Overview (original version)
PLDI '13発表時の初版の概観
Example use case #1: counting grinds
構築した画像処理パイプラインの例

発表文献

引用するならコレ!2014GI '14

VisionSketch: Integrated Support for Example-centric Programming of Image Processing Applications

Jun Kato, Takeo Igarashi
Proceedings of the 2014 Graphics Interface Conference, pp.115-122
クリップボードにコピー

Visionsketch: Gesture-based Language for End-user Computer Vision Programming

2013Student Research Competition at PLDI '13ACM PLDI '13 Student Research Competition Finalist
Jun Kato
The 34th ACM SIGPLAN Conference on Programming Language Design and Implementation