トップ
TextAlive
Griffith
Songle Sync
f3.jsプロジェクト
このページでは加藤が関わってきた研究・開発・デザインに関するプロジェクトの一覧を見ることができます。グラフィックデザインとインタラクションデザインに絞った一覧はデザインのページでも確認できます。
研究プロジェクト
研究者として、所属先の東京大学、Microsoft Research、産業技術総合研究所、アーチで取り組んできた研究プロジェクトの一覧です。
歌詞が魅力的にアニメーションするインタラクティブなビジュアルアートとして新たなメディア様式「リリックアプリ」を提案しました。その開発を支援するフレームワークを実装し、プログラミング・コンテストを開催し、応募された52作品を分析することで、創作文化の未来および音楽とプログラミングの関わりについて洞察を得ました。
創造性支援環境人々がAIを活用しながらコンテンツ創作を行いたいと思える創造的な社会を実現するためには、コンテンツが次の創作を触発する持続可能なエコシステムの形成が重要です。
私は、そうしたエコシステムにおいて人々とコンテンツが織りなす創作文化が果たす役割に着目し、コンテンツの創作・流通過程を支援する創造性支援環境 (Creativity Support Environments)を実現することで、創作文化を工学的につくり支えるインタラクション技術の確立を目指しています。
ODEN seamlessly supports the edit and experiment repetition in deep learning application development by allowing the user to construct the neural network (NN) with the live visualization and transits into experimentation to instantly train and test the NN architecture.
"Guided optimization" provides programmers a set of valid optimization options and interactive feedback about their current choices, which enables them to comprehend and efficiently optimize the image processing code without the time-consuming process of trial-and-error in traditional text editors.
ユーザインタフェース設計
プログラミングは今よりもっとソーシャルな行為であるべきです。プログラミング環境は、プログラマのためだけの環境である必要はありません。むしろ、多様な技術的背景を持つ人々のために設計されるべきです。
私は、プログラミング環境の設計を包摂的にする工夫により、プログラミングを通じたコミュニケーションが成立し、すべての人々にプログラミングによる利益──ひいてはエンパワーメントをもたらすことができると考えています。
科学技術と社会これまで、科学技術全般に広く関心を持っていろいろな活動をしてきました。古くは立花隆ゼミで科学技術メディアサイト構築に携わり、その後も科学技術コミュニケーションに関心を持ってきました。
自身が研究職に就いてからは、研究成果の社会展開へ継続的に取り組んできたほか、科学技術の研究が切り拓く未来についての論考を書いたり、設定考証に携わったりしてきました。
Live Programmingは、プログラム実行時の情報を参照しながらプログラムを編集できるようにするプログラマ向けのインタラクションデザインです。プログラムの情報をプログラマへどう提示するか、プログラマの編集意図をどう汲み取るかというHCIの観点が極めて重要です。
私は、Live Programmingのためのユーザインタフェースの提案を通して、その応用範囲を拡大する研究を行ってきました。例えば、プログラマとユーザによるプログラムの共同開発支援や、実世界のプログラミング支援などに取り組んできました。
Programming with Examples (PwE)は、プログラマがインタラクティブなアプリケーションの開発を行う際にExamples (例示データ)の助けを借りる開発手法です。通常の統合開発環境には、例示データの可視化と管理のための機能はありません。そこで私は、統合開発環境に特別なユーザインタフェースを追加することでPwEを支援する研究を行ってきました。
PwEは、IoTデバイスの開発、画像処理、動画編集、機械学習など、大量のデータを扱う必要のあるアプリケーション開発において重要な役割を果たす開発支援技術です。
ReactileSwarm UIのアプリケーション開発において、直接Swarmを操作することでSwarmの振る舞いをプログラミングできる手法(direct physical manipulation)を提案した研究です。
User-Generated VariablesUGVは、アプリケーションに対する機能要望を変数宣言のかたちに制限することで、ユーザからの要望が明確になり、プログラマも実装の可否を判断しやすくなるインタラクションデザインです。
Live TuningLive Tuningは、Live Programmingから定数値をインタラクティブに変更できるインタラクションデザインだけを抜き出したものです。プログラマでなくともプログラムの振る舞いをカスタマイズできるようにする技術です。
楽曲片がリズムよくマッシュアップされた音楽を聴きながら、その構成要素をひも解き、元曲を復元していくパズルゲームです。音楽を楽しみながら"Musical Thinking"を深めることができます。
処理したい映像上でスケッチすることで画像処理パイプラインを構築できるビジュアルなプログラミング環境です。既存アルゴリズムに満足できなければ、文字ベースのプログラミングにスムーズに移行できます。
ゲームなどの視覚的なアプリケーション開発において、プログラム実行画面の録画映像を表示し、さらに参照している画像リソースなどを編集して動的に確認できる統合開発環境です。
TouchDevelopはユーザインタフェースのLive Programmingを可能にするWebベースの統合開発環境です。Webアプリを起動したまま、そのユーザインタフェースを定義するソースコードを変更できます。
人やロボットの姿勢データを写真と紐づけて管理し、ソースコード中に写真を貼り込める統合開発環境です。ソースコードを直感的に理解できるようになるほか、初学者でも写真撮影を通してプログラムの振る舞いを変えられます。
ビリヤード台をプロジェクションマッピングで覆い、ボールの動きに応じてビジュアルエフェクトを表示することで、これまでにないビリヤード体験を実現するオープンソースプロジェクトです。
Kinectなどのカメラ入力を用いたインタラクティブなアプリケーション開発を支援する統合開発環境です。カメラ入力を自動録画し、プログラム実行結果を何度も再生したり、プログラムを修正して実行結果を更新したりできます。
ロボット工学の専門知識を持たないHCI研究者やインタラクションデザイナーでも、生活空間を動き回れる"Robotic Things"—ロボット的なるもの—をプロトタイピングできるツールキットです。
プログラムの実行結果がソースコード入力時のキーの打鍵圧に影響を受ける統合開発環境です。メソッド呼び出しを強く打鍵すると物理シミュレーション上でボールが速く動いたりします。
机上に部屋の見下ろし映像が投影され、その上のテレビ、写真立て、照明などを直接操作できるタッチ入力インタフェースです。床を操作することで掃除ロボットへの指示出しもできます。
机上に見下ろし映像が投影され、その上で複数台の移動ロボットを同時に制御できるマルチタッチ入力インタフェースです。個々のロボットに指示出しする代わりに、環境側に流れを描いてたくさんのロボットを「流す」ことができます。
デザイン・開発プロジェクト
デザインや開発に主眼が置かれたプロジェクトです。趣味またはプロボノ的活動として取り組んできました。
マジカルミライ2018 ライブ映像制作「マジカルミライ2018」で、マジカルミライ2018楽曲コンテストグランプリ作品であり、ライブで演奏された「METEOR」の映像制作を行いました。TextAliveで制作した歌詞アニメーションが大画面で流れました。
SNOW MIKU LIVE! 2018 映像制作「SNOW MIKU LIVE! 2018」で、SNOW MIKU 2018テーマソングであり、ライブ最後のアンコール曲を飾った「四角い地球を丸くする」の映像制作を行いました。TextAliveで制作した歌詞アニメーションが、紗幕上方に大画面で流れました。
"junkato.jp" Webサイト
Tenju Works Webデザイン
OngaCREST関連デザイン
キートップの最下列から順に、列ごとにネームスペース、クラス、メンバ変数とメソッドの一覧を表示し、統合開発環境においてソースコード内のナビゲーションを高速化するユーザインタフェースです。
CD ジャケットデザインCD ジャケットのグラフィックデザインを担当しました。
Chippie
