活動履歴

AIST-Cube 「リリックアプリ：音楽と歌詞を楽しむ新表現」展示制作

2025年4月にリニューアルされた産総研の常設展示施設「AIST-Cube」のための「リリックアプリ」に関する展示制作を行いました。

産総研として主催するセミナーシリーズで、国際的に活躍する Human-Computer Interaction 分野の新星を招き、創造性支援研究に直接/間接に関わる多様なトピックを取り上げます。

ODEN seamlessly supports the edit and experiment repetition in deep learning application development by allowing the user to construct the neural network (NN) with the live visualization and transits into experimentation to instantly train and test the NN architecture.

"Guided optimization" provides programmers a set of valid optimization options and interactive feedback about their current choices, which enables them to comprehend and efficiently optimize the image processing code without the time-consuming process of trial-and-error in traditional text editors.

歌詞が魅力的にアニメーションするインタラクティブなビジュアルアートとして新たなメディア様式「リリックアプリ」を提案しました。その開発を支援するフレームワークを実装し、プログラミング・コンテストを開催し、応募された52作品を分析することで、創作文化の未来および音楽とプログラミングの関わりについて洞察を得ました。

Griffith

Griffithは、日本のアニメ制作において設計図とも言うべき絵コンテのための、Webベースの制作支援ツールです。

マジカルミライ2018 ライブ映像制作

「マジカルミライ2018」で、マジカルミライ2018楽曲コンテストグランプリ作品であり、ライブで演奏された「METEOR」の映像制作を行いました。TextAliveで制作した歌詞アニメーションが大画面で流れました。

APIチュートリアルに開発環境の機能を組み込み、サンプルプログラムの開発からデプロイまで支援するフレームワークです。

SNOW MIKU LIVE! 2018 映像制作

「SNOW MIKU LIVE! 2018」で、SNOW MIKU 2018テーマソングであり、ライブ最後のアンコール曲を飾った「四角い地球を丸くする」の映像制作を行いました。TextAliveで制作した歌詞アニメーションが、紗幕上方に大画面で流れました。

"junkato.jp" Webサイト

このポートフォリオWebサイトはさまざまなOSSを用いて開発されており、それ自体がGitHub上にオープンソースで公開されています。

Reactile

Swarm UIのアプリケーション開発において、直接Swarmを操作することでSwarmの振る舞いをプログラミングできる手法(direct physical manipulation)を提案した研究です。

Songle Sync

多種多様なデバイスを音楽と同期して制御できるアプリケーションを容易に開発できるSDKが整備されたプラットフォームです。

User-Generated Variables

UGVは、アプリケーションに対する機能要望を変数宣言のかたちに制限することで、ユーザからの要望が明確になり、プログラマも実装の可否を判断しやすくなるインタラクションデザインです。

Tenju Works Webデザイン

ポートフォリオWebサイトのWordPressを利用した改装に貢献しました。

プログラミングのための環境と、その環境が提供する体験の設計に興味を持つ人で集まり、最新の研究動向や事例について情報交換する会です。

Live Tuning

Live Tuningは、Live Programmingから定数値をインタラクティブに変更できるインタラクションデザインだけを抜き出したものです。プログラマでなくともプログラムの振る舞いをカスタマイズできるようにする技術です。

OngaCREST関連デザイン

OngaCRESTで研究開発された4つのWebサービスの宣伝用フライヤーとポスターをデザインしました。

f3.js

IoT機器の筐体設計とファームウェア開発を同時に行える設計ツールです。専門知識不要で機器をカスタマイズできます。

楽曲片がリズムよくマッシュアップされた音楽を聴きながら、その構成要素をひも解き、元曲を復元していくパズルゲームです。音楽を楽しみながら"Musical Thinking"を深めることができます。

TextAlive

音楽に同期して歌詞がアニメーションする動画を制作でき、演出をJavaScriptで拡張できる統合制作環境です。

処理したい映像上でスケッチすることで画像処理パイプラインを構築できるビジュアルなプログラミング環境です。既存アルゴリズムに満足できなければ、文字ベースのプログラミングにスムーズに移行できます。

アニメ、ゲーム、絵、音楽、小説など、面白いコンテンツを作る・作れる・作りたい人たちと、その活動を応援したい人たちの集まりです。お茶を飲みながらざっくばらんに語ります。

ゲームなどの視覚的なアプリケーション開発において、プログラム実行画面の録画映像を表示し、さらに参照している画像リソースなどを編集して動的に確認できる統合開発環境です。

TouchDevelopはユーザインタフェースのLive Programmingを可能にするWebベースの統合開発環境です。Webアプリを起動したまま、そのユーザインタフェースを定義するソースコードを変更できます。

ビリヤード台をプロジェクションマッピングで覆い、ボールの動きに応じてビジュアルエフェクトを表示することで、これまでにないビリヤード体験を実現するオープンソースプロジェクトです。

Kinectなどのカメラ入力を用いたインタラクティブなアプリケーション開発を支援する統合開発環境です。カメラ入力を自動録画し、プログラム実行結果を何度も再生したり、プログラムを修正して実行結果を更新したりできます。

ロボットにユーザと同等の権限を与えて、ユーザとロボットの間でタスクの分業を行えるようにしたTODOリスト共有インタフェースです。

人やロボットの姿勢データを写真と紐づけて管理し、ソースコード中に写真を貼り込める統合開発環境です。ソースコードを直感的に理解できるようになるほか、初学者でも写真撮影を通してプログラムの振る舞いを変えられます。

自分の身の回りを便利に面白くするサイドプロジェクトを継続的に進めてきました。

リモート環境のiTunesライブラリの楽曲やプレイリストを再生するためのツールです。

ロボット工学の専門知識を持たないHCI研究者やインタラクションデザイナーでも、生活空間を動き回れる"Robotic Things"—ロボット的なるもの—をプロトタイピングできるツールキットです。

キーボード上を「滑る」(水平になぞる)モーションを、キーボード付近に付属するマイクで拾った音で検知するための技術です。

プログラムの実行結果がソースコード入力時のキーの打鍵圧に影響を受ける統合開発環境です。メソッド呼び出しを強く打鍵すると物理シミュレーション上でボールが速く動いたりします。

机上に部屋の見下ろし映像が投影され、その上のテレビ、写真立て、照明などを直接操作できるタッチ入力インタフェースです。床を操作することで掃除ロボットへの指示出しもできます。

机上に見下ろし映像が投影され、その上で複数台の移動ロボットを同時に制御できるマルチタッチ入力インタフェースです。個々のロボットに指示出しする代わりに、環境側に流れを描いてたくさんのロボットを「流す」ことができます。

キートップの最下列から順に、列ごとにネームスペース、クラス、メンバ変数とメソッドの一覧を表示し、統合開発環境においてソースコード内のナビゲーションを高速化するユーザインタフェースです。

CD ジャケットデザイン

CD ジャケットのグラフィックデザインを担当しました。

Chippie

主にニュース配信を目的とするWebサイトのコンテンツ管理を容易にするPHPフレームワークです。

Hot Soup Processor製のWindows用音楽再生ソフトです。GitHubでソースコードが公開されています。

300行未満で記述されたHot Soup Processor製のWindows用ランチャーソフトです。GitHubでソースコードが公開されています。