Lyric App Framework
インタラクティブな歌詞駆動型視覚表現の開発用フレームワーク

2020-2026
CHI '23
️特選セッション発表認定
関連キーワード: , , ,

概要

歌詞が魅力的にアニメーションするインタラクティブなビジュアルアートとして新たなメディア様式「リリックアプリ」を提案しました。その開発を支援するフレームワークを実装し、プログラミング・コンテストを開催し、2020-2021年に応募された52作品を分析することで、創作文化の未来および音楽とプログラミングの関わりについて洞察を得ました。

論文執筆後もプログラミング・コンテストは継続して開催されています。2025年のジャーナル論文では4年分の分析結果を報告しました。2026年は前年から大幅に応募作品が増加しました。

プログラミング・コンテスト

本フレームワークの「TextAlive App API」を活用したプログラミング・コンテストが、2020年より「初音ミク『マジカルミライ』」で開催されています。詳しくは各年のコンテスト公式サイトをご覧ください。

発表内容

第28回 一般社団法人情報処理学会シンポジウム インタラクション2024
最優秀論文賞・インタラクティブ発表賞 (一般投票)

会場
学術総合センター内 一橋記念講堂
日時
論文

講演の録画

第138回音楽情報科学研究発表会 (SIGMUS)
ベストプレゼンテーション賞 (Best Research部門)

会場
明治大学 中野キャンパス
日時
論文

プレゼンテーション再録

ACM CHI 2023
Honorable Mention Award

会場
Room Y07 + Y08, Congress Center Hamburg (CCH)
日時
CHI '23 Program

CHI 2023 Video Preview(30秒)

CHI 2023 Pre-recorded Presentation Video

発表文献

引用するならコレ!2023CHI '23

Lyric App Framework: A Web-based Framework for Developing Interactive Lyric-driven Musical Applications

クリップボードにコピー

歌詞没入型身体的音楽体験を可能とする光学透過式MR環境LyricBathe

2025️特選セッション発表認定
小島 颯英, 中小路 久美代, 加藤 淳, 後藤 真孝

インタラクティブな歌詞駆動型視覚表現「リリックアプリ」開発用フレームワークの提案と実証研究

加藤 淳, 後藤 真孝
情報処理学会論文誌, pp.273-285

MR環境LyricBatheにおけるインタラクティブな歌詞表現のデザインスペースの創出

2025HCS2024-79
小島 颯英, 中小路 久美代, 加藤 淳

Lyric App Framework: インタラクティブな歌詞駆動型視覚表現の開発用フレームワーク

TextAlive App API:「リリックアプリ」の提案とプログラミング・コンテストでの実証実験

更新履歴

11/13/2026
「初音ミク『マジカルミライ』」プログラミング・コンテスト関連のリンクを更新
04/20/2026
文章などを更新、2026年のプログラミング・コンテスト サムネイルを追加
03/29/2026
「初音ミク『マジカルミライ』」プログラミング・コンテスト関連のリンクを更新
03/11/2024
インタラクションでの講演の録画を追加、「初音ミク『マジカルミライ』」プログラミング・コンテスト入選作品一覧へのリンクを追加
09/02/2023
SIGMUSでのプレゼン再録動画を追加、「初音ミク『マジカルミライ』」プログラミング・コンテストへのリンクを追加
08/27/2023
第138回音楽情報科学研究発表会 (SIGMUS) での発表資料を追加
04/19/2023
事前録画のプレゼンテーション動画を追加
04/16/2023
Video Preview を追加
03/31/2023
プロジェクトページを仮公開

関連プロジェクト

TextAlive

音楽に同期して歌詞がアニメーションする動画を制作でき、演出をJavaScriptで拡張できる統合制作環境です。

創造性支援環境

人々がAIを活用しながらコンテンツ創作を行いたいと思える創造的な社会を実現するためには、コンテンツが次の創作を触発する持続可能なエコシステムの形成が重要です。

私は、そうしたエコシステムにおいて人々とコンテンツが織りなす創作文化が果たす役割に着目し、コンテンツの創作・流通過程を支援する創造性支援環境 (Creativity Support Environments)を実現することで、創作文化を工学的につくり支えるインタラクション技術の確立を目指しています。

2022-2026CHI EA '23