Lyric App Framework
インタラクティブな歌詞駆動型視覚表現の開発用フレームワーク

2020-2024
CHI '23
ACM CHI '23 Honorable Mention Award
インタラクション '24 最優秀論文賞
インタラクション '24 インタラクティブ発表賞(一般投票)
SIGMUS 138 ベストプレゼンテーション賞 (Best Research部門)
関連キーワード: Communication, Creativity, Music, Toolkit

概要

歌詞が魅力的にアニメーションするインタラクティブなビジュアルアートとして新たなメディア様式「リリックアプリ」を提案しました。その開発を支援するフレームワークを実装し、プログラミング・コンテストを開催し、応募された52作品を分析することで、創作文化の未来および音楽とプログラミングの関わりについて洞察を得ました。

プログラミング・コンテスト

本フレームワークの「TextAlive App API」を活用したプログラミング・コンテストが、2020年より「初音ミク『マジカルミライ』」で開催されています。詳しくは各年のコンテスト公式サイトをご覧ください。2020-2021年の応募作品については論文でも報告されています。

発表内容

第28回 一般社団法人情報処理学会シンポジウム インタラクション2024
最優秀論文賞・インタラクティブ発表賞 (一般投票)

会場
学術総合センター内 一橋記念講堂
日時
論文

講演の録画

第138回音楽情報科学研究発表会 (SIGMUS)
ベストプレゼンテーション賞 (Best Research部門)

会場
明治大学 中野キャンパス
日時
論文

プレゼンテーション再録

ACM CHI 2023
Honorable Mention Award

会場
Room Y07 + Y08, Congress Center Hamburg (CCH)
日時
CHI '23 Program

CHI 2023 Video Preview(30秒)

CHI 2023 Pre-recorded Presentation Video

発表文献

引用するならコレ!2023CHI '23

Lyric App Framework: A Web-based Framework for Developing Interactive Lyric-driven Musical Applications

Jun Kato, Masataka Goto
Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems
ACM CHI '23 Honorable Mention Award
クリップボードにコピー

Lyric App Framework: インタラクティブな歌詞駆動型視覚表現の開発用フレームワーク

2024インタラクション '24インタラクション '24 最優秀論文賞インタラクション '24 インタラクティブ発表賞(一般投票)
加藤 淳, 後藤 真孝
インタラクション2024論文集, pp.1-10

TextAlive App API:「リリックアプリ」の提案とプログラミング・コンテストでの実証実験

2023SIGMUS 138SIGMUS 138 ベストプレゼンテーション賞 (Best Research部門)
加藤 淳, 後藤 真孝
音楽情報科学 研究報告, pp.1-21

更新履歴

03/11/2024
インタラクションでの講演の録画を追加、「初音ミク『マジカルミライ』」プログラミング・コンテスト入選作品一覧へのリンクを追加
09/02/2023
SIGMUSでのプレゼン再録動画を追加、「初音ミク『マジカルミライ』」プログラミング・コンテストへのリンクを追加
08/27/2023
第138回音楽情報科学研究発表会 (SIGMUS) での発表資料を追加
04/19/2023
事前録画のプレゼンテーション動画を追加
04/16/2023
Video Preview を追加
03/31/2023
プロジェクトページを仮公開

関連プロジェクト

TextAlive

音楽に同期して歌詞がアニメーションする動画を制作でき、演出をJavaScriptで拡張できる統合制作環境です。

創造性支援環境

人々がAIを活用しながらコンテンツ創作を行いたいと思える創造的な社会を実現するためには、コンテンツが次の創作を触発する持続可能なエコシステムの形成が重要です。

私は、そうしたエコシステムにおいて人々とコンテンツが織りなす創作文化が果たす役割に着目し、コンテンツの創作・流通過程を支援する創造性支援環境 (Creativity Support Environments)を実現することで、創作文化を工学的につくり支えるインタラクション技術の確立を目指しています。

2022-2024CHI EA '23Creativity