Lyric App Framework

歌詞が魅力的にアニメーションするインタラクティブなビジュアルアートとして新たなメディア様式「リリックアプリ」を提案しました。その開発を支援するフレームワークを実装し、プログラミング・コンテストを開催し、応募された52作品を分析することで、創作文化の未来および音楽とプログラミングの関わりについて洞察を得ました。

本フレームワークの「TextAlive App API」を活用したプログラミング・コンテストが、2020年より「初音ミク『マジカルミライ』」で開催されています。詳しくは各年のコンテスト公式サイトをご覧ください。2020-2021年の応募作品については論文でも報告されています。

公式サイト

2020

2021

2022 (10th Anniversary)

2023

入選作品一覧

2020

2021

2022 (10th Anniversary)

2023

フレームワークのWebサイトへ

会場	学術総合センター内一橋記念講堂
日時	2024/3/6 (水) 9:30-9:50
論文	Lyric App Framework: インタラクティブな歌詞駆動型視覚表現の開発用フレームワーク

講演の録画

ダウンロード

会場	明治大学中野キャンパス
日時	2023/8/27 (日) 13:30-13:55
論文	TextAlive App API:「リリックアプリ」の提案とプログラミング・コンテストでの実証実験

プレゼンテーション再録

ダウンロード

会場	Room Y07 + Y08, Congress Center Hamburg (CCH)
日時	Thu, Apr 27 \| 09:00 - 09:14
CHI '23 Program	Lyric App Framework: A Web-based Framework for Developing Interactive Lyric-driven Musical Applications - CHI '23

CHI 2023 Video Preview（30秒）

CHI 2023 Pre-recorded Presentation Video

引用するならコレ！2023CHI '23

Jun Kato, Masataka Goto

Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems

ACM CHI '23 Honorable Mention Award

スライドPDF DOIを照会

BibTeX:

@inproceedings{chi2023-kato-lyric-app-framework,
  title = {Lyric App Framework: A Web-based Framework for Developing Interactive Lyric-driven Musical Applications},
  author = {Kato, Jun and Goto, Masataka},
  year = {2023},
  booktitle = {Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems},
  location = {Hamburg, Germany},
  publisher = {ACM},
  address = {New York, NY, USA},
  series = {CHI '23},
  doi = {10.1145/3544548.3580931},
  isbn = {9781450394215},
  url = {https://doi.org/10.1145/3544548.3580931},
  abstract = {Lyric videos have become a popular medium to convey lyrical content to listeners, but they present the same content whenever they are played and cannot adapt to listeners’ preferences. Lyric apps, as we name them, are a new form of lyric-driven visual art that can render different lyrical content depending on user interaction and address the limitations of static media. To open up this novel design space for programmers and musicians, we present Lyric App Framework, a web-based framework for building interactive graphical applications that play musical pieces and show lyrics synchronized with playback. We designed the framework to provide a streamlined development experience for building production-ready lyric apps with creative coding libraries of choice. We held programming contests twice and collected 52 examples of lyric apps, enabling us to reveal eight representative categories, confirm the framework’s effectiveness, and report lessons learned.},
  articleno = {124},
  numpages = {18},
  keywords = {toolkit, multimedia control, music synchronization},
  slides = {https://junkato.jp/publications/chi2023-kato-lyric-apps-slides.pdf},
  project = {lyric-app-framework},
  addition = {ACM CHI '23 Honorable Mention Award}
}

クリップボードにコピー

2024インタラクション '24インタラクション '24 最優秀論文賞インタラクション '24 インタラクティブ発表賞（一般投票）

加藤淳, 後藤真孝

インタラクション2024論文集, pp.1-10

2023SIGMUS 138SIGMUS 138 ベストプレゼンテーション賞 (Best Research部門)

加藤淳, 後藤真孝

音楽情報科学研究報告, pp.1-21

03/11/2024

インタラクションでの講演の録画を追加、「初音ミク『マジカルミライ』」プログラミング・コンテスト入選作品一覧へのリンクを追加

09/02/2023

SIGMUSでのプレゼン再録動画を追加、「初音ミク『マジカルミライ』」プログラミング・コンテストへのリンクを追加

08/27/2023

第138回音楽情報科学研究発表会 (SIGMUS) での発表資料を追加

04/19/2023

事前録画のプレゼンテーション動画を追加

04/16/2023

Video Preview を追加

03/31/2023

プロジェクトページを仮公開

音楽に同期して歌詞がアニメーションする動画を制作でき、演出をJavaScriptで拡張できる統合制作環境です。

2014-2024CHI '15Creativity Music PwE Communication Live IDE Design

人々がAIを活用しながらコンテンツ創作を行いたいと思える創造的な社会を実現するためには、コンテンツが次の創作を触発する持続可能なエコシステムの形成が重要です。

私は、そうしたエコシステムにおいて人々とコンテンツが織りなす創作文化が果たす役割に着目し、コンテンツの創作・流通過程を支援する創造性支援環境 (Creativity Support Environments)を実現することで、創作文化を工学的につくり支えるインタラクション技術の確立を目指しています。

2022-2024CHI EA '23Creativity

Lyric App Framework
インタラクティブな歌詞駆動型視覚表現の開発用フレームワーク

概要

プログラミング・コンテスト

発表内容

第28回一般社団法人情報処理学会シンポジウムインタラクション2024
最優秀論文賞・インタラクティブ発表賞 (一般投票)

第138回音楽情報科学研究発表会 (SIGMUS)
ベストプレゼンテーション賞 (Best Research部門)

ACM CHI 2023
Honorable Mention Award

発表文献

Lyric App Framework: A Web-based Framework for Developing Interactive Lyric-driven Musical Applications

Lyric App Framework: インタラクティブな歌詞駆動型視覚表現の開発用フレームワーク

TextAlive App API:「リリックアプリ」の提案とプログラミング・コンテストでの実証実験

更新履歴

関連プロジェクト

Lyric App Frameworkインタラクティブな歌詞駆動型視覚表現の開発用フレームワーク

概要