トップブログ連絡先
プロジェクト
プロジェクト一覧
TextAliveGriffithSongle Syncf3.js
研究プロジェクトデザイン・開発プロジェクト
発表文献デザイン職務活動活動履歴共同研究English

TextAlive
ウェブ上の楽曲と歌詞を用いたKinetic Typographyのための統合制作環境

2014-2025
CHI '15
ACM CHI '15 Honorable Mention Award
WISS '14 最優秀論文賞
SIGMUS 104 ベストプレゼンテーション賞
関連キーワード: Creativity, Music, PwE, Communication, Live, IDE, Design

ニュース

2021/-/-
最新情報はTextAliveの活用事例を紹介したイベントページや更新履歴、後続研究「Lyric App Framework」をご覧ください。
2020/9/18
TextAliveの機能を使って音楽に合わせてタイミングよく歌詞が動くWebアプリケーション（リリックアプリ）を開発できるJavaScript用のライブラリ「TextAlive App API」がリリースされました。また、初音ミク「マジカルミライ 2020」で、同APIを利用した、イベント史上初のプログラミング・コンテストの実施が発表されました。
2019/11/13
モリサワ株式会社のInter BEE 2019出展ブースで、TextAliveのデモ映像が展示されました。
2019/9/6
舞台美術を手がける「シミズオクト」がプロデュースする「ジュリアナの祟り」ライブで、アーティスト自身がTextAliveを活用して制作した歌詞アニメーションが紗幕に上映されました。
2019/6/17
初音ミク「マジカルミライ 2019」でTextAliveを活用して制作した歌詞アニメーションが使われ、TextAlive講座が開かれました。企画展ステージでもTextAlive制作映像が使われました。
2019/2/8
SNOW MIKU LIVE! 2019でTextAliveを使って制作した歌詞アニメーションが使われました。これにあわせてv0.7.0をリリースし、「カラフルキャンバス」スタイルを追加しました。
2018/8/20
初音ミク「マジカルミライ 2018」でTextAliveを使って制作した歌詞アニメーションが使われる他、TextAlive講座が開かれます。
2018/2/10
SNOW MIKU LIVE! 2018でTextAliveを使って制作した歌詞アニメーションが使われました。
2016/10/16
No Maps 2016のIDOL DIVERSITYでTextAliveを使って制作した歌詞アニメーションが使われたほか、デモ展示を行い、piaproユーザ向けに動画のダウンロード機能をリリースしました。
2016/2/5
SNOW MIKU 2016とのタイアップ企画でイラストと一緒に歌詞アニメーションを楽しめるようになりました。
2015/9/8
本研究はプレスリリースと同時にWebサービスとして一般公開を始めました。ぜひお試しください。

概要

Kinetic Typographyは、文字を動かして見せることで意味をより深く伝えられる手法として、楽曲のプロモーションなどの動画で頻繁に利用されている。しかし、歌詞を楽曲と同期してアニメーションさせる動画を制作するためには、まず、動画制作ツールの使い方に慣れる必要があった。さらに、歌詞を文字ごとに時刻同期させて動きを手付けするため、多くの手間がかかっていた。

TextAliveは、ウェブ上に公開されている楽曲と歌詞の時間的対応付けを自動で推定し、Kinetic Typographyを用いた動画を自動生成する。したがって、事前にツールの使い方を学ばなくても、好みの楽曲のKinetic Typography動画を楽しむことができる。また、生成された動画をウェブ上のグラフィカルなインタフェースで編集でき、一から動画を作るより大幅に少ない手間で動画を制作できる。さらに、文字の動きを定めているアルゴリズムをその場でプログラミングでき、プリセットのテンプレートに縛られない自由な表現が可能である。

本研究は、 2015/9/8 にプレスリリースと同時に、リリックビデオの制作支援Webサービス「TextAlive」として一般公開されました。最新情報はTextAliveの活用事例を紹介したイベントページや更新履歴のページをご覧ください。
2020/9/18 には、開発者向けに「TextAlive App API」がリリースされました。インタラクティブな歌詞駆動メディア「リリックアプリ」を開発できます。 詳しくは、リリックアプリの開発フレームワーク「Lyric App Framework」の研究紹介をご覧ください。
Webサイトへ

発表内容

CHI 2015 Fast-forward

Fast-forward
Full version

CHI 2015 発表スライド

ダウンロード

日本語の発表スライドは発表文献で日本語文献の をクリックすると閲覧できます。

作例

Web版
2015-

Web版のTextAliveは現在も開発が続けられています。この作例は、初音ミクやアイドルのライブなどで利用されたものです。 textalive.jp にアクセスすれば、誰でも動画を制作できます。

デスクトップ版
2014-2015

デスクトップ版のTextAliveは研究用プロトタイプとして開発されました。この作例は、プログラマや音楽動画制作者の方々を対象としたユーザスタディなどで制作されたものです。

発表文献

引用するならコレ！2015CHI '15

TextAlive: Integrated Design Environment for Kinetic Typography

Jun Kato, Tomoyasu Nakano, Masataka Goto
Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, pp.3403-3412
ACM CHI '15 Honorable Mention Award
論文PDFスライドPDFDOIを照会
クリップボードにコピー
スライドPDFBibTeXをコピー

Lights, Animation, Interaction! – Synchronizing Music with Computer-controlled Visuals in Live Performances

2023SAS 34
Jun Kato
Society for Animation Studies 34th Annual Conference: The Animated Environment
DOIを照会BibTeXをコピー

TextAlive Online: Live Programming of Kinetic Typography Videos with Online Music

2015ICLC '15
Jun Kato, Tomoyasu Nakano, Masataka Goto
Proceedings of the First International Conference on Live Coding, pp.199-205
論文PDFスライドPDF関連リンクBibTeXをコピー

TextAlive: インタラクティブでプログラマブルなKinetic Typography制作環境

2014WISS '14WISS '14 最優秀論文賞
加藤 淳, 中野 倫靖, 後藤 真孝
第22回インタラクティブシステムとソフトウェアに関するワークショップ, pp.39-44
論文PDFスライドPDF関連リンクBibTeXをコピー

TextAlive:音楽に同期した歌詞アニメーションのKinetic Typography制作環境

2014SIGMUS 104SIGMUS 104 ベストプレゼンテーション賞
加藤 淳, 中野 倫靖, 後藤 真孝
音楽情報科学 研究報告, pp.1-7

関連プロジェクト

Lyric App Framework

歌詞が魅力的にアニメーションするインタラクティブなビジュアルアートとして新たなメディア様式「リリックアプリ」を提案しました。その開発を支援するフレームワークを実装し、プログラミング・コンテストを開催し、応募された52作品を分析することで、創作文化の未来および音楽とプログラミングの関わりについて洞察を得ました。

2020-2025CHI '23Communication Creativity Music Toolkit
創造性支援環境

人々がAIを活用しながらコンテンツ創作を行いたいと思える創造的な社会を実現するためには、コンテンツが次の創作を触発する持続可能なエコシステムの形成が重要です。

私は、そうしたエコシステムにおいて人々とコンテンツが織りなす創作文化が果たす役割に着目し、コンテンツの創作・流通過程を支援する創造性支援環境 (Creativity Support Environments)を実現することで、創作文化を工学的につくり支えるインタラクション技術の確立を目指しています。

2022-2025CHI EA '23Creativity