Songle Sync
大規模音楽連動制御プラットフォーム

2017-2021
MM '18
関連キーワード: Creativity, Music, IDE, Design
共同研究の成果: 本研究はメディアインタラクション研究グループにおける共同プロジェクトです。Songle Syncの公式サイトに関係者のクレジットが掲載されています。

概要

Songle Syncは、ウェブ上の音楽の再生に合わせて、インターネット接続された多種多様な機器(スマートフォン、PC、フィジカルコンピューティングデバイス)を数百台以上同時制御可能な大規模音楽連動制御プラットフォームである。音楽理解技術を利用することで、好みの音楽でマルチメディア演出を駆動できる。

数百台の機器を同時に駆動するために、既存手法では通常、機器同士を常時接続するアーキテクチャを採用してきた。しかし、常時接続による負荷にともなうスケーラビリティの問題と、多様なデバイスとの不安定な接続にともなうレイテンシとジッタの問題があった。これらの問題を解決するため、我々は音楽地図に基づく自律駆動アーキテクチャを提案する。本アーキテクチャでは、個々のデバイスがビートやサビなどのタイミング情報を保持し、自律的にマルチメディア演出を駆動する。

Songle Sync API はこうしたマルチメディア演出をイベントドリブンのAPIで開発できるフレームワークであり、サンプルコードやインタラクティブなチュートリアルとともに開発者向けのキットとして公開されている。

本プラットフォームの評価実験として、既存手法と提案するアーキテクチャ間でレイテンシ、ジッタ、ネットワーク通信量の定量比較を行った。また、100台以上の多様なデバイスを駆動する実験を行った。さらに、数百名の観客が自身のスマートフォンで演出に参加するBYOD体験を提供する音楽再生に連動するWebアプリケーションを開発した。さらに、開発キットを2日間のハッカソンで実用した。これらの実験から得られた教訓を報告し、 "The Internet of Musical Things (IoMT)" の未来について議論した。

上記は ACM Multimedia 2018 向けの論文概要を翻訳したものです。その後、 OngaACCEL プロジェクトでは Songle Sync を活用した様々な実証実験を行ってきました。詳しくは OngaACCELシンポジウム2020 予稿集PDFをご覧ください。

発表内容

ACM Multimedia 2018 デモ動画

ACM Multimedia 2018 発表スライド

発表文献

引用するならコレ!2018MM '18

Songle Sync: A Large-Scale Web-based Platform for Controlling Various Devices in Synchronization with Music

Jun Kato, Masa Ogata, Takahiro Inoue, Masataka Goto
Proceedings of the 26th ACM International Conference on Multimedia, pp.1697-1705
クリップボードにコピー