Songle Sync

大規模音楽連動制御プラットフォーム

Songle Syncは、ウェブ上の音楽の再生に合わせて、インターネット接続された多種多様な機器（スマートフォン、PC、フィジカルコンピューティングデバイス）を数百台以上同時制御可能な大規模音楽連動制御プラットフォームである。音楽理解技術を利用することで、好みの音楽でマルチメディア演出を駆動できる。

数百台の機器を同時に駆動するために、既存手法では通常、機器同士を常時接続するアーキテクチャを採用してきた。しかし、常時接続による負荷にともなうスケーラビリティの問題と、多様なデバイスとの不安定な接続にともなうレイテンシとジッタの問題があった。これらの問題を解決するため、我々は音楽地図に基づく自律駆動アーキテクチャを提案する。本アーキテクチャでは、個々のデバイスがビートやサビなどのタイミング情報を保持し、自律的にマルチメディア演出を駆動する。

Songle Sync API はこうしたマルチメディア演出をイベントドリブンのAPIで開発できるフレームワークであり、サンプルコードやインタラクティブなチュートリアルとともに開発者向けのキットとして公開されている。

本プラットフォームの評価実験として、既存手法と提案するアーキテクチャ間でレイテンシ、ジッタ、ネットワーク通信量の定量比較を行った。また、100台以上の多様なデバイスを駆動する実験を行った。さらに、数百名の観客が自身のスマートフォンで演出に参加するBYOD体験を提供する音楽再生に連動するWebアプリケーションを開発した。さらに、開発キットを2日間のハッカソンで実用した。これらの実験から得られた教訓を報告し、 "The Internet of Musical Things (IoMT)" の未来について議論した。

上記は ACM Multimedia 2018 向けの論文概要を翻訳したものです。その後、 OngaACCEL プロジェクトでは Songle Sync を活用した様々な実証実験を行ってきました。詳しくは OngaACCELシンポジウム2020 予稿集PDFをご覧ください。

• Songle Syncの音楽理解技術はSongle由来のもので、さまざまな学術論文で発表されてきた研究成果に基づいています。詳細は"Songle" キーワードで後藤真孝氏の発表文献リストから検索してみてください。
• Songle Sync はSongle API の一部としてリリースされています。
• Songle Sync のインタラクティブチュートリアル は DeployGround フレームワークで実装されています。

DeployGround

APIチュートリアルに開発環境の機能を組み込み、サンプルプログラムの開発からデプロイまで支援するフレームワークです。

2018VL/HCC '18Live IDE