【ブースレポート】カメラで読み込んだ譜面をロボットアームで即興演奏するピアノボットが面白い #AWSSummit

2025/6/25-26に開催された AWS Summit Japan 2025 で、AWSソリューションアーキテクトの清⽔ 崇之氏氏によるAI x ロボット x 音楽 をかけ合わせたピアノボットのデモ展示ブースを見てきました。

https://x.com/shimy_net/status/1938010164126441740

マグネットホワイトボードに音符を並べると、ロボットアームが譜面通りに即興で演奏します。

https://www.youtube.com/watch?v=NyKNvA0LIgQ

アーキテクチャ

Raspberry Piにつながったカメラがホワイトボード上の譜面を撮影し、Amazon API Gateway + Lambdaで解析します。
その結果を元に2本のロボットアーム経由でピアノ演奏します。

アーキテクチャーは次の資料にまとまっています。

https://pages.awscloud.com/rs/112-TZM-766/images/AWS_Summit_2025_B-142A_PianoBot_Pub.pdf

楽譜はト音記号とヘ音記号の2段があり(本格的！)、それぞれにロボットアームが対応しています。ただし、各アームは5本指があるわけではなく、各アームは指1本しか使えず(同時に1音しか鳴らせません)、「猫踏んじゃった」などは演奏できません。

市販のわずか1万円弱のロボットアームで実現可能とのことでしたが、ハードウェアに疎い僕が実装しようとすると、開発工数の99%をピアノを奏でるラスト1マイルのロボットアーム操作の実装にもっていかれそうです。

キーボードへのこだわり

ピアノボットのデモ的には、音がなるキーボードであれば何でも良いわけですが、そこにビートルズの"Strawberry Fields Forever"の冒頭のフルートでも有名なメロトロンのデジタル復刻版のMellotron Microを使っているところも見逃せません。

展示者のこだわりと思われます。

https://www.youtube.com/watch?v=TYNg78XkoqM

最後に

ト音記号とヘ音記号の2段譜を読み分け、両手で演奏するというキーボード演奏とみなせるミニマムな技術要素をAWS・ロボットアームでシンプルに実現しているのはさすがだと思いました。

楽譜をカスタマイズすればその通りに演奏してくれるのは嬉しい一方で、即興で2声部ｘ2小節の音符を並べる(作曲する)のは一般の来場者にはハードルが高いので、可能なら「キラキラ星」以外にも譜面を何パターンか用意しておくのもありかと思いました。

来年はどのような音楽デモが展示されるのか、楽しみですね。