この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
こんにちは、大前です。
本エントリは、2021/11/17 - 11/19（オンラインは 12/17 まで）で開催されている、Inter BEE 2021 のセッション「AWS で実現するスポーツコンテンツ管理と機械学習の活用」についてのレポートブログです。
セッション概要
スポーツコンテンツにメタデータ付けを行うことで、素材の検索性を向上し、ハイライト生成などのワークフローの効率化やコンテンツのマネタイズ促進へ繋げていくことができるようになります。本セッションでは、NTTぷらら様とソニー様で実現された、機械学習を用いたメタデータの自動付与、シーン検出、動作解析とその結果を活用した自動ハイライト生成についてお話いただきます。
スピーカー
- 斎藤 兼一 氏
- アマゾン ウェブ サービス ジャパン合同会社 シニア インダストリーソリューションアーキテクト
- 中川 伸朗 氏
- 株式会社NTTぷらら 映像戦略部 映像技術担当 担当部長
- 今泉 彰太
- ソニーマーケティング株式会社 B2Bプロダクツ＆ソリューション本部 B2Bビジネス部
レポート
AWS で実現するスポーツコンテンツ管理と機械学習の活用う
- スポーツでの AWS の利用
- 一口にスポーツといっても、ワークロードは様々なものが存在
- 選手のトレーニング
- 制作
- 放送と配信
- データレイク
- マネタイズ、広告
- 一口にスポーツといっても、ワークロードは様々なものが存在
- なぜスポーツの分野で AWS が注目？
- 以下のポイントが理由と想像
- 経験
- 投資
- AI のリーダー
- AWS がスポーツコンテンツに積極的に投資している理由は？
- スポーツは様々な要件が求められ、これをクリアする事で他分野にも活用できると考えている
- また解決策としてもクラウドがマッチすると考えている
- 以下のポイントが理由と想像
- 事例
- 野球でのデータ活用 - US SportsTrace
- 野球のキャンプ中やトレーニング中の映像をクラウドに保存
- 映像の分析を行い、可視化
- クラウド上でデータ管理しているため、選手の体調や状態の推移を確認できる
- F1 やサッカーでも映像を活用した分析などを行っている
- 視聴者へのレコメンデーションにも活用可能
- 野球でのデータ活用 - US SportsTrace
- AWS が提供するソリューション例
- MediaLive と Rekognition を利用したリアルタアイムのリプレイ生成
- MediaLive で生成された HLS を Rekognition で分析
- MediaConvert でクリップを生成
- 全てマネージドサービスのため、従量課金のみで実現できる
- MediaLive と Rekognition を利用したリアルタアイムのリプレイ生成
- Jリーグ様 クラウドメディアセンター
- 年間1000試合以上の映像をクラウドで集約
- 試合がある日だけ稼働するので、低コストで運用できている
- 集約した映像を必要に応じて変換・配信
- 海外ではスポーツのコーチングに機械学習を利用している
- イリノイ大学の例
- フットボールに活用
- 一つ一つのプレイの成功率を最適化するために、AWS の機械学習を利用
- プロだけでなく、アマチュア領域にも拡大している例
- イリノイ大学の例
NTT ぷらら 様 事例
- NTT ぷららについて
- 会社としても最新のテクノロジーを活用した映像サービスを提供、力を入れている
- 魅力的な視聴体験を届ける
- 3つのテクノロジーの融合
- AI/5G/クラウド
- 用途は様々
- 配信
- アップロードしてクラウド上で映像を利用
- スポーツAI映像コンテンツの取り組み
- 今までオンプレでやっていた部分をいよいよクラウドに
- 特徴
- ライブストリームを直接取り込める
- スタッツ連動
- クラウド側で編集
- AWS 側で処理を行ったのち、既存のオンプレ設備を通して映像をデリバリーする
- システム全体像
- 試合会場からは SDI ベースで映像がエンコーダーに流し込まれる
- エンコーダから AWS に映像を配信
- AWS に取り込んだ後は IMS や CMS などを通すなど、様々な処理が行われる
- 処理したものを NavigatorX というメディア管理ツールに溜め込む
- ここから実際のサービスにデリバリーしていく
- 音声の検出
- ラリー区間
- 盛り上がっているシーン
- AI でダイジェストを自動生成する
- 3つの生成フロー
- AI による映像・音声の解析
- 音声ラリー区間の検出
- 音声盛り上がりの検出
- ダイジェストにふさわしいシーンの検出
- シーンの抽出・組み立て
- 検出したものを動画として視聴できるものに組み立てる
- 映像編集
- 映像編集が完了したものが最終的に利用されるダイジェストとなる
- AI による映像・音声の解析
- 苦労した事
- 勝手にうまくやってくれるわけではないため、うまく結果を出せる様に調節（教育）することが大変だった
- 3つの生成フロー
- AI 活用の構想
- ビジネス活用の拡大が重要なテーマ
- 今回構築したプラットフォームは様々なシーンに活用していきたい
- 目指すところ
- コミュニティの活性化
- コンテンツ拡大
- 多様な視聴体験
- ビジネス創出
ソニーマーケティング様 事例
- NTT ぷらら様と構築したシステムの全体像
- 試合会場で生成された映像が Injest Management Service に取り込まれ、AI による映像解析が実施される
- 複数のパターンのクリップを自動生成し、NavigatorX に保存されていく
- 試合後に送信されてくるスタッツ情報を映像と紐付けてくれる
- 外部の関係者は認証を通して利用してもらうことで、セキュリティを担保
- ユニークポイント
- 機能面、性能面双方で拡張性を確保するモジュールベースのシステム
- ソニーが現在進めている Media Solutions Toolkit というオーケストレーションソリューションを先取り
- コンテンツ管理やワークフロー管理、モニタリングなどをそれぞれ担うサービス群
- AI の解析についてもモジュール化
- 複数のエンジンを利用したフレキシブルな解析が利用可能に
- 連携は API でできるため疎結合、システム改修も最低限
- 人物検出、物体検知、音声認識、姿勢推定、文字認識、音源分離など対応
- 小型デバイスに組み込まれる事を想定して開発されている
- 今回は得点検出、シーン検出、盛り上がり検出を利用
- 60秒ほどのハイライトシーンが複数生成され、コンテンツ管理システムに登録されていく
- 設定により、生成するハイライトを変更可能
- 尺の長さ、クリップ組み合わせの方法、順番など
- 処理をするためにはハイスペックなリソースが必要
- 一方で、スポーツは負荷が変動する
- これへの対応が課題になってくる
- インスタンスを常に起動すると当然コストがかかってくる
- 負荷がかかるタイミングだけリソースを準備できるとコストの最適化が目指せる
- Sony としてはこれに対する解決策としてサーバレス化を推進
- また、アプリケーションをコンテナ化する事でスケールもしやすくなる
- 一方で、スポーツは負荷が変動する
- ソニーが現在進めている Media Solutions Toolkit というオーケストレーションソリューションを先取り
- 手作業での紐付けをなくすためにメタデータを徹底的に活用
- 試合日や得点シーンに紐づくテキスト情報などをメタデータで管理
- これを検索することが可能
- 競技ごとに項目を構成できる
- メタデータを編集点にする機能も提供
- システムによってはオンプレ側の編集機に映像を渡すシーンもある
- 必要な人だけに必要な素材を見せる様に権限を設定
- 人の手を煩わせることなく、素材が検索可能な状態になる事を実現している
- こういった取り組みはスポーツだけでなく、ニュースやドラマ制作にも活用を進めている
- ニュースでは取材メタデータとの紐付け
- ドラマでは収録ファイルの自動整理
- 試合日や得点シーンに紐づくテキスト情報などをメタデータで管理
- 機能面、性能面双方で拡張性を確保するモジュールベースのシステム
- 取り組みを通じたソニーのビジョン
- 存在意義・存在価値
- クリエイティビティとテクノロジーの力で世界を感動で満たす
- 映像制作の分野では協力が必要だと考えている
- 存在意義・存在価値
おわりに
AI を利用して動画を分析し、活用する事例を学ぶことができ勉強になりました。スポーツ映像の複雑さは認識がなかった部分でしたし、スポーツ映像を処理する仕組みをその他の分野へ活用していく動きについても参考になりました。
以上、AWS 事業本部の大前でした。