[レポート] MDS313 Hotstar: ライブストリーミングの記録的なスケール #reinvent

AWS re:Invent 2019

#AWSメディアサービス

#AWS

清水俊也

2019.12.12

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

はじめに

清水です。AWS re:Invent2019にてセッション MDS313 「Hotstar: Live streaming at record scale」を聴講してきたのでレポートします。

セッションの概要は下記になります。

Learn how Hotstar has been powering its live sports channels to a world-record live streaming audience. Hotstar has architected its video pipeline that handles close to a thousand hours of live encoding using AWS services like AWS Elemental MediaLive, AWS Elemental MediaPackage, and AWS Elemental MediaConnect. Hear about the challenges and solutions needed to manage backend and analytics systems to serve ads at scale to 15 million users, track live streaming usage in real time, and build broadcast-level resiliency into their architecture to handle world-record-level traffic.

スピーカーは以下のお二人です。 - Anil Gangadharan Nair - Specialist Solutions Architect - M&E, Amazon Web Services - Nikhil Soman - VP Product, Hotstar

レポート

Introduction

まずはAnil Gangadharan Nairさんから、セッション概要について説明のです。

Hotstarについて
- インドのDisney所有のOTT No.1プラットフォーム
- 3.5億ダウンロード
- 1日あたり1億ユーザ、2.5倍で増え続けている
- 15以上の言語対応
- マーケットはインドの他、アメリカ、イギリス、カナダ
- DAUは平均 6千万、ピークで1億
- コンテンツの種類
  - ライブ/VOD（オンデマンド）
  - スポーツ/ニュース/映画
  - リージョナルカタログ
Hotstar on AWS
- プレゼンテーション層のAPI
- コンテンツのインジェストとカタログ化
- ビデオ処理
- ユーザ管理とパーソナライゼーション
- データウェアハウスと懐石
- アドテク

Evolution of hotstar's video pipeline

続いてNikhil Somanさんに代わり、Hotstarさんの事例の紹介です。

インドのオポチュニティ
- インドでのNo.1 OTTプラットフォーム
- 15以上の言語
- 3億以上のプラットフォームにリーチ
- 10以上のジャンル
- 400,000時間以上のメディア
インドでの課題
- 95%がモバイルデバイスのユーザ
- 50%以上が2Gまたは3G回線のユーザ
- 40%が田舎、準都市のユーザ
- モバイルネットワークインフラが貧弱
- ラストマイルのネットワークの混雑
- 安定しないデータ接続
- 貧弱なストリーミング体験
ピーク時のHotstar
- 2,530万の同時ユーザ
- １億以上のデイリーアクティブユーザ
- インドのインターネットの75%
- 同時視聴ピークの比較
  - 2012年 800万同時視聴、Felix Baumgartner's supersonic jump、YouTube
  - 2018年 310万同時視聴、スーパーボール、NBCスポーツApp
  - 2018年 1,030万同時視聴、IPL 2018 Finals、Hotstar
  - 2019年5月 1,860同時視聴、IPL 2019 Finals、Hotstar
  - 2019年7月 2,530万同時視聴、ワールドカップインド対ニュージーランド、Hotstar
- 2019年7月ワールドカップインド対ニュージーランド同時視聴の推移

Hotstarのライブストリーミング

一週間で85のライブイベント（同時25）、500-700時間、2,500万から5,000万の視聴者
主な原則
1. ビデオが再生できること
2. できるだけライブポイントの近くに
3. 収益化が機能することの確認
オンプレミスでのパイプライン
ワークフローの概要

ライブポイントの近くに

2017年のオンプレミスパイプラインでの遅延
2019年のクラウドパイプラインでの遅延
- 遅延は小さく
遅延テスト

Running at scale

ライブパイプライン

2020年に向けたライブストリーミングインフラ
重要ポイント：信頼できるオリジンの設定
- 冗長ルートで開始する
  - 安全のため1ルート余分に追加
- BFDを使ったBGP(BGP with BFD)に依存しない
- KISSの原則は大規模なものすべてに適用される

弾力性（Elasticity)を持たせる

ストリーミングに広告を導入

クリケットのライブストリーミング
- 休憩時間が定まっていない
- 各言語の専任のディレクター
- ゲームが同時進行する

LiveOps automation

StreamOps/LiveOpsの自動化
- 構成管理
  - 部門を超えた運用のためのオーケストレーター
  - コンテンツ - ストリーミング - CMS - CDM - DRM
- ライブオーケストレーター
  - プレイアウトへのブリッジ、AWS Elemental MediaLive、AWS Elemental MediaPackage
  - スポーツカレンダーを介してイベントをトリガーする
- プレイアウトの自動化
  - プログラムによる起動
  - 起動時に設定を行う

Putting it all together and lessons from the field

ここから再びAnil Gangadharan Nairさんに戻り、現場で得られた教訓としてまとめます。

AWS Media Servicesを使う上でのキーポイント
- 今回なら、AWS Elemental MediaConnect、AWS Elemental MediaLive、AWS Elemental MediaPackage
- 組み込まれた回復力(resiliency)
- 高度な自動化
- アジリティ
- 無駄のないチーム
MediaLiveの活用
- 自動化されたリソースのプリオ美女ニングと高可用性
- パイプラインロック
- SCTE-35のサポートとマニフェストマークアップ
- クローズドキャプション、多言語対応のオーディオトラック、オーディオ記述子
MediaPackageの活用
- AutoScaleする高可用性のオリジン用エンドポイント
- 一貫性のあるチャンネル出力のための、冗長化された入力間での自動フェイルオーバー
- 信頼性の高いパフォーマンスのためのビルトインされたオリジンシールドとキャッシュ
MediaConnectの活用
- ContributionとDistribution
- 高い可用性、RTP+FEC、Zixi、RIST
- 安全性、AES、SPEKE
- 最初と最後のマイルに依存しない
- メザニンクオリティのビデオ、最大80Mbps、AVC/HEVC/MPEG-2 TS
QVBRの活用
AWSでのライブストリーミング基盤を自分で構築してみる
- AWSからソリューションテンプレートが提供されている
  - https://aws.amazon.com/solutions/live-streaming-on-aws
- トレーニングも提供されている
  - https://aws.amazon.com/training/path-mediaservices/

感想

ライブストリーミングの同時視聴数の記録として、2,530万までとどいていたことに驚きました！そしてそれがAWSで、Media Servicesを用いて実現されていたことは嬉しいですね。インド国内の通信事情やそれに合わせたレイテンシなどについても触れられれおり、興味深いセッションでした。また構成は複雑になっても、AWS Elemental MediaLive、MediaPackageなどマネージドサービスがそのまま活用できるのは大きな強みだと思います。合わせてそれらサービスの内部構成についてもセッション中で触れられれおり興味津々でした。