【レポート】メディア＆エンターテイメント一般教書 #reinvent #mae201

チャットボット特集

#セッションレポート

#レポート

#AWS

諏訪悠紀

2017.11.28

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

Media & Entertainment State of the Union

ラスベガスで開催中のre:Invent 2017にて「MAE201: Media & Entertainment State of the Union」を聴講してきたのでレポートします。

スピーカーは下記の4名の方々です。

Steve Kowalski （Sony Pictures Imageworks）
John Herbert（21st Century Fox）
Fabio Luzzi（Viacom）
Rajneel Kumar （Viacom）

はじめに

アジェンダ

ビジュアルエフェクトレンダリングのスケール by Sony Pictures Imageworks
21st Century FoxのAWSを使ったメディアのワークロード by 21st Century Fox
AIとアナリティクスの拡張 by Viacom
スマートな通知と先制的な障害予測を活用した、メディアアプリの使用の拡大 by Viacom

全ての視聴者をハッピーにするメディアのサイクル

次のサイクルが回ると、全ての視聴者がハッピーになる
- より多くの視聴者
- より多くのデータ
- より良い決定
- より多く＆より良いコンテンツ

ビジュアルエフェクトレンダリングのスケール by Sony Pictures Imageworks

Sony Pictures ImageworksのStepthen Kowalski氏による発表です。

Imageworksの基本統計

VFX & アニメーションを25年
100以上のプロジェクトをMotion Picture Studiosと
バンクーバー、カルバーシティ、クインシー
1000以上のデジタルアーティスト
数万のレンダリングコア
複数のペタバイト級のデータストレージ

Imageworksの主な特徴

サービスフィー
循環ビジネス
積極的なスケジュール
遅延する意思決定
短命な労働力
リソースのピーク/谷
多くの人とリソースが必要
強引

アーティストのワークフローサイクル

以下を循環させる
- Iterate
- Render
- Review

Shot Creation

ワークフローサイクルを、順番に行う
- Layout & Modeling
- Rigging & Animation
- FX & Lighting
- Composting

リソースサイクル

9月頃は少ないリソース（5,000コア以内）で始まる
3月にはピークを迎える（35,000コア）
年間を通して、リソース量に浮き沈みがある
- 少ないリソースで動かしつつ、必要なリソースが増える時にスケールする必要がある

Spotインスタンスを利用したPoCのクラウドバースト

Smurfs: The Lost Villageという作品で実施
データのポイント
- 2017年1月
- 5,000VCPUを使用
- 1週間
- AWS Spot Marketを活用
- クラウド VS ハードウェアレンタル
- クラウド VS オンプレ
POCコンポーネント
- AWS Spot Fleet
- Avere vFXT NFSキャッシュ
- AWS Direct Connect
- AWS VPC
- ForemanとPuppet
- 独自のキューイングシステム
- Arnold Renderer
ゴール
- レンダリングのニーズに合わせてマシンを安全に用意できるか？
- オンプレのマシンと同様に、クラウドのマシンを管理できるか？
- ハードウェアレンタルよりコストを抑えられるか？
結果
- Major Success（大成功）
- Spot Fleetでスケールをメンテナンス
- 42%のコスト削減に成功
- ハードウェアレンタルと比べてわずかにスピードが向上
- 全体としてオンプレと比べて7%〜11%ほどの遅延
- Certain Instance Typesの高優先レートの緩和
- レンダーキューソフトを使ったシームレスなキューイング
- vFXTキャッシングによるレイテンシのキャンセル

その7ヵ月後…「Emoji Movie」

Emoji Movieにより多くのコアが必要
問題
- 半分のレンダリングに7週間かかる
- アーティストの雇用の遅延する
- 低優先度のレンダリングを高優先度のジョブが妨害する
- アーティストの待ちが発生する
- 顧客のメモに対応する能力がない
- 我々が今までに提供した最悪のプロジェクトになるだろう
疑問
- アーティストの生産性を高めるためにクラウドを使用できるか？
ソリューション
- クラウドリソースの購入に労力を要した資金を使用し、優先ジョブをクラウドに移すことで、オンサイトリソースを使用してアーティストのワークフローサイクルをスピードアップできるかどうかを確認する
- 起こりうる最悪の事は、これまでにない最悪のプロジェクトを提供すること
- 我々はすでにこれをどうやっているのか考えていたということが良かった
- 5,000vCPUsへのスケール
- then 10,000vCPUs
- then 25,000vCPUs
- then 50,000vCPUs
- then 75,000vCPUs
- 誰もが本当に満足した
- さらなる調整
- 読み書きの強いキャッシュを分割
- AMIの締め付け
- Auto Scalingの使用（スケールアップ、スケールダウン）
- 異なるゾーンで異なるFleetを起動
- パッケージングのマルチスレッド化
結果
- 〜60,000vCPUs/日
- アーティストの分担が1〜1.5Shots/週増加した
- 91%のリソースの有効活用
- 何も画面から離れていない
- クライアントの全ての要求を予算内で満たすことができた

まとめとネクストステップ

Spot Fleetに対する実行可能で有能ななバーストオプション
キューイングシステムのオーケストレーション
ジョブの最適化
AMIの管理
効率化を定量化して入札プロセスを知らせ、全体コストを削減する
クラウドの戦略的な活用

21st Century FoxのAWSを使ったメディアのワークロード by 21st Century Fox

21st Century FoxのJohn Herbert氏から、FoxでのAWS活用方法の発表です。

プロジェクトのビジョン

企業を強力なB2Bメディアプラットフォームに統合する
世界中のコンテンツをシームレスに配信する

プロジェクトのゴール

グローバルなメディアとコンテンツの権利についての包括的な意見と一貫性の提供
複雑化する環境の中で、デジタルメディア機能の一貫したセットの作成を行えるようにする
「クラウドファースト」アプローチを活用し、コンテンツ配信に必要なイノベーションを世界中の顧客に推進する

カスタマー

Hulu
Netflix
Apple iTunes
And more...

ブランド

90,000以上のタイトルを21CFブランドで配信

アプローチ

Fox Media Cloudのリフレッシュ
デジタル価値チェーンを有効化
モダンでユーザーフレンドリーなツールを作成
MLとAIの組み込み
セキュリティへの継続的なフォーカス

3つの柱

アプリケーションコンテンツ
エンタープライズメディアプラットフォーム
メディアマネジメント＆サービス

メディア種類

様々なフォーマットのメディアを取り込み可能

メディアのスケール

歳を重ねるごとにスケールしている
- 2017年現在では…
- 23Mのアセット
- 40PBのストレージ
- 2Mのファイル配信
- 400Kのオーダー

クラウドにおけるメディア変換

2016年にAWSに移行
10PB以上のコンテンツを数ヶ月間の間にマイグレーション
よりアジャイルな開発サイクルにシフト
以下のベネフィット
- 異なる種類ののBUソース間で共通のデータストア
- AIを利用したメタデータ収集の自動化
- セキュリティの向上
- 可用性とスケーラビリティの向上
- Foxメディアの技術的な強みにフォーカス
アナリティクスを活用してメディアの供給チェーンを継続的に強化

データアナリティクスのスケール

300TBのデータ増加
200BillionのRow増加
25,000/日のユーザーからのクエリ増加
100のソース増加
12,000のスクリプト・マテリアルの増加
35,000/日のデータ処理の増加

データアナリティクスの結果

オンプレミスのデータウェアハウジング技術の廃止
9%の運用コストの削減
30%のパフォーマンス向上
ダイナミックでモダンでスケーラブルなクラウドベースのプラットフォームへの移行
任意のソースからのデータの迅速なオンボーディングが可能

AIとAnalyticsの拡張 by Viacom

ViacomのFabio Luzzi氏による、メディア制作にAIを利用した事例の発表です。

ビジョン

意思決定の進捗状況に完全に統合された、データサイエンスのスケーリング

ビジネス背景

チャレンジ
- データサイエンスを民主化する
AWSでの実装前
- アドホック分析は時間がかかる
- データ科学者とユーザーの間を行き来する
- 1つのデータサイエンス研究を提供するために5〜15日間かかる
- 従来の配信ツールを使っている
AWSでの実装後
- データサイエンスのためのアプリケーションの自社サービス化
- データサイエンス研究が1分未満でできる
- アドホック＆ダイナミック＆インタラクティブな配信ツール

Viacom Science Central

分析ツールであるViacom Science Centralの動作デモを紹介いただきました。

技術スタック

バックエンドはAWS、アプリケーションはDjangoで実装。フロントエンドにD3.jsを利用しています。

Viacom Eveでは、Slackベースでチャットでやり取りさせています。ここでLexを使われているそうです。

スマートな通知と先制的な障害予測を活用した、メディアアプリの使用の拡大 by Viacom

ViacomのRajneel Kumar氏による、Viacom Appについての発表です。

VOOTについて

18のネットワーク
42000時間以上のコンテンツ
35時間以上のコンテンツが日に追加
30以上MnのMAUs
3.5MnのDAUs

VOOT Lite

PWA（プログレッシブWebアプリ、いわゆるガワネイティブ）
- モダンなWebの機能を利用
- ネイティブアプリに近いエクスペリエンスを提供
なぜPWAを採用したか？
- 450+Mnのインターネットユーザー（インド）が利用
- 60%が4G/3G
- 40%が未だにナローバンド
- 11,0000以上のAndroidデバイス
- 大半が$100以下
- 低メモリ
- ユーザーの獲得が高コスト
- モバイルWebでのページの読み込み時間が長い
結果
- -80%のページ読み込み時間
- -19%のバウンスレート
- 71%のデータ保存
- +39%のセッション滞在時間
- +77%のビデオコンバージョン
- 50%の新規DAUs
- 2.2倍の日次平均PV
- 80%のCpV（Cost per Video Views）の削減

Voot Go

Voot Goとは
- 公共交通機関のバスでオフラインでストリーミングが可能
- AVoD（ビデオ・オン・デマンド）
WLANストリーミング
- モバイルブラウザサイト
- OTA（Over The Air）によるコンテンツのアップデート
7,000以上のバスでライブ配信
- マハラジャの田舎ではインターネットがない
初期の傾向
- バス1台につき9人の視聴者
- 1日あたり40分以上の閲覧時間/ユーザー

VootとAWSのパートナーシップ

Data Lake
- EC2
- S3
- EMR
- Redshift
- Athena
- DynamoDB
- Lambda
Heartbeat Service
- EC2
- ElastiCache
- S3
Bigg Boss Voting
- EC2
- SQS
- RDS
ML（Machine Learning）の活用
- スマートな通知とは？
- "Fire and forgot"なプッシュ通知によるキャンペーンは効果がない
- 次のフローで実施する
  1. 全てのユーザーの通知に対する行動をモデル化
  2. 各ユーザーのインタラクションのノードデータを確率的スコア（MLモデル）に適用
  3. スコアからカスタム行動セグメント（ML ID）をユーザーごとに作成
  4. カスタムML APIによって各ユーザーのML IDを返却
- プロトタイプの実装
- S3からMLアルゴリズムへ送る
- Voot Dataset + ユーザー行動データを元に機械学習させる
  - 通知を開いたか？
  - ビデオを閲覧したか？
  - 後から閲覧したか？
  - 他のビデオも閲覧したか？
  - エンゲージメントの習慣は？
  - デバイスの種類、ネットワークの種類は？
  - 年齢は？性別は？場所は？
  - 消費に関する行動は？
- 失敗の予測
- なぜ必要か？
  - 既存の失敗予測のメカニズムは、予防的または早期の是正措置にあまりにも遅れて応答するため
  - アラートはマニュアル
  - マニュアルな診断
  - 診断の遅延
  - オプトアウト、そしてアンインストール
- MLを使って、どのように予測するか？
  1. トリガーソースを使いつつ、過去の失敗からの学習を活用して、確率を予測する
  2. メトリクスをスキャンし、相関モデルを構築する
  - デバイス（種類、モデル）
  - CDN
  - ISP
  - コンテンツ
  - 製品のアップデート（バージョン）
  - ネットワークの種類