この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
Media & Entertainment State of the Union
ラスベガスで開催中のre:Invent 2017にて「MAE201: Media & Entertainment State of the Union」を聴講してきたのでレポートします。
スピーカーは下記の4名の方々です。
- Steve Kowalski （Sony Pictures Imageworks）
- John Herbert（21st Century Fox）
- Fabio Luzzi（Viacom）
- Rajneel Kumar （Viacom）
はじめに
アジェンダ
- ビジュアルエフェクトレンダリングのスケール by Sony Pictures Imageworks
- 21st Century FoxのAWSを使ったメディアのワークロード by 21st Century Fox
- AIとアナリティクスの拡張 by Viacom
- スマートな通知と先制的な障害予測を活用した、メディアアプリの使用の拡大 by Viacom
全ての視聴者をハッピーにするメディアのサイクル
- 次のサイクルが回ると、全ての視聴者がハッピーになる
- より多くの視聴者
- より多くのデータ
- より良い決定
- より多く＆より良いコンテンツ
ビジュアルエフェクトレンダリングのスケール by Sony Pictures Imageworks
Sony Pictures ImageworksのStepthen Kowalski氏による発表です。
Imageworksの基本統計
- VFX & アニメーションを25年
- 100以上のプロジェクトをMotion Picture Studiosと
- バンクーバー、カルバーシティ、クインシー
- 1000以上のデジタルアーティスト
- 数万のレンダリングコア
- 複数のペタバイト級のデータストレージ
Imageworksの主な特徴
- サービスフィー
- 循環ビジネス
- 積極的なスケジュール
- 遅延する意思決定
- 短命な労働力
- リソースのピーク/谷
- 多くの人とリソースが必要
- 強引
アーティストのワークフローサイクル
- 以下を循環させる
- Iterate
- Render
- Review
Shot Creation
- ワークフローサイクルを、順番に行う
- Layout & Modeling
- Rigging & Animation
- FX & Lighting
- Composting
リソースサイクル
- 9月頃は少ないリソース（5,000コア以内）で始まる
- 3月にはピークを迎える（35,000コア）
- 年間を通して、リソース量に浮き沈みがある
- 少ないリソースで動かしつつ、必要なリソースが増える時にスケールする必要がある
Spotインスタンスを利用したPoCのクラウドバースト
- Smurfs: The Lost Villageという作品で実施
- データのポイント
- 2017年1月
- 5,000VCPUを使用
- 1週間
- AWS Spot Marketを活用
- クラウド VS ハードウェアレンタル
- クラウド VS オンプレ
- POCコンポーネント
- AWS Spot Fleet
- Avere vFXT NFSキャッシュ
- AWS Direct Connect
- AWS VPC
- ForemanとPuppet
- 独自のキューイングシステム
- Arnold Renderer
- ゴール
- レンダリングのニーズに合わせてマシンを安全に用意できるか？
- オンプレのマシンと同様に、クラウドのマシンを管理できるか？
- ハードウェアレンタルよりコストを抑えられるか？
- 結果
- Major Success（大成功）
- Spot Fleetでスケールをメンテナンス
- 42%のコスト削減に成功
- ハードウェアレンタルと比べてわずかにスピードが向上
- 全体としてオンプレと比べて7%〜11%ほどの遅延
- Certain Instance Typesの高優先レートの緩和
- レンダーキューソフトを使ったシームレスなキューイング
- vFXTキャッシングによるレイテンシのキャンセル
その7ヵ月後…「Emoji Movie」
- Emoji Movieにより多くのコアが必要
- 問題
- 半分のレンダリングに7週間かかる
- アーティストの雇用の遅延する
- 低優先度のレンダリングを高優先度のジョブが妨害する
- アーティストの待ちが発生する
- 顧客のメモに対応する能力がない
- 我々が今までに提供した最悪のプロジェクトになるだろう
- 疑問
- アーティストの生産性を高めるためにクラウドを使用できるか？
- ソリューション
- クラウドリソースの購入に労力を要した資金を使用し、優先ジョブをクラウドに移すことで、オンサイトリソースを使用してアーティストのワークフローサイクルをスピードアップできるかどうかを確認する
- 起こりうる最悪の事は、これまでにない最悪のプロジェクトを提供すること
- 我々はすでにこれをどうやっているのか考えていたということが良かった
- 5,000vCPUsへのスケール
- then 10,000vCPUs
- then 25,000vCPUs
- then 50,000vCPUs
- then 75,000vCPUs
- 誰もが本当に満足した
- さらなる調整
- 読み書きの強いキャッシュを分割
- AMIの締め付け
- Auto Scalingの使用（スケールアップ、スケールダウン）
- 異なるゾーンで異なるFleetを起動
- パッケージングのマルチスレッド化
- 結果
- 〜60,000vCPUs/日
- アーティストの分担が1〜1.5Shots/週増加した
- 91%のリソースの有効活用
- 何も画面から離れていない
- クライアントの全ての要求を予算内で満たすことができた
まとめとネクストステップ
- Spot Fleetに対する実行可能で有能ななバーストオプション
- キューイングシステムのオーケストレーション
- ジョブの最適化
- AMIの管理
- 効率化を定量化して入札プロセスを知らせ、全体コストを削減する
- クラウドの戦略的な活用
21st Century FoxのAWSを使ったメディアのワークロード by 21st Century Fox
21st Century FoxのJohn Herbert氏から、FoxでのAWS活用方法の発表です。
プロジェクトのビジョン
- 企業を強力なB2Bメディアプラットフォームに統合する
- 世界中のコンテンツをシームレスに配信する
プロジェクトのゴール
- グローバルなメディアとコンテンツの権利についての包括的な意見と一貫性の提供
- 複雑化する環境の中で、デジタルメディア機能の一貫したセットの作成を行えるようにする
- 「クラウドファースト」アプローチを活用し、コンテンツ配信に必要なイノベーションを世界中の顧客に推進する
カスタマー
- Hulu
- Netflix
- Apple iTunes
- And more...
ブランド
- 90,000以上のタイトルを21CFブランドで配信
アプローチ
- Fox Media Cloudのリフレッシュ
- デジタル価値チェーンを有効化
- モダンでユーザーフレンドリーなツールを作成
- MLとAIの組み込み
- セキュリティへの継続的なフォーカス
3つの柱
- アプリケーションコンテンツ
- エンタープライズメディアプラットフォーム
- メディアマネジメント＆サービス
メディア種類
- 様々なフォーマットのメディアを取り込み可能
メディアのスケール
- 歳を重ねるごとにスケールしている
- 2017年現在では…
- 23Mのアセット
- 40PBのストレージ
- 2Mのファイル配信
- 400Kのオーダー
クラウドにおけるメディア変換
- 2016年にAWSに移行
- 10PB以上のコンテンツを数ヶ月間の間にマイグレーション
- よりアジャイルな開発サイクルにシフト
- 以下のベネフィット
- 異なる種類ののBUソース間で共通のデータストア
- AIを利用したメタデータ収集の自動化
- セキュリティの向上
- 可用性とスケーラビリティの向上
- Foxメディアの技術的な強みにフォーカス
- アナリティクスを活用してメディアの供給チェーンを継続的に強化
データアナリティクスのスケール
- 300TBのデータ増加
- 200BillionのRow増加
- 25,000/日のユーザーからのクエリ増加
- 100のソース増加
- 12,000のスクリプト・マテリアルの増加
- 35,000/日のデータ処理の増加
データアナリティクスの結果
- オンプレミスのデータウェアハウジング技術の廃止
- 9%の運用コストの削減
- 30%のパフォーマンス向上
- ダイナミックでモダンでスケーラブルなクラウドベースのプラットフォームへの移行
- 任意のソースからのデータの迅速なオンボーディングが可能
AIとAnalyticsの拡張 by Viacom
ViacomのFabio Luzzi氏による、メディア制作にAIを利用した事例の発表です。
ビジョン
- 意思決定の進捗状況に完全に統合された、データサイエンスのスケーリング
ビジネス背景
- チャレンジ
- データサイエンスを民主化する
- AWSでの実装前
- アドホック分析は時間がかかる
- データ科学者とユーザーの間を行き来する
- 1つのデータサイエンス研究を提供するために5〜15日間かかる
- 従来の配信ツールを使っている
- AWSでの実装後
- データサイエンスのためのアプリケーションの自社サービス化
- データサイエンス研究が1分未満でできる
- アドホック＆ダイナミック＆インタラクティブな配信ツール
Viacom Science Central
分析ツールであるViacom Science Centralの動作デモを紹介いただきました。
技術スタック
バックエンドはAWS、アプリケーションはDjangoで実装。フロントエンドにD3.jsを利用しています。
Viacom Eveでは、Slackベースでチャットでやり取りさせています。ここでLexを使われているそうです。
スマートな通知と先制的な障害予測を活用した、メディアアプリの使用の拡大 by Viacom
ViacomのRajneel Kumar氏による、Viacom Appについての発表です。
VOOTについて
- 18のネットワーク
- 42000時間以上のコンテンツ
- 35時間以上のコンテンツが日に追加
- 30以上MnのMAUs
- 3.5MnのDAUs
VOOT Lite
- PWA（プログレッシブWebアプリ、いわゆるガワネイティブ）
- モダンなWebの機能を利用
- ネイティブアプリに近いエクスペリエンスを提供
- なぜPWAを採用したか？
- 450+Mnのインターネットユーザー（インド）が利用
- 60%が4G/3G
- 40%が未だにナローバンド
- 11,0000以上のAndroidデバイス
- 大半が$100以下
- 低メモリ
- ユーザーの獲得が高コスト
- モバイルWebでのページの読み込み時間が長い
- 結果
- -80%のページ読み込み時間
- -19%のバウンスレート
- 71%のデータ保存
- +39%のセッション滞在時間
- +77%のビデオコンバージョン
- 50%の新規DAUs
- 2.2倍の日次平均PV
- 80%のCpV（Cost per Video Views）の削減
Voot Go
- Voot Goとは
- 公共交通機関のバスでオフラインでストリーミングが可能
- AVoD（ビデオ・オン・デマンド）
- WLANストリーミング
- モバイルブラウザサイト
- OTA（Over The Air）によるコンテンツのアップデート
- 7,000以上のバスでライブ配信
- マハラジャの田舎ではインターネットがない
- 初期の傾向
- バス1台につき9人の視聴者
- 1日あたり40分以上の閲覧時間/ユーザー
VootとAWSのパートナーシップ
- Data Lake
- EC2
- S3
- EMR
- Redshift
- Athena
- DynamoDB
- Lambda
- Heartbeat Service
- EC2
- ElastiCache
- S3
- Bigg Boss Voting
- EC2
- SQS
- RDS
- ML（Machine Learning）の活用
- スマートな通知とは？
- "Fire and forgot"なプッシュ通知によるキャンペーンは効果がない
- 次のフローで実施する
- 全てのユーザーの通知に対する行動をモデル化
- 各ユーザーのインタラクションのノードデータを確率的スコア（MLモデル）に適用
- スコアからカスタム行動セグメント（ML ID）をユーザーごとに作成
- カスタムML APIによって各ユーザーのML IDを返却
- プロトタイプの実装
- S3からMLアルゴリズムへ送る
- Voot Dataset + ユーザー行動データを元に機械学習させる
- 通知を開いたか？
- ビデオを閲覧したか？
- 後から閲覧したか？
- 他のビデオも閲覧したか？
- エンゲージメントの習慣は？
- デバイスの種類、ネットワークの種類は？
- 年齢は？性別は？場所は？
- 消費に関する行動は？
- 失敗の予測
- なぜ必要か？
- 既存の失敗予測のメカニズムは、予防的または早期の是正措置にあまりにも遅れて応答するため
- アラートはマニュアル
- マニュアルな診断
- 診断の遅延
- オプトアウト、そしてアンインストール
- MLを使って、どのように予測するか？
- トリガーソースを使いつつ、過去の失敗からの学習を活用して、確率を予測する
- メトリクスをスキャンし、相関モデルを構築する
- デバイス（種類、モデル）
- CDN
- ISP
- コンテンツ
- 製品のアップデート（バージョン）
- ネットワークの種類
まとめ
動画の制作や配信を行なっている企業による、AWSを活用したプラットフォームの紹介でした。
特に動画配信については、re:Invent 2017で新しく発表された「AWS Media Services」によって、また新たな価値をユーザーに届けられるようになるはずです。本セッションで紹介されているソリューションも組み合わせられると、最強の動画配信機能が作れる気がしてきますね！
2
