この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
こんにちは、大前です。
本エントリは、2021/11/17 - 11/19 で開催されている Inter BEE 2021 のセッション「AWS を活用したコンテンツ価値を最大化するABEMAのクラウド戦略」についてのレポートブログです。
セッション概要
動画配信サービスでは、映像素材の搬入から、配信、アーカイブといった、コンテンツサプライチェーン管理においてクラウド利用が進んでまいりました。 本セミナーでは株式会社AbemaTV 様にご登壇いただき、映像コンテンツのトランスコード、アーカイブ保存、運用のDX化といった、新しい未来のテレビ「ABEMA」におけるこれまでの取り組みと今後の展開についてお話いただきます。
スピーカー
- 岸 良 氏
- 株式会社 AbemaTV 開発本部 コンテンツエンジニアリング グループ マネージャー
- 御池 崇史 氏
- 株式会社 AbemaTV 開発本部 コンテンツエンジニアリング グループ ディベロッパーエキスパート/QCスペシャリスト
- 中澤 優一郎 氏
- 株式会社 AbemaTV 開発本部 コンテンツエンジニアリング グループ ソフトウェアエンジニア
- 髙峯 明日希 氏
- 株式会社 AbemaTV 開発本部 コンテンツエンジニアリング グループ ソフトウェアエンジニア
- 山田 岳人 氏
- 株式会社 AbemaTV 開発本部 コンテンツエンジニアリング グループ ソフトウェアエンジニア
- 東 和宏 氏
- 株式会社サイバーエージェント CIU インフラエンジニア
レポート
アジェンダ
- MAM 概論① MAM の検討
- MAM 概論② 包括的問題解決手段としてのクラウド移行
- Amazon WorkSpaces を活用した動画運用のテレワーク化
- トランスコードワークロードの DX 推進
- 動画アーカイブ運用における DX 推進
- クラウドを活用した Media Workflow の実現
事業紹介
- ABEMA
- サービスコンセプトは 新しい未来のテレビ
- 6800万DL超え
- 無料、完全編成されたプロコンテンツを視聴可能
- コンテンツフロー
- ファイル納品やライブ配信などがあり複雑
- 今回は納品や収録、配信にフォーカス
MAM 概論① MAM の検討
- ABEMA 当初はリニア配信のみのサービスだった
- ビデオ配信機能の追加に伴い、増大するコンテンツの管理チームが立ち上がった
- クラウドとオンプレミスの比較は判断
- 維持コストの比較が難しかった
- 単純なコストだけだとクラウドの利点が見出し辛かった
- コストだけでなく、冗長性なども考慮
- 維持コストの比較が難しかった
- メタデータの活用
- 当時は機械学習の活用が始まった頃
- クラウド編集
- ゆくゆく進んでいくことは見えていたが、ニーズが見えなかったこともあり厳しいご意見もあった
- クラウドメリットが教授できるまでには時間がかかると思っていたが、コロナによって WorkSpaces の導入等が進んだ
MAM 概論② 包括的問題解決手段としてのクラウド移行
- ABEMA の動画運用形態
- 制作やコンテンツ運用、広告運用、編集など様々存在し部署も分かれている
- それぞれ独自の管理をしていたことが一つの問題であった
- 全体最適を目指したアプローチを目指した
- 実現したいことは何か
- 動画運用における負債の解消
- 高品質運用の実現・自動化
- 属人化の排除・リテラシーの全体波及
- 品質の制御・水準の維持
- 状態・傾向・特徴量の計測・分析・コスト管理
- 進化するビジネス・クリエイティブ要件への追従能力の確保
- アプローチどうするか悩んだ・・・
- 全体最適化のビジョンを提供する事に
- ビジョンだけでなく、具体性も持つことが大事
- 結果として今より改善することが求めれらる
- 理想状態の提示を行い、同意を得られた
- クラウド MAM の配置など
- 理想状態を生むために必要なブレードセットを提案
- ルール、ロールなど、足りないものを抽出し作っていく
- それぞれが機能しているのかも測っていく
- さらに細かく、既存課題の理想状態の抽出を行ない、ビフォーアフターのイメージを伝えた
- レイテンシーを除けば、基本的にはクラウド化にはメリットしかないと考えている
- クラウド移行
- まずはエンジニア主体で進めていく
- 仕組みを作れるのはエンジニア
- コロナによって社会情勢が変化し、新たなミッションが増えた
- 社会的危機への対応能力が求められる
- クリエイティブバックボーンにしていく
- まずはエンジニア主体で進めていく
- 現在の構想
- 元々は動画のクラウド管理を目的にしていたが、様々な付加価値や連携機能が盛り込まれている
- メディア事業を進化させるクリエイティブバックボーン=クラウドMAM
- あらゆるメリットを提供
Amazon WorkSpaces を活用した動画運用のテレワーク化
- Amazon WorkSpaces の検証と導入を担当した
- ABEMA における動画運用業務は 5つに分けられた
- 動画の納品
- 納品されたコンテンツのチェック
- 編集
- 配信するための変換
- MAM への登録
- 今までは出社が必須の業務となっていたが、WorkSpaces を導入したことで一部作業をクラウドで完結出来る様になった
- WorkSpaces を実際に使って学んだ実用面についてお話しする
- ABEMA における動画運用業務は 5つに分けられた
- Amazon WorkSpaces とは
- フルマネージドなデスクトップ仮想化サービス
- 操作性も良い
- セキュリティ面でもメリットがある
- 採用しようと思ったポイント
- FSx や S3 との連携しやすさ
- 今までは物理媒体でファイルを保管していたが、容量を気にしなくて良い、かつ堅牢性がある
- 使い方が簡単、操作性も変わらない
- 実際に使うのは非エンジニアであるため、使い勝手も大切
- FSx や S3 との連携しやすさ
- ストリーミングプロトコルについて
- PCoIP, WSP の選択肢がある
- WSP が後発
- WSP の検証も実施したが、PCoIP の方が動画再生時の品質が安定していた
- PCoIP, WSP の選択肢がある
- アーキテクチャ
- オフィスの社内端末からのみ接続
- 社外は VPN 経由で接続
- 上記以外はブロック
- シンプルに利用してもらうため、あえて制限を設けた
- セキュリティ設定を行ってから利用者に払い出し
- WorkSpaces で実現できたこと
- 動画のチェック業務
- 倍速再生に限界がある
- 大容量のファイルを移動すると反映が遅い（おそらく Strage Gateway を利用しているため）
- 編集
- カット編集やテロップ、ロゴ挿入が出来る様に
- 一方で、厳密なリップシンクなどは難しいとの現場の声も
- 動画のチェック業務
- 総括
- WorkSpaces 環境を利用することで、一部利便性が劣る部分もあるが、テレワーク化を実現できた
トランスコードワークロードの DX 推進
- 変換業務のクラウドシフトについて
- 扱うコンテンツが多様なため、納品される動画の品質やフォーマットは様々
- 元々はオンプレのトランスコーダーを使っていたが、課題が見えてきていた
- MediaConvert を利用し、解決
- オンプレトランスコードの課題について
- 動画の高品質化によるトランスコードが長時間化
- チャンネル増加に伴う同時実行数が不足
- オンプレトランスコーダーではリソース調整が柔軟にできなかった
- 保守期限が迫っていた
- 大きなモチベーションの一つ
- 未来のトランスコード要件への対応
- 社内状況の変化
- MAM 全体としてクラウド化の促進があった
- AWS Elemental MediaServices の成熟もポイント
- トランスコード技術のコモディティ化
- AWS Elemental MediaServices について
- 複数のサービスから構成されており、組み合わせることで動画ワークフローを構築可能
- 今回は MediaConvert を利用
- ファイルベースのトランスコーダー
- 採用理由
- パフォーマンスの高さ
- 高速トランスコード機能
- スケーラビリティ
- 多様な入力形式のサポート
- 従量課金
- フルマネージド
- ライセンス等からの解放
- パフォーマンスの高さ
- システム構成
- MediaServices を複数のサービスを組み合わせ、多様なワークフローを実現可能
- AWS から多様なソリューションが提供されている
- 移行前後での比較
- パフォーマンス
- 実際の業務に近いベンチマークで測定
- ProRes MOV 25分動画を 12本同時にトランスコード
- 元々は 4本が最大同時変換だったが同時に 100本を変換できる様に
- 当然変換時間も削減
- 実際の業務に近いベンチマークで測定
- 機能
- AV1 など、様々な機能も拡充を実現
- エコシステム
- モニタリング、コストアラートなど豊富なエコシステムを活用可能
- コスト
- オンプレでは初期費用と月間保守費用が発生
- AWS では初期費用なしの従量課金
- 維持費用だけの比較でも十分なメリットを感じられた
- パフォーマンス
- まとめ
- クラウドの活用により、パフォーマンス、クオリティ、コストなどのトランスコードの課題を解決できる
- AWS サービスを組み合わせることで様々なワークフローに少ない工数で柔軟に対応できる
- 変換業務だけでなく、フルクラウドで一元的な動画運用を実現したい
動画アーカイブ運用における DX 推進
- ABEMA でのアーカイブ運用
- 素材の保存と取り出しを主な業務としている
- 課題
- 物理ハードディスクでの保存はデータ損失のリスク等があった
- 取り出し業務では、記録媒体を探すところから始まり、負荷の高い業務となっていた
- 非効率、かつ属人性が高かった
- また誰が素材を利用するのか見えないためセキュリティ的なリスクもあった
- クラウドアーカイブシステムを開発
- クラウドアーカイブシステムに素材を保管
- 利用者は直接素材を探し、利用
- WorkSpaces に DL し、クラウド編集で利用
- 外部パートナーに一時的なアクセス許可が可能になる機能を追加予定
- 構成
- APIGW, Lambda, DynamoDB を中心としたサーバレス構成
- メタデータ検索のために Amazon OSS を利用
- MediaConvert はサムネイル再生のために利用
- 認証認可で Cognito を利用
- アーカイブ取り出し運用の変化
- 編集担当者が自分で欲しい素材を検索、利用できる様になった
- DL 速度はストレージクラスにもよるが、最大でも 12時間で、もともと 3日とかかかっていたため改善された
- セキュリティ的にも向上
- まとめ
- クラウドアーカイブシステムによってデータ損失リスク、セキュリティリスク、オペレーションの非効率性を改善することができた
- 課題としては、保管するコンテンツ量が多く、S3 のデータ保管料金が高くなってしまう
- ストレージクラス等の調整を検討している
クラウドを活用した Media Workflow の実現
- ABEMA におけるメディアワークフロー
- 買い付けだけでなく自社配信などもあり、異なるメディアワークフローが存在
- 物理的に離れた場所での連携が必要
- 顧客毎に異なるフォーマットへの対応が必要
- 利用者に合わせた柔軟なデータフローを目指す
- 求められる要件
- 利用者の要求する品質の動画を届ける
- 技術選択の柔軟性を損なわない
- 開発がスケールする仕組みを構築する
- 既存システムとの連携も必要な要件
- 利用した技術
- メインで利用したのは AWS Step Functions
- サーバーレスなオーケストレーションサービス
- ABEMA の作品プレビュー機能を生成するワークフローを実現
- Lambda や MediaConvert と連携
- 可観測性を高めるために X-Ray を導入
- よかった点
- Step Functions が視覚的に状態を確認できる
- X-Ray で全体的な観測ができる様に
- Step Functions に最近アップデートも
- 一回の実行あたり数円で済む点もメリット
- ローコードで実現
- Step Functions Workflow Studio の活用
- 悪かった点
- Step Functions のバージョニング機能がない
- リリース方法も確立されていない
- 良くも悪くもアップデートが多く、ベストプラクティスが確立し辛い状態
- メインで利用したのは AWS Step Functions
- 今後
- 従来のワークフローをより改善
- ワークフローの可観測性を向上
- オペレータに対する可観測性も向上
おわりに
元々オンプレで動画ワークロードを動かしていて、それに対する課題や解決するためにどういった事を考え、推進したかを非常にわかりやすく説明して、とても勉強になりました。
実際のワークロードでサービスを運用してみて感じた所感なども聞くことができ、よかったです。
以上、AWS 事業本部の大前でした。