[レポート] CMP203: クラウドの中のスタジオ: AWS上でのコンテンツプロダクション #reinvent

AWS re:Invent 2019

#AWS

清水俊也

2019.12.31

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

はじめに

清水です。AWS re:Invent2019にてセッション CMP203「Studio in the cloud: Content production on AWS」を聴講してきたのでレポートします。

セッションの概要は下記になります。

In this session, learn how AWS Thinkbox and our partners are helping studios work with the best talent to scale their VFX and CG pipelines and produce some of the most popular and award-winning content. We cover several in-depth post-production topics around real-world VFX studio pipelines, and we focus on virtual workstations and rendering workloads, combining Amazon EC2 and AWS Thinkbox Deadline for scalable, cost-effective computing. Learn how real customers working on Hollywood productions integrate their pipelines with AWS to realize the elasticity and scale provided by Amazon EC2 and how they intend to leverage AWS in the future.

スピーカーは下記のお二人です。

Jason Schleifer - Principal Creative Director, Amazon Web Services
Rick Grandy - Sr. Solutions Architect, NVIDIA

レポート

Studio in the Cloud: AWS上でのアニメーションコンテンツ作成

まずはJason Schleiferさんから、AWS上でのアニメーションコンテンツの生成についての説明です。

Studio in the Cloud（クラウドの中のスタジオ）を実現するための4つの要素
- レンダリング
- ソフトウェア
- 仮想ワークステーション
- インフラストラクチャ

レンダリング

アニメーションパイプラインとレンダリング例
レンダリングの際の課題: コンピュータリソース
- その時間の処理するレンダリングジョブの数がコンピュータリソースキャパシティ（ノード数）内に収まっているうちは良い
- レンダリングジョブ数がコンピュータリソースを上回ると問題になる
  - キャパシティオーバーしたジョブは処理が後回しになってしまう
- 後回しになったジョブにさらにレンダリングジョブが追加され、ジョブは溜まるいっぽう
- コンピュータリソースを追加すればジョブの溜まりすぎを解決できるが、使わない間は余剰リソースとなってしまう
  - ジョブが溜まるのを完全に解決できるわけでもない
解決方法？
- 新しいハードウェアを購入する
- 品質を犠牲にする
- 新しい仕事を断る
オンプレミスでキャパシティオーバーしている分をクラウドで処理する
クラウド利用の顧客のトレンドとして
- オンプレミス容量の2倍から10倍にスケーリングさせている
- 時間に対して柔軟性が持てる（必要に応じて短期間にレンダリングが完了、クライアントの要求に対してYESが言える）
Milk VFXのケース
- 課題
  - 650ショットを5ヶ月で制作
  - キャラクターから視覚効果まで多種多様な作品に対応
  - クラウドスケールするレンダリングソリューション環境が必要
- AWS Thinkbox DeadlineとAmazon EC2 Spotの利用
  - オンプレミスとEC2スポットの併用、管理
  - 1日あたり、ピーク時には83,000コア、平均でも15,000コアを使用
  - Deadlineの柔軟さでカスタムしたパイプラインを使用できた
- 利点
  - スケーラビリティと伸縮性により、小さなチームながら予定どおりに作業を完遂
  - 通常であればより大きなチームを必要とするプロジェクト
Orville Space Battle Episode 209のケース
- 課題
  - およそ8分間の宇宙戦シーン（スターウオーズに匹敵）
  - 8週間で1,000人時間を超える、228のショット
- AWS Thinkbox DeadlineとAmazon EC2 Spotの利用
  - DeadlineをオンプレミスとEC2スポットインスタンスの管理に利用
  - 内製のNucleusのプロダクションプラットフォームとの統合
  - 100,000時間超のレンダリング
  - 200,000超フレームレンダリングをEC2スポットインスタンスで。ピーク時には100,000コアを使用
  - トータルでは500,000超のフレームをレンダリング
  - 100,000を超えるレンダリングショットのバージョン
- 利点
  - クラウドのキャパシティがなければ不可能なタスクだった
  - クラウドレンダリングが可能にした柔軟性のあるキャパシティで、制作チームは自信を持って配信目標に到達できた
ハイブリッドレンダリングアーキテクチャ例
Rocket Science VFXのケース
- 課題
  - GPUリソースの拡大が必要
  - いくつかのプロジェクトが並走しているがそれぞれでパイプラインが異なる
- AWS Thinkbox DeadlineとAmazon EC2 Spotの利用
  - EC2スポットでNVIDIA GPUインスタンスをスケールさせレンダリング
  - 並行するプロジェクトのためAutodesk ArnoldでCPUレンダリングを利用
  - Thinkbox Deadlineで単一のインターフェースでローカルとクラウドベースのリソースを管理可能
- 利点
  - ショットのイテレーションとリファインにより多くの時間が使える
  - 異なるワークフローの採用を可能にする柔軟なパイプライン

ソフトウェア

AWS Thinkbox Marketplace
- 多様なレンダリングソフトウェアが利用可能
  - Autodesk 3DS MAX, Arnoid Render, Katana Render, Keyshot Render, Maya for AWS, Nuke Render, Redshift Render等々
- 使った分だけのライセンス支払い(UBL: Usage-based licensing)
- アプリケーションに対して1分ごとのライセンス
- https://marketplace.thinkboxsoftware.com
AWSとASWF(Academy Software Fundation)の連携
- ASWF(Academy Software Fundation)
  - 映画や幅広いメディア業界のオープンソースソフトウェア開発者がリソースを共有
  - 画像作成、ヴィジュアルエフェクト、アニメーション、サウンド技術での協力するための中立的なフォーラムの提供
- ASWFのPremiere Membersとして、AWSの他にAutodeskやCISCO、Google Cloud、Intel、Microsoft、NETFLIX、NVIDIA、SONY Pictures、The WaltDisney Studiosなどの名前も

仮想ワークステーション

コンテンツ制作のための仮想ワークステーション
- ハイスペックグラフィックス
- LinuxとWindows
- HD/2Kのデュアルモニタ
- 色やピクセルの正確さ
- 映像と音声の同期
- Wacom Cintiq のサポート
Amazon EC2 G4インスタンスの紹介
- NVIDIA T4 Tensor Core GPU
- 最大1.8TBのローカルNVMeストレージ
- 最大100Gbpsのネットワークスループット
- 推奨ユースケースとして
  - 機械学習の推論
  - グラフィックス集約型アプリケーション
  - RTX対応アプリケーション
  - ビデオトランスコーディング
AWS Workstation Quick Starts
- Visual Effects Workstations on AWS
  - https://aws.amazon.com/quickstart/architecture/vfx-workstations-with-teradici/
- Cloud Video Editing on AWS
  - https://aws.amazon.com/quickstart/architecture/cloud-video-editing/

インフラストラクチャ

AWSグローバルインフラストラクチャ
- 22のリージョン、1つのローカルリージョン、69のAvailability Zone、200のPOP
AWS Local Zones
- AWSのインフラデプロイの新しいかたち
- コンピュート、ストレージ、データベース、その他のサービスをより顧客の近くに展開
- 1桁のレイテンシを必要とする要求の厳しいアプリケーション向け
- 例としてはLA（ロサンゼルス）、オレゴンには遠いがLAのLocal Zonesを使うことで低レイテンシが実現できる
Amazon FSX for Windows File Server
- フルマネージドのWindowsファイルサーバーサービス
- Windowsファイルストレージをリフト＆シフト
Amazon FSx for Luster
- 計算集中型ワークロード向けフルマネージドのLusterファイルシステム
インフラの柔軟性
- Deadline 10
  - MayaやDDSMAXを使ったハイブリッドワークフロー
  - 各インスタンス内EBSとS3との同期
- パートナー Qumulo
  - ハイパフォーマンスクラウドファイルシステム
  - Windows/Linux混在環境でのも数億ファイルまでスケール
- パートナー WEKA.IO
  - ハイパフォーマンスクラウドファイルシステム
  - HPCでのS3/Glacierの活用
Studio in the Cloudリファレンスアーキテクチャ

メディア＆エンターテイメント向けNVIDAのGPUテクノロジー

続いてRick Grandyさん、NVIDIAのGPUテクノロジーについての紹介です。

メディア＆エンタテインメントのトレンド
- より少ないお金、より少ない時間で高品質のコンテツを作成することがマスト
- より大きな要求
  - 消費者がより高品質を求めている
- ダイナミックな背景
  - コンピュータリソースのスケールと素早いセットアップが求められる
- プロダクションの加速
  - より短い時間でいてれーしょhンを最大化したい
- 強化されたセキュリティ
  - リークやデータ破損を防ぐためデータセンター/クラウドに資産を集中化する
AWS上でのQUADROパフォーマンス
- すべてのデバイスにグラフィックスがあり、仮想マシンにも同様にGPUが必要
- NVIDIAの仮想GPUテクノロジーが仮想デスクトップ/アプリケーションのグラフィックスアクセラレーションをサポート
NVIDIAの仮想GPU
メディア＆エンターテイメントのユーザ例
- アニメータ、プロダクション、VFXプロデューサ
  - レンダリングやグラフィクスを多用するシーン変更
    - g4dn.4xlarge-g4dn.16xlargeインスタンスを推奨
- ビデオ編集者
  - リモートでの表示、編集、リアルタイムオンエア編集
    - g4dn.2xlarge-d4dn.8xlargeインスタンスを推奨
- マーケティング、クリエイティブ、デザイン、イラストレータ
  - Adobe Creative CloudのようなWindows 10 VDIを使った一般使用
    - g4dn.xlarge- d4dn.2xlargeインスタンスを推奨
Amazon EC2 G4: NVIDIA T4 with Quadro Virtual Workstation
- M60に比べて最大2倍のグラフィクスパフォーマンス
- インタラクティブレイトレーシングでリアルタイムに秒間5ギガの光線
- 2,560個のNVIDIA CUDA Core
- 320個のNVIDIA Turing Tensorコア
- RTX向けアプリケーション用の40個のRTコア
- 16GBのDDR6メモリ
RTXレイトレーシング
- レイトレーサーの内訳として
  - 加速構造(Acceleration structure)管理
  - シェーディング
  - ノイズ除去（デノイジング）
  - レイトレーシング
- OptiX: A General Purpose Ray Tracing Engine
  - https://raytracing-docs.nvidia.com/optix6/whitepaper/nvidia_optix_TOG_v29_n4.pdf
  - レイトレーシングの課題
    - 三角型のデータ「haystack」で「針(needle)」を見つける方法は？
  - 加速構造(Acceleration structure)管理、シェーディング、ノイズ除去（デノイジング）をCUDAコア、Tnesorコアで処理
  - レイトレーシングはRTコアで処理
  - GPUレンダリングを用いることでCPUレンダリングと比べて大幅な処理時間の短縮が可能
CUDA-X AI（AIとあわせた活用方法）
- Optix Recurrent Denoising Autoencoder
  - https://www.developer.nvidia.com/optix-denoiser
  - NVIDIAの研究論文「Recurrent Denoising Autoencoderを使用したモンテカルロイメージシーケンスのインタラクティブな再構築」の内容に基づいたAI加速型のデノイザ
    - https://research.nvidia.com/sites/default/files/publications/dnn_denoise_author.pdf
- Super Resolution
  - ディープラーニングを活用したスマートアップスケーリング
    - https://gwmt.nvidia.com
- Fast Photo Style
  - ある画像の特徴を他の画像に適用
    - https://github.com/NVIDIA/FastPhotoStyle
- locomotion向けのディープラーニング
  - AIによるリアルタイムでのリアルなキャラクターモーション作成
  - Deep Learning Animation: PFNN
    - Phase-Functioned Neural Networks for Character Control
    - http://theorangeduck.com/page/phase-functioned-neural-networks-character-control

感想

レンダリングなど一部の処理をクラウドを活用して行う、という事例は以前からあったかと思います。ただAWSとThinkboxが連携したことで導入しやすく、またできることも広がりよりクラウド化が進んでいるのではないでしょうか。AWS Local Zonesの活用も期待できそうですね。その他FSXなども含め、クラウドの中のスタジオ、AWS内でコンテンツ制作をする環境はより整備が進んでいると感じました。またNVIDIA GPUが利用できるG4インスタンスについても活用の幅が広がっているかと思います、本セッションで紹介があったように新たなグラフィクス手法の研究開発などにも利用されていますね。今後のさらなるユースケースの広がりにも期待が持てました。