【レポート】AWS Snowファミリーを使用したデータ移行とエッジコンピューティング（STG214） #reinvent 2019
こんにちは、札幌在住 AWS 事業本部 オペレーション部（通称オペ部）の池田です。
今回は re:Invent 2019 のセッション Data migration and edge computing with the AWS Snow family（STG214）のセッションスライドから読み取った内容をご紹介します。
セッションについて
- タイトル
- Data migration and edge computing with the AWS Snow family（STG214）
- 発表者
- Ramesh Kumar, Principal Product Manager, Amazon Web Services
- Matt Johannessen, Director, Cloud Services, Novetta
概要
Many organizations still have data they want to move to AWS, and have disconnected, remote field operations that require local computing capabilities. The AWS Snow family—AWS Snowball, AWS Snowball Edge, and AWS Snowmobile—helps you move large quantities of data offline and enables data processing and storage at edge locations when network capacity is constrained or nonexistent. This session provides an update on the Snow family and dives into the operational details of migrating data and how to build edge computing architectures with Snowball Edge. Learn when and how to use the service for your migration and computing needs.
公開資料はこちらにあります。セッション動画はこちらで公開されています。
アジェンダ
- Responding to customer needs for migration and edge computing
- Edge computing with AWS Snowball Edge
- Guest speaker: Using AWS Snowball Edge for disaster response
- Moving data at scale with the AWS Snow family
- Q&A
Responding to customer needs for migration and edge computing
Why computing at the edge?
なぜエッジコンピューティングが必要か
- コンテンツの配布
- 産業向け IoT
- 海上における戦術的なエッジコンピューティング
- 輸送や物流における車両
- 医療分野における IoT
- 自動運転車両やドローンのデータ収集
Compute at the edge
エッジコンピューティングにおける AWS サービス
- AWS Snowball Edge
- ネットワーク接続のない環境下における大規模データの収集や演算が必要な場面向け
- AWS Outposts
- ネットワーク接続のある環境下における演算処理、ストレージやデータベースが必要な場面向け
2 Snowball Edge options
Snowball のオプション
- コンピュート最適化オプション
- 42TB の S3 互換ストレージが使用可能
- 52個のvCPU、208GiB のメモリを搭載
- NVIDIA Tesla V100 GPU オプション
- sbe1、sbe-c、および sbe-g インスタンスの提供（C5、M5a、G3、P3 と同等）
- コンピューティングに最適化されたクラスターへ対応
- ストレージ最適化オプション
- 80TB の S3 互換ストレージが使用可能
- sbe1、sbe-c インスタンスの提供（C5 と同等）
- 最大 24個の vCPU、32GiB のメモリを搭載
- ストレージが最適化されたクラスターに対応
- 3年または 1年の長期利用オプションの提供
- データ転送と EC2 コンピューティングインスタンス
- GPU、データ転送、および EC2 コンピューティングインスタンス
Edge computing with AWS Snowball Edge
Edge computing example workflow
エッジコンピューティングの例
- 利点
- 製造対象や生産ラインの変更に応じてセキュリティ要件が変更される施設、セキュリティの強固なデータセンター外ながらも安全な高性能コンピューティングを必要とする工場などでの利用に最適
- ローカルアクションをより迅速に収集、分析、有効化
- 一貫したプログラミングと DevOps モデル：クラウド内で開発およびテストし、エッジで実行
- AWS配信モデル：サービスとしてのハードウェア
Snowball Edge device manager GUI
- 複数のSnowball Edgeデバイスを管理するためのグラフィカルユーザーインターフェース
- 高速で簡単なデバイスロック解除
- ファイル転送のドラッグアンドドロップ
- デバイスの再起動または更新
- リソースの監視：メモリ、ストレージ、ジョブメトリック、IPアドレス
- EC2インスタンスの管理：作成、開始、停止、再起動
- 仮想ネットワークインターフェイスの管理
- 四半期後の利用状況を予想
エッジコンピューティングの利用事例
- アメリカ国家地理空間情報局（NGA）
- 1,200万枚の画像
- タイムラインの短縮
- 自動抽出
- インデックス化された 5,000万件の監視を 75％ 自動化
- 画像観察を自動化
- それらの観察に関連するテキストレポートを自動化
- Odyssey Ingest and dissemination
- 残念ながら日本語で理解しやすい表現がわからず...（辞書にあるように、Odyssey は長い旅や放浪などといった長期間継続する事柄を指し示す場合などに使われる言葉なのかな？とは思うのですが）
- エッジでクラウドアーキテクチャを提供
- AWS Snowball Edge 上に構築（仮想マシンのストレージ、計算、およびホスト）
- 常に技術を更新
- 既存のエンタープライズライセンスの活用
- AWS Disaster Response Team and Snowball Edge
- AWS Disaster Response Team ： 略称 AWS DRT
- AWS の技術専門家は、災害ゾーンに配備された顧客向けに AWS Snowball Edge デバイスをプロビジョニング、輸送、実装、および再配備します
- 接続が制限されている / 存在しないエッジでワークロードを実行できるように、重要なデータは事前定義されたソフトウェアスタックでプロビジョニングされます
- AWS DRT は、お客様とのフィールドシミュレーション演習を実施して、最も必要なときにテクノロジーが機能することを確認します
Global Disaster Immediate Response Team (D.I.R.T.)の事例
Global Disaster Immediate Response Team (D.I.R.T.)：2019年9月にバハマを襲ったハリケーン「ドリアン（Dorian）」におけるグローバル災害緊急対応チームのエッジコンピューティング
- Snowball Edge を利用した S3 Bucket に保管されていたデータの参照、EC2 によるコンピューティングの実現
- オープンソースとして公開されている地図データの利用
- ドローンによる空撮データの解析など
Guest speaker: Using AWS Snowball Edge for disaster response
Novetta 社における Snowball Edge の活用
- Operation Convergent Response（OCR）：ネットで公開されている辞書などを探してみましたが、現時点では適切な和訳が存在していないように思いました。災害発生後の状況把握や事態収束に対するオペレーション計画とその行動などを指し示しているものと受け取りました
- Snowball Edge を使用して、安価なIoTセンサーと従来のセキュリティカメラからデータを収集、視覚化
- Snowball Edge 上で Windwos Server 2016 を起動、センサー融合プラットフォームを実行し、Lora GPS センサー群からのデータや IoT カメラの撮影データを Snowball Edge へ集約
- Snowball Edge と EC2 上で稼働する Ageon ISR サーバをインターネットで接続
IoT センサー
長距離通信可能な単4電池で動作する LoRaWAN GPS センサーによる位置情報の取得
Ageon ISR サーバ
Ageon（Ageon ISR サーバ）とは、NOVETTA 社により提供されている各種センサーやカメラなどによって取得された情報を視覚的にわかりやすく表示させる機能を持った Web サーバ製品のことでした
Real-time web application delivering cutting edge command, control, and communications capabilities shared between platforms or tactical nodes fed into a global network to provide operators and analysts visualization, exploitation and forensic tools.
復旧活動現地の様子
共同運用センターの様子
Medium Earth Orbit backhaul connection ：中軌道（人工衛星）を中継回線とした通信網の利用
Moving data at scale with the AWS Snow family
大規模なデータ移行における AWS Snow family の活用について
Data collection and movement challenges
- データ収集と移動の課題：オンラインデータ転送における様々な制限
- 接続の制限
- 帯域幅の制約
- サポートされるプロトコルの制限
- レガシーな環境
- データプロパティと使用パターン
- 遠隔地 / 厳しい場所で収集されたデータ
- 高速な専用線を利用しても膨大なデータを転送するには長時間を要する
Snow family の特徴
AWS Snowball Edge を利用したデータインポートのフロー
- ジョブの作成とプロビジョニング
- 1-3日でデバイスを出荷
- AWS Snowball / AWS Snowball Edge への接続
- 1-2日でデバイスがユーザーの元へ到着
- データを AWS Snowball / AWS Snowball Edge へ転送
- 1-N日（データ転送速度に依存）
- AWS へ返送
- 1-2日でデバイスが AWS へ到着
- AWS による S3 バケットへデータの取り込み処理
- 1-3日
- ローカルデバイス、AWS Snowball / AWS Snowball Edge からのデータ消去などを経て完了
Large-scale migrations with Snowball Edge
数ペタバイトにおよぶ大規模移行案件からの学び
- 概念実証（POC）を実行する
- 環境問題の早期発見と修復
- より現実的な移行とエッジコンピューティングのタイムラインを設定
- ステージングワークステーションを展開
- ネットワークの待ち時間を短くする（1ms以下）
- より大きなファイル（5MB 超）を確保
- データ転送のベンチマークと最適化（目標 300-500 MBps）
- AWS Snowball ジョブを作成する前に、アカウントチームおよび TAM でデバイスとスケジュールを計画する
Snowball Egde 用独立系ソフトウェアベンダー製ツール SBManager
- Snowball Edge 管理用の GUI ツール
- ロック解除、起動、停止、再起動、構成管理の自動化
- ワンクリックで複数のデバイスを一括または単一で管理
- 監視、ログアクセス、およびソフトウェアバージョン管理
- クラスター管理
- 利用可能なすべてのAWS Botoコマンドをエミュレート
Snowball Egde 用独立系ソフトウェアベンダー製ツール Pixspan PixMover
- Snowball Edge を使用した Amazon S3 への高速なオフライン移行
- 簡素化された GUI により、CLI やスクリプトの使用を回避
- ファイルサイズに応じて、Snowball Edge のロード時間を最大2〜3倍高速化
- 同時に複数のデバイスをロード
Data migration at scale with Snowball Edge
- Snowball Edge を利用した大規模なデータ移行事例
- PHOTOBOX：ヨーロッパNo.1のオンライン写真サービス
- 2つのデータセンターからAWSに移行
- Snowball Edge を使用して、10 PB（57億）の写真を Dell EMC Isilon および IBM Cleversafe から Amazon S3 へ移行
- 他のクラウドサービスよりも高い S3 の耐久性が必要（スライドにある colos というのは IT インフラストラクチャを提供する企業のようですが、Web 検索で正確な情報を見つけられませんでした...）
- 顧客向けのイノベーションと製品開発に焦点を当てた投資へシフト
まとめ
残念ながら一部の表現において適切な和訳や日本語の情報源を見つけることができない箇所がありましたが、複数の事例紹介から AWS Snowball / AWS Snowball Edge のユースケースを知ることができました。特に災害対策における利活用は今後、世界各地でも多く求められていくものではないでしょうか。人が足を踏み入れたり車両や重機が侵入できない箇所において、小型軽量な GPS 端末とカメラを搭載したドローンにより収集された情報を現地ですぐさま解析、地図情報との照合や画像解析による人物の発見など、救助活動の迅速化や二次災害を回避することも可能になるのではないかと感じました。
![[アップデート] AWS Snowball Edgeがテープライブラリを利用したマイグレーションに対応しました！ #reinvent](https://devio2023-media.developers.io/wp-content/uploads/2021/11/eyecatch_reinvent2021_breakingnews.jpg)
