[AWS Black Belt Online Seminar] AWS Snowball レポート

コンニチーーハ千葉です。

2017年6月14日(水)のAWS Black Belt Online Seminarを受講しましたのでレポートをお届けします。

本日はAWS Snowballについてでした。日本ではプライベートプレビューですが、条件次第で利用できるとのことです。まずはAWSへ相談ですね！

★資料のリンクは、アップされたら追記します★

レポート

アジェンダは以下でした。

• Snowball概要
• 利用方法
• ベストプラクティス
• プレビュー情報
• Tips/FAQ

Snowballの概要

• AWSには様々なストレージがある(EBS/S3/EFSなどなど)
• さらにデータを移行するためのサービス(DX、DMS、Kinesis、Snowball)
• SnowballはS3へのデータ移行サービス、特徴としては物理的にデータを移行するサービス
• ネットワーク経由での転送が一般的だが、速度、帯域などに依存し時間がかかる
• Snowballのユースケース：マイグレーションや初期データコピーなど
• オフラインでのデータマイグレーションサービスいろいろ
  • Snowball
  • Snowball Edge
  • Snowmobile

Snowballとは？

• ハードウェアアプライアンス：50TBまたは80TBをもつ物理アプライアンス。東京だと80TB一択
• データセンターでSnowballにデータコピー、AWSセンターに送ってインポートする
• ユースケース
  • マイグレーション
  • 災害対策
  • データセンター統合
  • コンテンツ配信：データを他のお客様に提供するなど
• データ容量が大きい場合にSnowballは移行時間を短くできる

Snowballデータコピー

• Snowballアプライアンスをネットワークに接続
• 端末に専用のクライアントを入れてデータをコピー
• Snowballを配送すると、S3にデータインポートされる

Snowballクライアント

• 標準クライアント：コマンドライン
• S3 Adapter for Snowball：S3 REST APIを使ってSnowballへデータ転送できる(AWS CLIやSDKがつかえる)

Snowballの利用方法

フロー

• マネージメントコンソールからジョブ作成
• アプライアンスが届くのでデータを読み込み or 書き込みをする
• アプライアンスを配送する
• AWSでインポートされる

ジョブマニフェストとクレデンシャル

• マネージメントコンソールからマニフェストファイルをダウンロード
• マニフェストを利用する場合はロックコードを入力しアンロック
• マニフェストを利用してSnowballへ接続する

Snowballの利用

事前準備(ジョブ作成前)

• データの用意
• クライアント端末を用意(推奨スペックあるので注意)
• インポートの場合はインポート先のS3バケット
• Snowballのインストール
• データ転送速度の見積もり(テストコマンドが用意されているので見積もりができる)

ジョブの作成

• マネージメントコンソールからSnowballを選択
• ジョブを作成
  • S3へインポート？ or S3からエクスポート？を選択
  • 出荷先(データセンター等)の住所などの情報を入力する
  • S3バケットを指定
  • IAMロールの指定(AWSで実施するインポートは指定したIAMロールが利用される)
  • ステータス変更時のSNS通知(AWSにSnowball届いたとか、インポート開始したとか)
• Snowballの外装に傷がないかや付属品(電源ケーブル等)に不足がないかを確認する、返す時のも付属品を忘れずに！
• 電源ケーブルを繋ぐとパネルがReady状態になる。パネルからネットワークアドレスを設定する
  • 10GbEインターフェースを複数持っている
• データの書き込み/読み出し
  • マネージメントコンソールからマニフェスト(Get Credential)を取得
  • snowball startでSnowballへ接続
  • snowball cp でデータコピー
  • フォルダやファイルの削除もできる
  • 重要!!snowball validate で、正しく書き込みが完了しているかを確認すること！！
• Snowballの撤去とAWSへ返送
  • Snowballはシャットダウンコマンドで、ケーブルなどの付属品も返品するので忘れずに
  • ディスプレイに発送ラベルが表示されるので、それで配送する

Snowballアプライアンスの特徴

• 耐タンパー性をもっている
• 8.5Gの衝撃にも耐えられる
• データは暗号化される、鍵はKMSで管理
• NIST 800-88に従ってデータを削除
• オブジェクトが大きいと転送速度がでる、逆に小さいファイルを沢山送るとよりは、容量大きいファイルの方がパフォーマンスがでる

ベストプラクティス

• ジョブを作る前にオンプレミス環境で速度テストを行う(snowball testコマンド)、ネットワーク経由かSnowballかの判断を行う
• 端末の推奨スペック16コア(最低7GB以上のメモリが必要)
• 端末にスペックに余裕があれば複数プロセスで転送、複数の端末で転送することで転送を速くする
• 小さいファイルがたくさんある場合はアーカイブまたは圧縮しておく
• データ書き込み後は最後にデータの整合性確認を行う(validateコマンドを使う)

注意点

• S3アダプターを利用する場合
  • AWSのクレデンシャルの情報が必要(事前にaws cliのセットアップしておく)
  • 並列度を高めたほうが転送が速くなる
  • ファイルを結合しながらコピーもできる

プライベートプレビューの情報

• 注意点として、一定基準の審査がある
• 利用までに2週間程度リードタイムが発生する
• 利用したい場合はAWS営業に連絡
• プレビューだが費用は割引はなく通常料金
• Snowballを受け取ったら、AWSの担当に連絡する(ジョブステータスが自動で変更されないため)
• 返送はSnowballのディスプレイに表示されない、返送用の伝票が一緒にくるのでそれを利用する

TIPS/FAQ

TIPS

• 利用のポイント：ネットワーク/Snowbalどっちが速いか検討する
  • Snowballは最終的にS3に格納するので、そこから別途利用する場合はそちらの転送時間も入れる
• 私書箱へ送付はできない、他のリージョンもできない(日本から日本のみ)
• 1オブジェクトのサイズは5TB
• ジョブ作成時に指定したS3バケットは変更できないので、再度Snowballをジョブ作成する必要がある
• S3の暗号化はSSE-S3のみ対応
• ジャンボフレームはサポートされない
• 複数台Snowballを利用したい場合は、上限緩和申請する
• 1ジョブ1Snowball

FAQ

• 拠点間の移動はできない
• ローカルストレージとして利用はできない(90日をこえるとクレデンシャルが切れて利用できなくなる)
• Snowballは複数インターフェースがあるが同時に1つのみ利用できる

最後に

データ量が大きく、移行に時間がかかる場合はSnowballの利用を検討するかと思います。実際に利用する前に、本当にSnowballを利用したほうがはやいかというところで、テストコマンドの利用、Snowballへ転送したあとにvalidationチェックを行いファイルが壊れていないか検証するというところがポイントかなと思いました。一度Snowballを利用したことがあるのですが、新しい知見を得られ、ためになるセミナーでした。それではまた。