AWS CLIでサービスの各種コマンドを動かしてみる(Redshift編1: クラスタ・スナップショット)

AWS CLIでサービスの各種コマンドを動かしてみる

しんや

2013.08.31

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

IAM, EC2, S3と基本的なサービスに触れてきたこのシリーズですが一気にここで新しめのサービスであるRedshiftに行ってみたいと思います。まぁ最近良く触っているのと言うのもあるので。

クラスタ(cluster)に関する操作

クラスタに関する操作は以下の5つ。

create-cluster
describe-clusters
modify-cluster
reboot-cluster
delete-cluster

create-cluster

クラスタを作成します。VPC内で作成/VPCを使わずに作成,シングルノード/マルチノード等の違いで必要とするパラメータの内容に若干違いが出てきますが、コンソールでの処理同様、デフォルト値が設定されるものについては指定無しで行ける模様。

$ aws redshift create-cluster
  --cluster-identifier cmtestcluster
  --cluster-type single-node
  --node-type dw.hs1.xlarge
  --master-username cmtestuser
  --master-user-password cmtestpassABC123
  
{
    "Cluster": {
        "Encrypted": false, 
        "ClusterVersion": "1.0", 
        "NumberOfNodes": 1, 
        "VpcId": "vpc-0f5de367", 
        "NodeType": "dw.hs1.xlarge", 
        "PubliclyAccessible": true, 
        "MasterUsername": "cmtestuser", 
        "ClusterParameterGroups": [
            {
                "ParameterGroupName": "default.redshift-1.0", 
                "ParameterApplyStatus": "in-sync"
            }
        ], 
        "AutomatedSnapshotRetentionPeriod": 1, 
        "AllowVersionUpgrade": true, 
        "VpcSecurityGroups": [], 
        "ClusterSubnetGroupName": "default", 
        "ClusterSecurityGroups": [], 
        "ClusterStatus": "creating", 
        "ClusterIdentifier": "cmtestcluster", 
        "PreferredMaintenanceWindow": "wed:20:30-wed:21:00", 
        "PendingModifiedValues": {
            "MasterUserPassword": "****"
        }
    }
}

$ aws redshift create-cluster
  --cluster-identifier cmdevcluster
  --cluster-type multi-node
  --number-of-nodes 3
  --node-type dw.hs1.xlarge
  --master-username cmtestuser
  --master-user-password cmtestpassDEF456

{
    "Cluster": {
        "Encrypted": false, 
        "ClusterVersion": "1.0", 
        "NumberOfNodes": 3, 
        "VpcId": "vpc-0f5de367", 
        "NodeType": "dw.hs1.xlarge", 
        "PubliclyAccessible": true, 
        "MasterUsername": "cmtestuser", 
        "ClusterParameterGroups": [
            {
                "ParameterGroupName": "default.redshift-1.0", 
                "ParameterApplyStatus": "in-sync"
            }
        ], 
        "AutomatedSnapshotRetentionPeriod": 1, 
        "AllowVersionUpgrade": true, 
        "VpcSecurityGroups": [], 
        "ClusterSubnetGroupName": "default", 
        "ClusterSecurityGroups": [], 
        "ClusterStatus": "creating", 
        "ClusterIdentifier": "cmdevcluster", 
        "PreferredMaintenanceWindow": "wed:13:00-wed:13:30", 
        "PendingModifiedValues": {
            "MasterUserPassword": "****"
        }
    }
}
$

試しに2台クラスタを立ててみました。以下画像はコマンド実行直後のクラスタ一覧です。

VPC-IDが割り振られています。この操作を試したアカウントでのSupported Platformsが『EC2-VPC』のみのため、パラメータ指定無しで行ったこの操作は『VPC内にクラスタを作成する』と認識されたようです。

describe-clusters

クラスタの一覧/詳細を取得します。--cluster-identifierを指定すると任意のクラスタの情報を確認出来ます。

$ aws redshift describe-clusters --cluster-identifier cmtestcluster | jq '.'
{
  "Clusters": [
    {
      "PendingModifiedValues": {},
      "PreferredMaintenanceWindow": "wed:20:30-wed:21:00",
      "ClusterIdentifier": "cmtestcluster",
      "ClusterStatus": "available",
      "ClusterParameterGroups": [
        {
          "ParameterApplyStatus": "in-sync",
          "ParameterGroupName": "default.redshift-1.0"
        }
      ],
      "MasterUsername": "cmtestuser",
      "AvailabilityZone": "ap-northeast-1a",
      "PubliclyAccessible": true,
      "NodeType": "dw.hs1.xlarge",
      "Endpoint": {
        "Address": "cmtestcluster.xxxxxxxxxxx.ap-northeast-1.redshift.amazonaws.com",
        "Port": 5439
      },
      "NumberOfNodes": 1,
      "ClusterVersion": "1.0",
      "Encrypted": false,
      "ClusterSecurityGroups": [],
      "AllowVersionUpgrade": true,
      "VpcSecurityGroups": [],
      "VpcId": "vpc-0f5de367",
      "ClusterCreateTime": "2013-08-30T16:49:48.459Z",
      "ClusterSubnetGroupName": "default",
      "AutomatedSnapshotRetentionPeriod": 1
    }
  ]
}
$

$ aws redshift describe-clusters | jq '.Clusters[].ClusterIdentifier'
"cmdevcluster"
"cmtestcluster"
$

modify-cluster

クラスタの情報を更新します。helpコマンドで内容を確認してみる感じでは、ひと通り更新が行えそうです。あまり利用料金に影響の掛からなさそうな(笑)要素を更新する事にします。スナップショット自動化の間隔とパスワードを変えてみます。

現状はこちらの内容。

更新実施。

$ aws redshift modify-cluster
    --cluster-identifier cmtestcluster
    --automated-snapshot-retention-period 3
    --master-user-password Redshift20130831

更新完了後。ちゃんと更新されていますね。

reboot-cluster

所定クラスタの再起動を行います。

$ aws redshift reboot-cluster --cluster-identifier cmtestcluster
{
    "Cluster": {
        "ClusterVersion": "1.0", 
        "NumberOfNodes": 1, 
        "Endpoint": {
            "Port": 5439, 
            "Address": "cmtestcluster.cpawnbhuvpy0.ap-northeast-1.redshift.amazonaws.com"
        }, 
        "NodeType": "dw.hs1.xlarge", 
        "PubliclyAccessible": true, 
        "AvailabilityZone": "ap-northeast-1a", 
        "MasterUsername": "cmtestuser", 
        "ClusterParameterGroups": [
            {
                "ParameterGroupName": "default.redshift-1.0", 
                "ParameterApplyStatus": "in-sync"
            }
        ], 
        "Encrypted": false, 
        "ClusterSecurityGroups": [], 
        "AllowVersionUpgrade": true, 
        "VpcSecurityGroups": [], 
        "VpcId": "vpc-0f5de367", 
        "ClusterCreateTime": "2013-08-30T16:49:48.459Z", 
        "ClusterSubnetGroupName": "default", 
        "AutomatedSnapshotRetentionPeriod": 3, 
        "ClusterStatus": "rebooting", 
        "ClusterIdentifier": "cmtestcluster", 
        "PreferredMaintenanceWindow": "wed:20:30-wed:21:00", 
        "PendingModifiedValues": {}
    }
}
$

コマンド実行直後。確かにreboot処理が走っています。

delete-cluster

クラスタを削除します。シンプルにIDのみ指定して実行してみると、以下のようなメッセージが。SkipFinalClusterSnapshotが指定されていない場合はFinalClusterSnapshotIdentifierの指定が求められる、とあります。

$ aws redshift delete-cluster --cluster-identifier cmtestcluster
{
    "Cluster": {}, 
    "Errors": [
        {
            "Message": "FinalClusterSnapshotIdentifier is required unless SkipFinalClusterSnapshot is specified.", 
            "Code": "InvalidParameterCombination", 
            "Type": "Sender"
        }
    ], 
    "ResponseMetadata": {
        "RequestId": "f90b9c96-11d9-11e3-ae4e-d7eeeff925a2"
    }
}
A client error (InvalidParameterCombination) occurred: FinalClusterSnapshotIdentifier is required unless SkipFinalClusterSnapshot is specified.
$

ヘルプ内のオプション説明文。『クラスタの最終スナップショットをクラスタ削除する前に取得しておく処理をスキップするかどうかを決定。もしtrueなら、クラスタの最終スナップショット作成はスキップされます。デフォルト値はfalseです。』と書かれています。

       --skip-final-cluster-snapshot (boolean)
          Determines whether a final snapshot of the cluster is created before
          Amazon Redshift deletes the cluster. If true , a final cluster snap-
          shot is not created. If false , a final cluster snapshot is  created
          before the cluster is deleted.

          NOTE:
              The --final-cluster-snapshot-identifier parameter must be speci-
              fied if --skip-final-cluster-snapshot is false .

          Default: false

そしてこちらが上記オプションでfalseを指定した際に求められる内容。試した内容ではデフォルトfalseになるので、スキップしないならスナップショットのIDを指定しましょう、と指摘された事になるんですね。

       --final-cluster-snapshot-identifier (string)
          The identifier of the final snapshot that is to be  created  immedi-
          ately  before  deleting  the cluster. If this parameter is provided,
          --skip-final-cluster-snapshot must be false .

          Constraints:

              o Must be 1 to 255 alphanumeric characters.

              o First character must be a letter.

              o Cannot end with a hyphen or contain two consecutive hyphens.

trueを指定して実行。……ん〜またboolean値が上手く認識されてない。(この辺、何をどうやればboolean値が上手く認識されるんだろう？)

$ aws redshift delete-cluster --cluster-identifier cmtestcluster --skip-final-cluster-snapshot true
Unknown options: true
$ aws redshift delete-cluster --cluster-identifier cmtestcluster --skip-final-cluster-snapshot true
Unknown options: true
$ aws redshift delete-cluster --cluster-identifier cmtestcluster --skip-final-cluster-snapshot True
Unknown options: True
$ aws redshift delete-cluster --cluster-identifier cmtestcluster --skip-final-cluster-snapshot "true"
Unknown options: true
$

削除時の最終スナップショットスキップせずに、ちゃんと指定するオプションで試してみます。こちらは上手く行ったようです。

$ aws redshift delete-cluster --cluster-identifier cmtestcluster --final-cluster-snapshot-identifier cmtestcluster-snapshot-final
{
    "Cluster": {
        "ClusterVersion": "1.0", 
        "NumberOfNodes": 1, 
        "Endpoint": {
            "Port": 5439, 
            "Address": "cmtestcluster.cpawnbhuvpy0.ap-northeast-1.redshift.amazonaws.com"
        }, 
        "NodeType": "dw.hs1.xlarge", 
        "PubliclyAccessible": true, 
        "AvailabilityZone": "ap-northeast-1a", 
        "MasterUsername": "cmtestuser", 
        "ClusterParameterGroups": [
            {
                "ParameterGroupName": "default.redshift-1.0", 
                "ParameterApplyStatus": "in-sync"
            }
        ], 
        "Encrypted": false, 
        "ClusterSecurityGroups": [], 
        "AllowVersionUpgrade": true, 
        "VpcSecurityGroups": [], 
        "VpcId": "vpc-0f5de367", 
        "ClusterCreateTime": "2013-08-30T16:49:48.459Z", 
        "ClusterSubnetGroupName": "default", 
        "AutomatedSnapshotRetentionPeriod": 3, 
        "ClusterStatus": "final-snapshot", 
        "ClusterIdentifier": "cmtestcluster", 
        "PreferredMaintenanceWindow": "wed:20:30-wed:21:00", 
        "PendingModifiedValues": {}
    }
}
$

所定の名前でスナップショットも取られ、削除処理も走りました。

スナップショット(cluster-snapshot)に関する操作

クラスタのスナップショットに関する操作は以下の4つ。

create-cluster-snapshot
copy-cluster-snapshot
describe-cluster-snapshots
delete-cluster-snapshot

create-snapshot

所定のクラスタのスナップショットを作成します。

$ aws redshift create-cluster-snapshot 
    --cluster-identifier cmtestcluster
    --snapshot-identifier cmtestcluster-ss
{
    "Snapshot": {
        "Status": "creating", 
        "SnapshotCreateTime": "2013-08-31T00:16:33.094Z", 
        "AvailabilityZone": "ap-northeast-1a", 
        "ClusterVersion": "1.0", 
        "MasterUsername": "cmtestuser", 
        "Encrypted": false, 
        "OwnerAccount": "014656228046", 
        "BackupProgressInMegaBytes": 0.0, 
        "ElapsedTimeInSeconds": 0, 
        "CurrentBackupRateInMegaBytesPerSecond": 0.0, 
        "EstimatedSecondsToCompletion": -1, 
        "VpcId": "vpc-0f5de367", 
        "ClusterCreateTime": "2013-08-30T16:49:48.459Z", 
        "ActualIncrementalBackupSizeInMegaBytes": -1.0, 
        "SnapshotType": "manual", 
        "NodeType": "dw.hs1.xlarge", 
        "ClusterIdentifier": "cmtestcluster", 
        "TotalBackupSizeInMegaBytes": -1.0, 
        "Port": 5439, 
        "NumberOfNodes": 1, 
        "SnapshotIdentifier": "cmtestcluster-ss"
    }
}
$

copy-snapshot

スナップショットのコピーを行います。試しに上記処理で作成したスナップショットをコピーしてみます…と思ったらエラーが出ちゃいました。『自動生成されたスナップショットだけがコピー出来ますよ』とあります。

$ aws redshift copy-cluster-snapshot
  --source-snapshot-identifier cmtestcluster-ss
  --target-snapshot-identifier cmtestcluster-target
{
    "Errors": [
        {
            "Message": "Only automated snapshots can be copied.", 
            "Code": "InvalidParameterValue", 
            "Type": "Sender"
        }
    ], 
    "Snapshot": {}, 
    "ResponseMetadata": {
        "RequestId": "e7758600-11d2-11e3-b03a-6d67f9a2b4e8"
    }
}
A client error (InvalidParameterValue) occurred: Only automated snapshots can be copied.
$

管理コンソールで内容を確認してみましょう。"Type"欄及び詳細内容にはこのような情報が記載されていました。

自動生成されたスナップショットをコピー元に指定して再度コマンド実行。今度は上手く行きました。

$ aws redshift copy-cluster-snapshot
  --source-snapshot-identifier rs:cmtestcluster-2013-08-30-16-54-35
  --target-snapshot-identifier cmtestcluster-target
{
    "Snapshot": {
        "Status": "available", 
        "SnapshotCreateTime": "2013-08-30T16:54:35.090Z", 
        "AvailabilityZone": "ap-northeast-1a", 
        "ClusterVersion": "1.0", 
        "MasterUsername": "cmtestuser", 
        "Encrypted": false, 
        "OwnerAccount": "014656228046", 
        "BackupProgressInMegaBytes": 15.0, 
        "ElapsedTimeInSeconds": 1, 
        "CurrentBackupRateInMegaBytesPerSecond": 0.0, 
        "EstimatedSecondsToCompletion": -1, 
        "VpcId": "vpc-0f5de367", 
        "ClusterCreateTime": "2013-08-30T16:49:48.459Z", 
        "ActualIncrementalBackupSizeInMegaBytes": 15.0, 
        "SnapshotType": "manual", 
        "NodeType": "dw.hs1.xlarge", 
        "ClusterIdentifier": "cmtestcluster", 
        "TotalBackupSizeInMegaBytes": 15.0, 
        "Port": 5439, 
        "NumberOfNodes": 1, 
        "SnapshotIdentifier": "cmtestcluster-target"
    }
}
$

管理コンソール上でも複製内容を確認出来ました。

describe-cluster-snapshots

クラスタスナップショットの内容を確認します。所定のID指定で個別内容を、また指定無しの場合はアカウントに紐づく全てのクラスタスナップショットを表示します。

$ aws redshift describe-cluster-snapshots --snapshot-identifier rs:cmtestcluster-2013-08-30-16-54-35
{
    "Snapshots": [
        {
            "Status": "available", 
            "SnapshotCreateTime": "2013-08-30T16:54:35.090Z", 
            "AvailabilityZone": "ap-northeast-1a", 
            "ClusterVersion": "1.0", 
            "MasterUsername": "cmtestuser", 
            "Encrypted": false, 
            "OwnerAccount": "014656228046", 
            "BackupProgressInMegaBytes": 15.0, 
            "ElapsedTimeInSeconds": 1, 
            "CurrentBackupRateInMegaBytesPerSecond": 0.0, 
            "EstimatedSecondsToCompletion": -1, 
            "VpcId": "vpc-0f5de367", 
            "ClusterCreateTime": "2013-08-30T16:49:48.459Z", 
            "ActualIncrementalBackupSizeInMegaBytes": 15.0, 
            "SnapshotType": "automated", 
            "NodeType": "dw.hs1.xlarge", 
            "ClusterIdentifier": "cmtestcluster", 
            "TotalBackupSizeInMegaBytes": 15.0, 
            "Port": 5439, 
            "NumberOfNodes": 1, 
            "SnapshotIdentifier": "rs:cmtestcluster-2013-08-30-16-54-35"
        }
    ]
}
$

delete-cluster-snapshot

所定のクラスタスナップショットを削除します。これも上記に倣い自動生成されたものの削除を試みてみましたが、今度は逆に『マニュアルコピーされたものしか削除出来ません』と返されてしまいました。

$ aws redshift delete-cluster-snapshot --snapshot-identifier rs:cmdevcluster-2013-08-30-17-14-07
{
    "Errors": [
        {
            "Message": "Only manual snapshots may be deleted.", 
            "Code": "InvalidClusterSnapshotState", 
            "Type": "Sender"
        }
    ], 
    "Snapshot": {}, 
    "ResponseMetadata": {
        "RequestId": "4cdb982f-11d6-11e3-9c44-b5868b3956aa"
    }
}
A client error (InvalidClusterSnapshotState) occurred: Only manual snapshots may be deleted.
$

自動生成されたものから手動コピーしたクラスタスナップショットを削除対象に指定。今度はさっくり削除出来ました。

$ aws redshift delete-cluster-snapshot --snapshot-identifier cmtestcluster-target
{
    "Snapshot": {
        "Status": "deleted", 
        "SnapshotCreateTime": "2013-08-30T16:54:35.090Z", 
        "AvailabilityZone": "ap-northeast-1a", 
        "ClusterVersion": "1.0", 
        "MasterUsername": "cmtestuser", 
        "Encrypted": false, 
        "OwnerAccount": "014656228046", 
        "BackupProgressInMegaBytes": 15.0, 
        "ElapsedTimeInSeconds": 1, 
        "CurrentBackupRateInMegaBytesPerSecond": 0.0, 
        "EstimatedSecondsToCompletion": -1, 
        "VpcId": "vpc-0f5de367", 
        "ClusterCreateTime": "2013-08-30T16:49:48.459Z", 
        "ActualIncrementalBackupSizeInMegaBytes": 15.0, 
        "SnapshotType": "manual", 
        "NodeType": "dw.hs1.xlarge", 
        "ClusterIdentifier": "cmtestcluster", 
        "TotalBackupSizeInMegaBytes": 15.0, 
        "Port": 5439, 
        "NumberOfNodes": 1, 
        "SnapshotIdentifier": "cmtestcluster-target"
    }
}
$

(ちなみに以下の3つはスナップショットのリストアに関するもの。動作検証を行ったアカウントが制限によりこの辺りの操作を行えなかったので、スナップショットのリストアに関しては後日別エントリにて試みてみる方向で。

authorize-snapshot-access
revoke-snapshot-access
restore-from-cluster-snapshot

AWS CLIでサービスの各種コマンドを動かしてみる(Redshift編1: クラスタ・スナップショット)

クラスタ(cluster)に関する操作

create-cluster

describe-clusters

modify-cluster

reboot-cluster

delete-cluster

スナップショット(cluster-snapshot)に関する操作

create-snapshot

copy-snapshot

describe-cluster-snapshots

delete-cluster-snapshot

イベント

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会〜AWS / システムアーキテクト案件特集〜を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/9（木）】組織的なクラウド統制はじめの一歩

AWS CLIでサービスの各種コマンドを動かしてみる(Redshift編1: クラスタ・スナップショット)

クラスタ(cluster)に関する操作

create-cluster

describe-clusters

modify-cluster

reboot-cluster

delete-cluster

スナップショット(cluster-snapshot)に関する操作

create-snapshot

copy-snapshot

describe-cluster-snapshots

delete-cluster-snapshot

イベント

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会 〜AWS / システムアーキテクト案件特集〜 を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金） 名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

EVENT【4/30（火）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/9（木）】組織的なクラウド統制 はじめの一歩

関連記事

[初心者向け]コードを書かなくてもOSSに貢献！Githubで管理されているOSSにIssue報告してみた

MFA認証を使ったAssumeRoleでシンプルにTerraformを実行する(aws configure export-credentials)

AWS Config の個別アカウントアグリゲータを AWS CLI で作成する

Changing EC2 instance type

EVENT【4/23リモート】クラスメソッドのフリーランスエンジニア会社説明会〜AWS / システムアーキテクト案件特集〜を開催します

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【5/9（木）】組織的なクラウド統制はじめの一歩