Amazon Glacierのボールトはアーカイブが残っていると削除できない

quiver

2017.07.25

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

Amazon GlacierのVaultにアーカイブが残ったまま削除しようとすると、次のようなエラーが発生して削除に失敗します。

CLI から操作しても然りです。

$ aws glacier delete-vault --account-id - --vault-name examplevault

An error occurred (InvalidParameterValueException) when calling the DeleteVault operation: Vault not empty or recently written to: arn:aws:glacier:ap-northeast-1:123456789012:vaults/examplevault

ドキュメントを確認してみましょう

Amazon Glacier deletes a vault only if there are no archives in the vault as of the last inventory it computed and there have been no writes to the vault since the last inventory.

http://docs.aws.amazon.com/amazonglacier/latest/dev/deleting-vaults-console.html

今回は、Vault内のアーカイブを全て削除して(Vaultを空にして)、Vaultを削除する方法を紹介します。

AWS マネジメントコンソールにはアーカイブ削除の機能が提供されていないため、SDK/CLIなどを通じてREST API経由で削除します。

AWS マネジメントコンソールからアーカイブを削除

S3のようにAWSマネジメントコンソールからボールト→アーカイブとドリルダウンして削除出来ると楽なのですが、前述の通りそのような機能は現時点では提供されていません。

You cannot delete an archive using the Amazon Glacier management console. To delete an archive you must use the AWS Command Line Interface (CLI) or write code to make a delete request using either the REST API directly or the AWS SDK for Java and .NET wrapper libraries.

http://docs.aws.amazon.com/amazonglacier/latest/dev/deleting-an-archive.html

CLIからアーカイブを削除

マネジメントコンソールからアーカイブを削除できないため、CLI/SDK経由で REST APIを叩いて削除します。今回はCLIを利用して削除します。

作業の流れ

アーカイブを削除するにはアーカイブIDが必要です。アーカイブIDはVaultのインベントリーから参照できます。 Vaultのインベントリーはすぐに取得出来るわけではなく、ジョブでインベントリーの作成依頼をし、数時間すると、取得可能になります。

これらをまとめると、アーカイブを削除してVaultを削除するために、以下の流れで作業します。

Vault の確認
インベントリーを作成するジョブの開始
数時間するとインベントリーが取得可能状態になる
インベントリーの取得
アーカイブの削除
Vaultの削除

1. Vaultの確認

list-vaults API で Vault 一覧を確認します。

$ aws glacier list-vaults --account-id -
{
    "VaultList": [
        {
            "SizeInBytes": 5505056,
            "VaultARN": "arn:aws:glacier:ap-northeast-1:123456789012:vaults/examplevault",
            "LastInventoryDate": "2015-03-22T07:07:05.124Z",
            "VaultName": "examplevault",
            "NumberOfArchives": 8,
            "CreationDate": "2015-03-19T15:09:31.385Z"
        }
    ]
}

削除したいVaultは examplevault です。 "NumberOfArchives": 8 からこのVaultにはアーカイブが8個あることがわかります。

Vault名を把握している場合、 describe-vault API で特定の Vault の詳細を確認することもできます。

$ aws glacier describe-vault \
  --account-id 123456789012 \
  --vault-name examplevault
{
    "SizeInBytes": 5505056,
    "VaultARN": "arn:aws:glacier:ap-northeast-1:123456789012:vaults/examplevault",
    "LastInventoryDate": "2015-03-22T07:07:05.124Z",
    "NumberOfArchives": 8,
    "CreationDate": "2015-03-19T15:09:31.385Z",
    "VaultName": "examplevault"
}

2. インベントリーを作成するジョブの開始

Vault内のアーカイブはインベントリー経由でしか知るすべがないため、インベントリーを作成するジョブを開始します。

initiate-job API でインベントリーの作成依頼をします。

ジョブは

アーカイブ取得
インベントリー取得

の2種類があります。

--job-parametersを{"Type": "inventory-retrieval"} とすることで、インベントリーの作成依頼になります。

$ aws glacier initiate-job \
  --account-id - \
  --vault-name $VAULT_NAME \
  --job-parameters '{"Type": "inventory-retrieval"}'
{
    "location": "/123456789012/vaults/examplevault/jobs/FOO",
    "jobId": "FOO"
}

開始したジョブを list-jobs API で確認してみます

$ aws glacier list-jobs \
  --account-id - \
  --vault-name $VAULT_NAME
{
    "JobList": [
        {
            "InventoryRetrievalParameters": {
                "Format": "JSON"
            },
            "VaultARN": "arn:aws:glacier:ap-northeast-1:123456789012:vaults/examplevault",
            "Completed": false,
            "JobId": "FOO",
            "Action": "InventoryRetrieval",
            "CreationDate": "2017-07-16T17:18:05.011Z",
            "StatusCode": "InProgress"
        }
    ]
}

"Completed": false
"Action": "InventoryRetrieval"
"StatusCode": "InProgress"

から、インベントリーの取得ジョブが作成され、まだ作業中であることがわかります。

ジョブの完了には数時間を要します。ご注意下さい。ジョブ処理をシステマティックに行いたい場合は、Vault にSNSを設定し、イベント・ドリブンに行うと良いでしょう。

describe-job API で特定ジョブのステータスを確認することもできます。

ジョブ完了後にステータスを確認した結果が以下です

$ aws glacier describe-job \
  --account-id - \
  --vault-name $VAULT_NAME \
  --job-id "FOO"
{
    "CompletionDate": "2017-07-16T21:05:07.247Z",
    "VaultARN": "arn:aws:glacier:ap-northeast-1:123456789012:vaults/examplevault",
    "InventoryRetrievalParameters": {
        "Format": "JSON"
    },
    "Completed": true,
    "InventorySizeInBytes": 2747,
    "JobId": "FOO",
    "Action": "InventoryRetrieval",
    "CreationDate": "2017-07-16T17:18:05.011Z",
    "StatusMessage": "Succeeded",
    "StatusCode": "Succeeded"
}

"Completed": true
"Action": "InventoryRetrieval"
"StatusMessage": "Succeeded"
"StatusCode": "Succeeded"

から、インベントリーの取得ジョブが完了していることがわかります。

3. インベントリーの取得

Vaultのインベントリーはジョブの実行結果として取得できます。 get-job-output API を利用します。

$ aws glacier get-job-output \
  --account-id - \
  --vault-name $VAULT_NAME \
  --job-id "FOO" \
  output.json
{
    "status": 200,
    "acceptRanges": "bytes",
    "contentType": "application/json"
}

ダウンロードした JSON 形式のインベントリーを覗くと、アーカイブ一覧(ArchiveList)と各アーカイブのID(ArchiveId)を確認できます。

$ cat output.json | jq .
{
  "VaultARN": "arn:aws:glacier:ap-northeast-1:123456789012:vaults/examplevault",
  "InventoryDate": "2015-03-22T07:07:05Z",
  "ArchiveList": [
    {
      "ArchiveId": "DUMMY",
      "ArchiveDescription": "The optional description of the archive you are uploading",
      "CreationDate": "2015-03-19T15:16:35Z",
      "Size": 11,
      "SHA256TreeHash": "b94d27b9934d3e08a52e52d7da7dabfac484efe37a5380ee9088f7ace2efcde9"
    },
    {
      "ArchiveId": "DUMMY",
      "ArchiveDescription": "test1",
      "CreationDate": "2015-03-19T15:25:09Z",
      "Size": 5,
      "SHA256TreeHash": "1b4f0e9851971998e732078544c96b36c3d01cedf7caa332359d6f1d83567014"
    },
    ...,
    {
      "ArchiveId": "DUMMY",
      "ArchiveDescription": "test2",
      "CreationDate": "2015-03-22T04:43:34Z",
      "Size": 2621440,
      "SHA256TreeHash": "e50b4495edd15ee466d97fec8766204caed6ad724597ef8b0e0a141421f09c48"
    }
  ]
}

4. アーカイブの削除

delete-archive API でアーカイブを削除します。

今回はインベントリーファイルからアーカイブIDをパースしてアーカイブを削除してみました。

#!/bin/sh

for archive in $(cat output.json | jq '.ArchiveList[].ArchiveId')
do
 echo delete $archive
 aws glacier delete-archive --account-id - --vault-name $VAULT_NAME --archive-id $archive
done

アーカイブ削除後のVaultを詳細表示します。

$ aws glacier describe-vault \
  --account-id 123456789012 \
  --vault-name examplevault
{
    "SizeInBytes": 0,
    "VaultARN": "arn:aws:glacier:ap-northeast-1:123456789012:vaults/examplevault",
    "LastInventoryDate": "2017-07-17T01:04:46.981Z",
    "NumberOfArchives": 0,
    "CreationDate": "2015-03-19T15:09:31.385Z",
    "VaultName": "examplevault"
}

"NumberOfArchives": 0 とアーカイブが0件になっていることがわかります。

5. Vaultの削除

delete-vault API でVaultを削除できます。

せっかくなので、この操作も CLI かやってみます。

$ aws glacier delete-vault --account-id - --vault-name $VAULT_NAME
$ aws glacier list-vaults --account-id -
{
    "VaultList": []
}

Vault削除が無事成功し、Vaultが0件になっています。

まとめ

今回はCLIを使ってAmazon GlacierのVaultからアーカイブを削除し、Vaultを削除する方法を紹介しました。

ポイントをまとめます

Vaultにアーカイブが残っていると、Vaultを削除できない
AWS マネジメントコンソールからはアーカイブを削除できないためCLI/SDKで削除する
削除に必要なアーカイブIDはVaultのインベントリーから取得する
インベントリーの作成には数時間かかる

Amazon Glacierのアーカイブ操作はワークフローが特殊なため、一度手順をさらっておくと、安心して運用出来ると思います。

参考

Use AWS CLI to View Glacier Vaults | AWS Support Knowledge Center

Amazon Glacierのボールトはアーカイブが残っていると削除できない

AWS マネジメントコンソールからアーカイブを削除

CLIからアーカイブを削除

作業の流れ

1. Vaultの確認

2. インベントリーを作成するジョブの開始

3. インベントリーの取得

4. アーカイブの削除

5. Vaultの削除

まとめ

参考

イベント

EVENT【5/29（水）大阪】Alteryxの使い方から導入メリットまですべてがわかるセミナー＆ワークショップ

EVENT【5/15（水）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/8リモート】クラスメソッドのフリーランスエンジニア会社説明会〜フィンテック / リテール業界案件特集〜を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

Amazon Glacierのボールトはアーカイブが残っていると削除できない

AWS マネジメントコンソールからアーカイブを削除

CLIからアーカイブを削除

作業の流れ

1. Vaultの確認

2. インベントリーを作成するジョブの開始

3. インベントリーの取得

4. アーカイブの削除

5. Vaultの削除

まとめ

参考

イベント

EVENT【5/29（水）大阪】Alteryxの使い方から導入メリットまですべてがわかるセミナー＆ワークショップ

EVENT【5/15（水）リモート】クラスメソッドの会社説明会を開催します

EVENT【5/8リモート】クラスメソッドのフリーランスエンジニア会社説明会 〜フィンテック / リテール 業界案件特集〜 を開催します

EVENT【5/28（火）】AWSを最大活用するための1dayカンファレンス

EVENT【5/17（金）】認証機能の開発工数削減をデモで体験！次世代認証基盤サービス『Auth0 by Okta』導入実践ウェビナー

EVENT【5/14（火）】アノテーションの中途向けオンライン会社説明会を開催します

EVENT【5/23（木）】ユースケースに学ぶAWS運用のノウハウ～可視化から統制まで～

EVENT【5/16（木）】Snowflakeを触ってみよう！初めての方向けハンズオンセミナー

EVENT【5/10（金） 名古屋】クラスメソッドグループの会社説明会を開催します！

EVENT【4/25（木）リモート】Google Cloudに携わるエンジニアのキャリア～クラスメソッド会社説明会～

関連記事

Amazon Connect Customer Profilesのデータソース自動更新と更新時間変更について

VPCフローログの送信先についてまとめてた

【CDK】AWS Step FunctionsでS3のCOPY Objectを実行

Invalid principal in policyが出たら確認したい！IAMロール・IAMユーザーが削除されるとPrincipal要素のARNがプリンシパルIDに置き換わります

EVENT【5/8リモート】クラスメソッドのフリーランスエンジニア会社説明会〜フィンテック / リテール業界案件特集〜を開催します

EVENT【5/10（金）名古屋】クラスメソッドグループの会社説明会を開催します！