【速報】Amazon Kinesis Data Streams のデータ保持期間が最大1年に拡張されました #reinvent

日本時間2020年12月10日深夜のAWS re:Invent 2020のAnalyticsのリーダーシップセッションにて、Amazon Kinesis Data Streamsのデータ保持期間が最大1年に拡張されたことが発表されました。

データ保持期間 とは

Amazon Kinesis Data Streamsは、ストリームデータの保持期間デフォルトの24時間のみでしたが、re:Invent2015のタイミングにレコードの有効期間を24時間から最大168時間（7日）まで延長できるようになりました。

それからはや5年、re:Invent2020では、レコードの有効期間を最大8760時間（１年）まで延長できるようになりました。

データ保持期間の背景

この５年間の間に、Kinesis関連サービスも拡充され、今では誰もが普通のサービスとして利用されるぐらい一般的になりました。

データ保持期間が延長になるメリットは、より長い期間のデータを保持できることによってデータがロストしないことはもちろんですが、スピードレイヤとバッチレイヤのデータを１つのデータソース（Kinesis Data Streams）で利用できるようになることです。

Kinesis Data Streamsのデータは、Kinesis Analyticsで直接分析したり、機械学習（SageMakerなど）と連携したり、Kinesis Firehoseでファイル出力したりできます。今では、他の様々なサービスのデータソースとして欠かせない存在です。一般的になったゆえに、HIPAAやFedRAMP などの特定のデータ保存のコンプライアンスに準拠することも要件として求められた背景にあります。

最後に

これまでのKinesis Data Streamsのベストプラクティスを踏襲しつつも、分析要件のスライディングウインドサイズ、HIPAAやFedRAMPなど特定のデータ保存のコンプライアンスを満たすのには、このデータ保持期間の延長が役に立つはずです。

最大8760時間（１年）まで延長できるのは頑張りすぎじゃないかと、びっくりして２度見しましたが、スピードレイヤとバッチレイヤのデータを１つのデータソース（Kinesis Data Streams）で利用できるのは素晴らしいことです。AWSインフラはすごいですね。

合わせて読みたい