データアナリティクス事業本部のコンサルティングチームの石川です。
本日より、Amazon Redshiftは、Apache Iceberg テーブルのクエリが一般提供開始（GA）になりました。データ レイク上の Apache Iceberg テーブルにアクセスし、シームレスにデータ ウェアハウス内のデータと結合できるようになりました。
Apache Icebergとは
Apache Icebergは、Netflixで開発された大規模なデータ処理のためのOTF(Open Table Format）の一つです。Hiveのシステムの制限を改善するために設計されており、構造化されたデータの効率的でスケーラブルな管理を提供します。ACIDトランザクション、スキーマ進化、効率的なメタデータの取り扱い、分離されたメタデータレイヤー、様々なデータ形式とストレージシステムのサポートなどの特長があります。
Apache Icebergサポートがもたらすベネフィット
Icebergはテーブルのメタデータを実際のデータから分離するため、より効率的なメタデータ操作が可能となり、パフォーマンスが向上します。複数のファイル形式やストレージシステムをサポートしており、Amazon Athena、AWS Glue、Amazon EMRなどのさまざまなビッグデータサービスでも利用可能です。つまり、これらのサービス間でデータの共有が可能になります。
また、Icebergの設計はスケーラビリティに重点を置いており、ペタバイト規模のデータを高性能で低レイテンシで扱えます。一貫性と信頼性に重点を置いた設計から、分散環境で大量のデータを扱うデータ分析のテーブルフォーマットとして採用を進んでいます。
本日、一般提供開始（GA）になり、Amazon Redshiftにおいても本番環境に積極的に利用できるようになりました。
特長
Amazon Redshiftは、自動マウントされたデータカタログに最近導入された Iceberg サポートにより、追加の作業なしでAWS Glueデータカタログ内の既存のIceberg テーブルにアクセスできます。
このリリースでは、Parquet データファイルと Apache Iceberg テーブルを使用した Zstandard 圧縮のサポートも導入され、より高い圧縮率と改善された圧縮/解凍パフォーマンスが提供されます。
制限事項
- クエリのみ
- Amazon Redshift は、Apache Iceberg テーブルへの読み取り専用アクセスのみサポートします
- Iceberg データを Amazon Redshift に取り込み
- INSERT INTO または CREATE TABLE AS コマンドを使用して、Iceberg テーブルからローカルの Amazon Redshift テーブルにデータをインポートできます
- マテリアライズド ビューの増分更新
- データレイク テーブルでの増分更新、自動更新、自動クエリ書き換え、および自動 MV は現在サポートされていません
- データ共有
- Apache Iceberg テーブルを含むデータ レイク テーブルをサポートしていません。
- タイム トラベル クエリ
- 未サポート
最後に
Apache Icebergテーブルを使用すると、Amazon EMR、Amazon Athena、AWS GlueなどのACID準拠のサービスを使用してデータを書き込みながら、トランザクション的に一貫したデータレイクをAmazon Redshiftへシームレスに共有できるようになりました。
今後は、Icebergフォーマットへの書き込みもできるようになるのが楽しみです。
0
