![[書評] 実践 Apache Iceberg - 高効率・高生産性を実現するオープンなデータ基盤の構築と運用](https://devio2024-media.developers.io/image/upload/f_auto,q_auto,w_3840/v1761101338/user-gen-eyecatch/eixgz8peeakv0khdej7q.jpg)
[書評] 実践 Apache Iceberg - 高効率・高生産性を実現するオープンなデータ基盤の構築と運用
クラウド事業本部コンサルティング部の石川です。Apache Icebergは、従来のデータレイクが抱えていた「信頼性」「パフォーマンス」「管理の複雑さ」といった多くの大きな課題を解決する、オープンソースのテーブルフォーマットです。その Apache Iceberg を体系的に解説するのが、本日ご紹介する「実践 Apache Iceberg」という本です。
この本は、一般的なDBやデータウェアハウス（DWH）のアーキテクチャをご存じの方にとって、具体的で読みやすい本ですが、576ページに及ぶこの本を最後まで読み切るにはそれなりの胆力が必要です。そこで、本日は、本書の全体像と、役割や目的に応じてこの本を効率よく活用する読み方についても、私の視点で解説します。
なお、2025年10月29日（水）に目黒 AWS Startup Loftsで『実践 Apache Iceberg』という書籍の出版記念イベントがあります。オフライン（現地）はもちろん、オンラインでも登録できますのでご興味がある方はぜひご登録してください。
Apache Icebergとは
まず、この本を読む・読まないを判断する以前に、最近よく聞く「Apache Iceberg」の重要性を知り、「Apache Icebergを知らなきゃアカン」ということを認識していただきたいところです。
Apache Icebergとは、データレイク上にあるペタバイト級の巨大な分析用データセットを管理するために設計された、オープンソースのテーブルフォーマット（OTF）です 。
Apache Icebergは、Netflix社がペタバイト規模のデータウェアハウスを運用する中で直面した課題を解決するために、2017年に開発を開始したオープンソースのテーブルフォーマットです。
従来のデータレイクで主流だったHiveテーブルフォーマットには、
- 大量の小さなファイルによる処理遅延
- レコード単位での削除や更新が不可能
- パーティションやスキーマの変更が非常に困難
といった限界がありました。Apache Icebergは、これらの問題を克服するために設計されています。
2018年11月にApache Software Foundationへ寄贈されてIncubatorプロジェクトとなり、SparkやPrestoなどへの対応を進めました。2020年5月にはトップレベルプロジェクトへ昇格し、2021年にはパフォーマンスが大幅に改善、re:Invent 2021でAmazon Athenaがサポートを開始したことでも、広く注目を集めることになりました。（当時、ワクワクしながらブログを書いたのが懐かしいです。）
2022年のv1.0リリースで安定版に到達。re:Invent 2024にはAmazon S3 TablesやSageMaker Unified Studioとの統合が進み、現在はDelta Lake、Apache Hudiと並ぶ業界標準のオープンテーブルフォーマットとして、特にマルチエンジン対応とベンダー中立性で高く評価されています。
こんな方に特におすすめ
- データレイクからデータレイクハウスへの移行を検討しているエンジニア
- Apache Icebergの導入を検討しているが、どこから始めればよいか迷っている方
- すでにIcebergを使っているが、より深い理解と最適化を求める実務家
- AWSサービスとの統合を前提としたデータ基盤を構築したい方
書籍「実践 Apache Iceberg」とは
書籍「実践 Apache Iceberg」は、Apache Icebergを体系的に学び、実務に活用したい方向けの専門書です。著者は田中智大さんと 疋田宗太郎さん（＠bering） です。両者ともAWSのソリューションアーキテクトとしての実務経験だけでなく、Apache IcebergのOSSコミュニティへの積極的な貢献、海外カンファレンスでの登壇など、理論と実践の両面からこの技術を深く理解されています。その深い洞察が、本書の随所に現れています。
昨年のAWS Summit 2024の実践 Apache Iceberg! Transactional Data Lake 構築のキーポイントというセッションで、お二方が共演しています。
この本は、特定のベンダーに偏ることなく、オープンソースの理念を大切にしながら、同時にAWS環境での実装ノウハウも惜しみなく共有する姿勢が、私の心に刺さった部分でもあります。
補足: 田中智大さんは、AWS関山さん（@moomindani）や海外のスペシャリストとともに Serverless ETL and Analytics with AWS Glue: Your comprehensive reference guide to learning about AWS Glue and its features という書籍も執筆しています。
3部構成で段階的に理解を深める
本書は基礎編（第1部：Apache Icebergの基本）、実装編（第2部：分散クエリエンジンでの利用）、 応用編（第3部：ユースケースと応用） の3部構成になっており、順に読み進めると体系的な知識と経験が身につくように構成されています。
本書は、手を動かしながら学ぶことを重視しており、全体を通じて多くの章にハンズオンがあり、しかも共著者または関係者によるハンズオンリポジトリが公開されています。ハンズオンは、Apache Icebergを簡単に試せるコンテナ環境が用意されており、特定の有償サービスのアカウント作成も不要で、すぐに手を動かせる環境が公開されています。（以降、Apache IcebergをIcebergと略します。）
基礎編（第1部：Apache Icebergの基本）
従来のデータレイクが抱えていた「データの一貫性確保」「少量レコード更新の非効率性」「複雑なパーティション管理」といった課題を整理し、Icebergがどのように解決するかを解説しています。メタデータレイヤーとデータレイヤーの構造理解は、その後の機能を深く理解する上で必要な知識となります。
第1章 データレイクの課題とApache Iceberg
第1章では、Icebergが誕生した背景とその概要から、単純に「オブジェクトストレージにデータを置けばデータレイクになる」という発想を超えて、なぜテーブルフォーマットという概念が必要なのか、なぜIcebergという新しい選択肢が注目されているのかを解説しています。
Icebergのアクセス特性や制限事項などの注意点についても解説しています。全ての起点となり、視座を広げる最も大切な章です。
第2章 Apache Icebergの仕組みと機能
第2章では、Icebergの根幹をなすアーキテクチャと内部構造に踏み込み、そのメタデータ管理、ファイル構造、トランザクションモデルなど、技術的な側面に焦点を当て、Icebergの本質を理解することを目的としています。
この章は、Icebergがどのようにテーブル構造を維持し、メタデータを管理し、整合性やデータ構造の進化を実現しているのかを把握することで、行レベルの変更（更新・削除）動作、タイムトラベルの仕組み、ACIDトランザクションの保証、隠しパーティショニングの概念などを解説しています。Icebergの仕組みや方式を理解することで、パフォーマンスの改善や安全にデータの更新する方法を判断できるようになります。
第3章 Icebergカタログとストレージ
第3章では、Apache Icebergの基盤を構成するIcebergカタログとストレージという二つの主要なコンポーネントに焦点を当て、その仕組み、種類、および設定方法を解説しています。
この章は、Icebergテーブルのデータ整合性と効率的なアクセスを支える、カタログとストレージの役割と選択肢を理解することを目的としています。
AWSの場合、Icebergのデータを保存するカタログはAWS Glue Data Catalog と S3 Tables REST Catalogにて管理することを抑えておけば、そこまで深い理解がなくても支障がありません。
実装編（第2部：分散クエリエンジンでの利用）
Spark、Flink、Trino、Hive、PyIcebergという5つの主要なクエリエンジンでの実装方法を網羅。特にPyIcebergについては他の書籍ではカバーされていない貴重な内容です。それぞれのクエリエンジンで、Icebergを利用するための具体的な設定やCURD操作、クエリエンジンや用途によって提供される機能が異なることも含め、さまざまなIcebergの機能について解説しています。
- データ処理を実行
- Icebergを利用方法
- パラメータ設定
- 基本的なIcebergの機能
- 高度なIcebergの機能
- ストリーミング
第4章 Apache Spark
第4章は、Icebergを大規模データ処理エンジンであるApache Sparkと組み合わせて利用するユースケースを解説しています。現時点では、Apache Sparkが、最もIcebergのすべての機能を制限なく利用できるクエリエンジンです。そのため、さまざまなIcebergの機能を活用したいのならApache Sparkの利用が望ましいでしょう。
AWSの場合、AWS Glue、Amazon EMR、Amazon Athena for Apache SparkのいずれかのサービスからApache Sparkを利用します。（もちろん、Vanilla-Sparkからの利用も可能です。）
第5章 Apache Flink
第5章は、IcebergとFlinkを統合することで、低レイテンシかつ一貫性のあるデータパイプラインを構築できる、リアルタイムのデータ取り込みを想定したユースケースを解説しています。
AWSの場合は、AWS がフルマネージドサービスとして Apache Flink を提供しているAmazon Kinesis Data Analyticsを利用します。
第6章 Trino
第6章は、TrinoとIcebergを統合することで、多様なデータソースにまたがる複雑な分析クエリを対話的に実行するユースケースを解説しています。
AWSの場合は、AWS がフルマネージドサービスとして Trinoを提供しているAmazon Athenaを利用します。Amazon Athenaは、軽量で高速、初学者によってはSQLのみで操作できるため最初に取り組むのには最適なクエリエンジンですが、同時に100パーティションを超える更新クエリを実行できない仕様（Trinoのデフォルト）のため、データの更新用途では注意が必要です。
補足：dbt-athenaを経由する場合は、同時に100パーティションを超える更新クエリも可能です。
第7章 Apache Hive
第7章では、Hiveが持つ大規模データ処理能力とIcebergの高度なテーブル管理機能を組み合わせる方法を解説しています。
AWSの場合は、AWS がフルマネージドサービスとして Hiveを提供しているAmazon EMRを利用します。これまでのワークロードのストレージにIceberg利用することも可能です。
第8章 PyIceberg
第8章では、PyIcebergはPython環境からIcebergテーブルを直接操作するための公式Pythonライブラリです。とても自由度の高いSDKとして、Icebergテーブルのプログラマティックな操作を可能にします。PyIceberg は、Pandas や Polars、DuckDB などのさまざまなツールと統合が強みです。
PyIcebergを使うことで、PythonからApache Icebergテーブルに対して条件付き上書き、動的パーティション上書き、Upsert操作などのデータ操作が可能です。一方、PyIcebergは基本的なデータ操作機能を提供していますが、エンタープライズレベルでの運用に必要なリトライロジックやメンテナンス機能については現時点で制限があり、他のクエリエンジンとの併用が推奨される状況です。
応用編（第3部：ユースケースと応用）
応用編が本書の真骨頂です。Change Data Capture（CDC）によるリアルタイムデータ同期、SCD Type 2による履歴管理、Write-Audit-Publish（WAP）パターンによるデータ品質管理など、実務で直面する課題への具体的なソリューションパターンが示されています。 第10章「AWSでIcebergを活用する」では、Glue Data Catalog、Athena、EMR、S3 Tablesとの連携など、AWS環境での実装ノウハウが詰まっています。
第9章 ユースケースとソリューションパターン
第9章では、Icebergの機能を最大限に活用するための実践的なシナリオとソリューションパターンが探求されています。第1部と第2部で学んだIcebergの基礎知識と分散クエリエンジンの活用方法を組み合わせることで、実際の業務におけるIcebergの活用方法を解説しています。
本章で具体的に取り上げられるユースケースは以下の5つです。
-
基本的なデータ分析パイプラインの構築
Icebergを使用したETLパイプラインの構築と、データの可視化までの一般的なワークフローについて解説しています。
-
Change Data Capture (CDC) によるリアルタイムデータ同期
業務システム（OLTP）から分析基盤（OLAP）へのデータ取り込みにおいて、データベースの変更データキャプチャ (CDC) を利用したデータ同期の方法を解説しています。
-
SCD Type 2 (Slowly Changing Dimensions Type 2) による履歴管理
データへの継続的な変更を追跡するための履歴管理（SCD Type 2）を、Icebergの機能を使ってシンプルに実装する方法を解説しています。
-
Write-Audit-Publish (WAP) パターンによるデータ品質管理
Icebergのブランチ機能を活用し、データ品質を検証してから公開するためのWAPパターンというデータ品質管理テクニックを解説します。
-
ストリーミング処理とスキーマ進化
継続的に生成されるストリームデータに対して、処理を停止することなく、Icebergの動的スキーママージ機能を利用してスキーマの進化に対応する方法を解説しています。
第10章 AWSでIcebergを活用する
第10章では、AWS環境でApache Icebergを活用するための主要なサービスとソリューションパターンを包括的に解説しています。
データ基盤にAWSを活かすでは、最新の SageMakerとの統合を踏まえた役割や用語の定義を解説し、Iceberg をコア技術としたレイクハウスアーキテクチャを解説しています。
Icebergのデータを保存するストレージとカタログはAmazon S3 汎用バケットをAWS Glue Data Catalog、フルマネージドのAmazon S3 TablesはS3 Tables REST Catalogにて管理することができます。また、RedshiftのテーブルもIcebergテーブルとしてアクセス可能であり、逆にIceberg互換のクエリエンジンからRedshiftのデータに直接アクセスできることを紹介しています。その他にも、AWSではフルマネージドサービスを用いて、Icebreの管理を自動化についても紹介しています。
第11章 運用管理
第11章では、Icebergテーブルを本番環境で長期的に安定稼働させるためには、日常的なデータ操作（読み書き）に加えて、継続的な管理タスクを実行する必要があます。
以下の3つの代表的な管理タスクが解説されています。
- データライフサイクル管理
- コンパクションの実行
- モニタリング
第12章 パフォーマンス最適化
第12章では、パフォーマンス最適化の手法をクエリパフォーマンス最適化と書き込みパフォーマンス最適化の2つの観点から解説し、さらにそれぞれの観点で基本的な最適化と高度な最適化に分類し、段階的に適用できるように解説しています。
パフォーマンス最適化の種類と最適化手法、ストレージパーティション結合 (SPJ) というSpark固有の機能についても解説しています。
第13章 Icebergへの移行戦略とパターン
第13章では、既存のデータ基盤をApache Icebergへ移行するための戦略的なアプローチと具体的な技術パターンに焦点を当てて解説しています。
- Icebergの導入目的の確認
- 移行対象の整理
- 移行戦略の計画と実行
データ基盤へのIcebergの導入は、多くの場合、既存のデータパイプラインの移行を伴うため、データパイプライン全体の構成と要件を踏まえた慎重な計画が求められます。
この本を効率よく活用する読み方
本書は、次世代のデータ基盤を支えるオープンテーブルフォーマットであるApache Icebergを包括的に解説することを目的としており、主にデータ基盤の構築、運用、活用に携わる技術者を対象としています。自身の課題に応じて、優先的に読むべき章を選択する際の参考にしてください。
この書籍が想定する主な読者ペルソナは、データエンジニアとデータサイエンティストです。
1. データエンジニア (Data Engineers)
データエンジニアは、Icebergを実際のデータ基盤に導入し、その性能と信頼性を維持する責任を持つ中心的な読者層です。彼らは、データパイプラインの非効率性や複雑な運用課題を解決したいというニーズを持っています。
データエンジニアの主な関心事・課題
| 関心事・課題 | Icebergによるソリューション | 関連章 |
|---|---|---|
| ETLジョブのパフォーマンスやコスト最適化 | Icebergの高度なメタデータ管理やファイルレイアウト最適化、コンパクションやZ-Orderなどのパフォーマンス最適化手法 | 第11章、第12章 |
| スキーマ変更への対応 | データ連携元のスキーマ変更が発生してもパイプラインの修正を最小限に抑えるスキーマ進化機能 | 第2章、第4章、第9章 |
| データの一貫性の確保と運用効率 | ACIDトランザクションによる同時書き込みの整合性の保証、異種ツール間の統一的なデータアクセス | 第2章、第3章、第12章 |
| データバージョンの管理 | タイムトラベルやブランチ機能による過去データへの容易なアクセス、履歴管理（SCD Type 2）の実装 | 第2章、第9章 |
| 既存データ基盤からの移行 | Hiveテーブルなど既存のデータレイクからの移行戦略とパターン（リライト/インプレース）の策定 | 第13章 |
| 運用管理タスクの自動化 | データライフサイクル管理、コンパクション、モニタリングといった実運用上必須のタスクの実装方法 | 第11章 |
2. データサイエンティスト (Data Scientists)
データサイエンティストは、Icebergの機能を活用して、分析結果の再現性を確保し、Pythonの使い慣れたエコシステム内で効率的にデータを操作したいというニーズを持っています。
データサイエンティストの主な関心事・課題
| 関心事・課題 | Icebergによるソリューション | 関連章 |
|---|---|---|
| 過去データの正確な再現性 | Icebergのタイムトラベル機能により、過去の実験や分析に使用したスナップショットデータへの容易なアクセスと再現性の確保 | 第8章、第9章 |
| 軽量な環境でのデータ操作 | PyIceberg（Pythonクライアントライブラリ）を使用して、分散処理環境なしにIcebergテーブルを直接操作 | 第8章 |
| 使い慣れたツールとの統合 | Pandas、Polars、DuckDBなどのPythonデータ分析ライブラリとPyIcebergを組み合わせて活用 | 第8章 |
| インタラクティブなデータ分析 | Jupyter Notebook環境を通じたIcebergテーブルの探索的分析 | 第8章 |
読み方のヒント
上記の表を参考に、以下のような読み進め方をお勧めします：
- 即効性を求める場合：自分の課題に最も関連する章から読み始め、必要に応じて基礎編（第1-3章）に戻る
- 体系的に学びたい場合：第1章から順番に読み進め、自分の役割に関連する章は特に丁寧に実践する
- ハンズオン重視の場合：GitHubのサンプルコードがある章を優先的に選び、手を動かしながら学習する
いずれのアプローチでも、第2章「Apache Icebergの仕組みと機能」は全体の理解の基盤となるため、早い段階で目を通しておくことをお勧めします。
最後に
本書を読み終えて最も印象的だったのは、Apache Icebergの「なぜそうなっているのか」という設計思想と実装の裏側まで丁寧に解説されている点です。これまで曖昧に理解していた楽観的ロック、AWS以外のIceberg Catalog、そしてCoWとMoRの長所・短所や注意点など、曖昧な点が明確になりました。
特に実務で直面していた課題である、大量パーティション更新時のパフォーマンス劣化、Equality DeleteとPosition Deleteの使い分け、コンパクションのタイミングについて、本書は単なる「How to」ではなく、「Why」と「When」まで踏み込んで解説しています。第12章のパフォーマンス最適化で紹介されているZ-Orderingの適用基準や、第11章の運用管理で触れられているメタデータファイルの肥大化への対処法など、実運用で見落としがちな注意点が網羅されており、これらの知見は既に私たちのデータ基盤の改善に活かされています。
著者自身が「Icebergが未来のデータ基盤に持ち得る意義を理解し、実践的な活用方法を学ぶ一助となることを願っている」と述べているように、本書は単なる技術解説書を超えて、次世代のデータ基盤構築への道筋を示す指南書となっています。
576ページという分量に圧倒されるかもしれませんが、豊富なハンズオンと段階的な構成により、着実に理解を深められる構成になっています。Apache Icebergを本格的に学び、実務で活用したいすべてのデータエンジニアにとって、必携の一冊と言えるでしょう。
参考動画
