[登壇レポート]Apache Icebergと超えていくデータレイクの限界 -S3とSnowflake活用事例-でSnowflake×Icebergの機能と活用例についてお話しました #datalake_findy

さがらです。

2025年2月28日にFindy社主催で「Apache Icebergと超えていくデータレイクの限界 -S3とSnowflake活用事例-」というイベントが開催されました。

https://findy.connpass.com/event/344297/

このイベントの中で、「Snowflakeの開発・運用コストをApache Icebergで効率化しよう！～機能と活用例のご紹介～」というセッションタイトルで登壇をしてきましたので、その本記事では登壇資料と登壇を終えての所感についてまとめます。

登壇資料

登壇資料上の各リンク集

1. Icebergテーブル ※「外部のカタログ」利用 (スライド7)

   • https://docs.snowflake.com/ja/user-guide/tables-iceberg

2. Icebergテーブル ※「Snowflakeのカタログ」利用 (スライド8)

   • https://docs.snowflake.com/ja/user-guide/tables-iceberg

3. Snowflake Open Catalog (スライド9)

   • https://other-docs.snowflake.com/en/opencatalog/overview#catalog-types

4. Snowflake Open Catalogの「内部」と「外部」の違い (スライド10)

   • https://other-docs.snowflake.com/en/opencatalog/overview#catalog-types
   • https://docs.snowflake.com/en/user-guide/tables-iceberg-open-catalog#considerations

5. Snowflake Open Catalogの「内部」と「外部」の使い分け (スライド11-12)

   • https://other-docs.snowflake.com/en/opencatalog/tutorials/open-catalog-gs

6. 余談：Snowflake Open Catalogに対する期待 (スライド14)

   • https://docs.snowflake.com/en/user-guide/tables-iceberg-open-catalog#considerations
   • https://other-docs.snowflake.com/en/opencatalog/overview

7. データロード：Amazon Data FirehoseのIceberg形式での配信機能 (スライド17)

   • https://zenn.dev/datum_studio/articles/ae6f45d9d17a42
   • https://dev.classmethod.jp/articles/20241004-amazon-kinesis-firehose-for-iceberg/
   • https://docs.aws.amazon.com/ja_jp/firehose/latest/dev/apache-iceberg-destination.html

8. データロード：FivetranのS3をDestinationとしたデータ連携 (スライド18)

   • https://www.fivetran.com/blog/fivetran-supports-amazon-s3-as-a-destination-with-open-table-formats
   • https://dev.classmethod.jp/articles/fivetran-s3-datalake-icebergtable-select-from-snowflake/

9. データロード：BigQueryで出力したIcebergをSnowflakeでクエリ (スライド19)

   • https://dev.classmethod.jp/articles/bigquery-tables-for-apache-iceberg-to-snowflake-iceberg-table/
   • https://medium.com/snowflake/eliminating-redundancies-in-etl-with-iceberg-tables-on-snowflake-cff678d49bd3

10. データ活用：DatabricksからSnowflakeのIcebergテーブルを参照 (スライド20)

    • https://medium.com/snowflake/how-to-integrate-databricks-with-snowflake-managed-iceberg-tables-7a8895c2c724

11. データ活用：BigQueryからSnowflakeのIcebergテーブルを参照 (スライド21)

    • https://github.com/GoogleCloudPlatform/data-analytics-golden-demo/blob/main/snowflake-bigquery-iceberg.sql

12. データ活用：DuckDBからSnowflakeのIcebergテーブルを参照 (スライド22)

    • https://qiita.com/abe_masanori/items/19701469e0ae4390109f
    • https://zenn.dev/cavernaria/articles/6a6fdc85cb53ad
    • https://github.com/duckdb/duckdb-iceberg/pull/98

登壇を終えて

まず、450名を超えるイベント登録を頂き、多くの方にご参加頂けたことがとても嬉しいです！ご参加頂いた皆様、本当にありがとうございました。

SnowflakeのIceberg機能としてIcebergテーブルがあり、そのIcebergテーブルは「外部カタログ」と「Snowflakeのカタログ」利用で仕様が異なり、更にSnowflakeはSnowflake Open Catalog(Apache PolarisのSaaS版)も提供しておりカタログの仕様が「内部」と「外部」で異なる…という、初見だと正直理解までに時間がかかる所だと思います…

一方で、このSnowflakeのIceberg機能の仕様を理解しておくことで、データロード・データ活用、それぞれの観点で上手くIcebergを活用できれば、開発・運用コストの大幅な効率化が期待できる分野だとも考えています。（各活用例については登壇資料を見て頂けると嬉しいです！）

今後も各製品からアップデートが見込まれますので、私も最新情報を引き続きキャッチアップして情報発信していけたらと考えています！