2024年11月にリリースされたSnowflakeの新機能・変更点のまとめ #SnowflakeDB
2024.12.032024年11月にリリースされたSnowflakeの新機能・変更点のまとめ記事になります。
※注意事項：本記事ではすべての情報についての記述はせず、特筆すべきだと感じた情報だけピックしております。基本的には以下の情報を参考にしておりますので、全ての最新情報を確認したい場合は下記のURLからご確認ください。
November 27, 2024 — Snowflake Native Apps: 複数のアプリ インスタンスのインストールが一般提供
Snowflake ネイティブ アプリの複数のインスタンスをアカウント内にインストールするできるようになりました。
プロバイダーは、アプリケーション パッケージ構成時にMULTIPLE_INSTANCES = TRUEとすることで、コンシューマー側アカウントに最大 10 個のアプリ インスタンスをインストールできるようになります。
詳細は以下をご参照ください。
November 25, 2024 — Snowflake Cortex LLM関数 TRANSLATE に関するアップデート
Snowflake Cortex TRANSLATE 関数の機能が以下の通り強化されました。
- 翻訳品質の向上
- プロンプトの最適化やモデルのトレーニング無しで強力なモデルと同等の翻訳品質となったとのことです
- 翻訳の信頼性の向上
- 翻訳の完了が途中で拒否されることがなくなりました
- 翻訳対象テキストのサポートされる長さの増加
- 1,024 トークンから 4,096 トークンに増加
- 言語の追加
- オランダ語、中国語、ヒンディー語が追加サポートされました
- 混合言語のサポート
- ２つの言語が混在して書かれたテキストを、1 つの言語に翻訳できるようになりました
November 18-21, 2024 — 8.44 Release Notes
Snowflake からのアウトバウンド接続に関するアップデート
Business Critical 以上のエディションで、以下のアウトバウンド プライベート接続機能がパブリックプレビューとなりました。
- Azure Private Link を使用した外部ステージ へのアクセス
- Azure Private Link を使用した外部ボリュームへのアクセス
- Azure Private Link を使用した Snowpipe の自動化
これにより外部ステージを使用した Microsoft Azure からの一括データロードや Microsoft Azure Blob Storage 用の Snowpipe 利用時にプライベート接続を使用するように構成できます。
詳細は以下をご参照ください。
November 18, 2024 — S3 互換ストレージで外部管理の Iceberg テーブルの利用が一般提供
Snowflake では以下に記載があるような S3 準拠の API を提供する S3 互換ストレージ用の外部ステージを作成することができます。
今回のアップデートで、外部カタログを使用する Snowflake Iceberg テーブルの外部ボリューム（データとメタデータの配置先）として、S3 互換のストレージを使用できるようになりました。
詳細は以下をご参照ください。
November 18, 2024 — 機密データの自動分類がパブリックプレビュー
分類プロファイルを定義しスキーマに関連付けることで、自動的にスキーマ内のテーブルを監視し、機密データへの分類やタグ付けを自動化できる機能がパブリックプレビューとなりました。タグベースのマスキングポリシーと組み合わせることで、新規追加も含む定期的なデータテーブルの再分類、タグ付け、タグが付与された場合の自動的なマスキングポリシーの適用が可能となります。
一連の手順など詳細は以下をご参照ください。
November 15, 2024 — Snowflake 管理の Iceberg テーブルに対する COPY INTO <table>, Snowpipe, Snowpipe Streaming の利用が一般提供
Snowflake をカタログとして使用する Iceberg テーブルに対する以下のデータロード機能の利用が一般提供となりました。
詳細は以下をご参照ください。
November 12-14, 2024 — 8.43 Release Notes
全文検索が一般提供
Snowflake における全文検索機能が一般提供となりました。
VARIANT、OBJECT、および ARRAY 型のカラムに対して全文検索用の SEARCH または SEARCH_IP 関数を使用することで、文字データ (テキスト) と IPv4 アドレスを検索できます。
詳細は以下をご参照ください。
Leaked password protection が提供
ダーク ウェブで発見されたパスワードを監視およびブロックする機能である Leaked password protection（LLP）が提供されました。
この機能は、バックグラウンドサービスとしてパスワードの漏洩が検知されると、そのパスワードが関連付けられているユーザーを識別し、パスワードが有効な場合、そのユーザーのパスワードを自動的に無効化します。パスワードが無効化とされると、管理者にはメールで通知されるので、リセット対応を行います。
これにより Snowflake アカウントへの不正アクセスを防止する多層防御メカニズムとして機能します。
詳細は以下をご参照ください。
サーバレスタスクの Python、JVM のサポートが一般提供
サーバーレス タスクで Python および JVM サポートが一般提供となりました。
これにより Python UDF や Python 、Java、Scala で記述されたストアド プロシージャをサーバーレス タスクから呼び出すことができるようになります。
詳細は以下をご参照ください。
Snowflakeスクリプトによるストアドプロシージャの自動ロギングとトレース
Snowflakeスクリプトによるストアド プロシージャ実行時のログとトレースを自動的に記録できるようになりました。
前提として、ログはイベントテーブル（デフォルトでは SNOWFLAKE.TELEMETRY.EVENTS ）に格納されます。また、ログの記録には、有効なLOG_LEVEL の設定が必要です。
詳細は以下をご参照ください。
ストアドプロシージャや UDF からの AWS IAM による認証が一般提供
外部ネットワークアクセスを使用する Snowpark UDF やストアドプロシージャから AWS サービスに対する IAM 認証のサポートが一般提供となりました。これにより、一時的な認証情報を使用し、リソースへアクセスできるため、セキュリティリスクが低減されます。
詳細は以下をご参照ください。
November 14, 2024 — アカウントでプレビュー機能の有効化・無効化を制御できる機能が一般提供
Snowflake アカウントでプレビュー機能の有効化・無効化を制御できる以下のシステム関数の提供が一般提供となりました。
こちらの機能は以下でも紹介されていますので、こちらもあわせてご参照ください。
November 14, 2024 — Cortex Analyst
マルチターン会話がパブリックプレビュー
Cortex Analyst で一連の質問に対するマルチターン会話がサポートされました。
これにより、以前のクエリに基づいてフォローアップの質問をすることができるようになります。詳細は以下をご参照ください。
JOIN のサポートがパブリックプレビュー
Cortex Analyst で SQL 結合がサポートされ、特にスター スキーマ構造における複数テーブルにわたる分析が可能となりました。
Cortex Analyst で結合を有効にするには、セマンティック ファイルを更新し、テーブルのリストの後に関係定義を追加する必要があります。
November 12, 2024 — Organizational listings and the Internal Marketplace — General Availability
組織内での使用できるマーケットプレイスであるインターナルマーケットプレイスが一般提供となりました。インターナルマーケットプレイスは組織専用のため、組織内のユーザーは、外部のマーケットプレイスを経由せずにリソースを発見でき、社内のデータ共有に活用できます。
詳細は以下をご参照ください。
November 12, 2024 — ダイナミックテーブル：Snowflake 管理の Iceberg テーブルからの読み取りと、動的な Iceberg テーブルの作成が一般提供
ダイナミックテーブルと Snowflake 管理の Iceberg テーブルに関連する以下の機能が一般提供となりました。
- 通常のテーブルと同様に、Snowflake が管理する Iceberg テーブルをソースとして読み取るダイナミックテーブルの作成
- クエリ結果を Iceberg テーブル形式で保存する新しい動的テーブル タイプである動的 Iceberg テーブルの作成
November 12, 2024 — Budgets：クラウド サービスのキューを通知の送信先として使用できるように
Snowflake アカウントのクレジットの使用状況を監視できる Budgets（予算）機能における通知の送信先として、以下がサポートされました。
- 各クラウド サービス（Amazon SNS、Azure Event Grid、Google Cloud PubSub）によって提供されるキュー
- Slack、Microsoft Teams、または PagerDuty 用の Webhook
いずれも事前に作成済みの各通知統合オブジェクトを指定することで、通知を送信するように構成できます。
詳細は以下をご参照ください。
また Budgets については以下で紹介されていますので、こちらもあわせてご参照ください。
November 12, 2024 — CREATE OR ALTER コマンドの追加サポートがパブリックプレビュー
オブジェクトを宣言型として定義できるアプローチを提供する CREATE OR ALTER を使用可能なオブジェクトが追加されました。
今回のアップデートでデータベース、スキーマ、データベースロールなどにサポートが拡大されています。
サポートされる全てのオブジェクトは以下をご参照ください。
November 12, 2024 — Classification (Snowflake ML Function) が一般提供
Snowflake Cortex ML 関数の分類（Classification）が一般提供となりました。
分類関数では、与えられたデータをあらかじめ定義されたカテゴリまたはクラスに分類するモデルを SQL ベースのコマンドで構築できます。
詳細は以下をご参照ください。
November 11, 2024 — Snowflake Notebooks Warehouse Runtime が一般提供
ウェアハウス ランタイムとして提供される Snowflake Notebooks が Amazon Web Services (AWS)、Microsoft Azure、Google Cloud Platform (GCP) の商用リージョンで一般提供となりました。
詳細は以下をご参照ください。
November 11, 2024 — Snowflake Native App Framework release notes
Snowpark コンテナ サービスと統合された Snowflake ネイティブ アプリが以下のステータスとなりました。
- Snowpark コンテナ サービスと統合された Snowflake ネイティブ アプリが AWS で一般提供
- Snowpark コンテナ サービスと統合された Snowflake ネイティブ アプリが Azure でパブリックプレビュー
Snowpark コンテナ サービスを使用する Snowflake ネイティブ アプリについては、クイックスタートも提供されており、以下で紹介されていますので、あわせてご参照ください。
November 08, 2024 — Grouped Query History がパブリックプレビュー
頻繁に実行されるクエリの使用状況とパフォーマンスを監視するための Snowsight のビューである、Grouped Queries がパブリックプレビューとなりました。
クエリ履歴画面より新しい履歴画面にアクセスできます。
各クエリをクリックするとパフォーマンス統計が表示され、実行されたクエリの合計数、失敗したクエリの数、レイテンシなどを確認できます。
このビューは AGGREGATE_QUERY_HISTORY ビューに基づいています。
詳細は以下をご参照ください。
November 08, 2024 — Snowflake Connector for SharePoint がパブリックプレビュー
SharePoint 用の Snowflake コネクタがパブリックプレビューとなりました。
このコネクタは Microsoft 365 SharePoint サイトと Snowflake を接続して、ファイルとユーザー権限を取り込みます。
また、Snowflake Cortex Search サービスもサポートしており、取り込んだファイルを AI アシスタントとの会話分析用に使用できます。
詳細は以下をご参照ください。
November 04-06, 2024 — 8.42 Release Notes
Trust Center：Security Essentials scanner package にスキャナーが追加
Snowflake アカウントでは、Security Essentials スキャナー パッケージとして、無料のスキャナー パッケージ提供され、アカウントでアクティブ化されています（無効化することはできません）。です。
今回のアップデートで、このスキャナー パッケージに以下の評価項目が追加されました。
- Ensure multi-factor authentication (MFA) is turned on for all human users with password-based authentication
- パスワード認証するすべてのタイプが PERSON であるユーザーへの MFA 適用
- Ensure Event Table is configured for Native Application event sharing
- アプリのイベント共有を有効化している場合に、アプリのイベント トレースを設定しているか
Security Essentials スキャナー パッケージでは、他にも PERSON ユーザーに対する MFA の強制、アカウントレベルのネットワークポリシーの有効化が評価されます。詳細は以下をご参照ください。
サーバレス アラートが一般提供
サーバーレス コンピューティング モデルを使用するアラートの構成が一般提供となりました。
具体的には、アラート作成時に WAREHOUSE パラメーターを省略することで、サーバレスアラートとして構成されます。他のサーバーレス機能 (サーバーレス タスクなど) と同様に、アラートに必要なコンピューティング リソースのサイズとスケールは、Snowflake 側で自動的に変更されます。
詳細は以下をご参照ください。
サーバレス タスクのユーザーコントロールパラメータが一般提供
サーバーレス タスクのコストとパフォーマンスをある程度制御可能な以下のパラメータが一般提供となりました。
- SERVERLESS_TASK_MAX_STATEMENT_SIZE
- サーバーレス タスクで許可されるウェアハウスの最大サイズ
- SERVERLESS_TASK_MIN_STATEMENT_SIZE
- サーバーレス タスクで許可されるウェアハウスの最小サイズ
- TARGET_COMPLETION_INTERVAL
- 希望するタスク完了時間を指定することで、指定された時間内にタスクを完了するように、サーバーレス コンピューティング リソースのサイズを自動的に変更できる
詳細は以下をご参照ください。
タスクの成功通知が一般提供
タスク グラフが正常に完了すると、クラウド メッセージング サービスに成功通知をプッシュできる機能が一般提供となりました。
詳細は以下をご参照ください。
November 06, 2024 — SPLIT_TEXT_RECURSIVE_CHARACTER Cortex 関数がパブリックプレビュー
LLM 関数のヘルパー関数として SPLIT_TEXT_RECURSIVE_CHARACTER がパブリックプレビューとなりました。
この関数は、RAG 構築時のテキスト埋め込みなどの前処理としてテキストを短い文字列に再帰的に分割する際に使用できます。パラメータとして、チャンクのサイズやオーバーラップを指定できます。
November 04, 2024 — レプリケーション エラーの通知が一般提供
レプリケーション グループとフェイルオーバー グループのエラー通知が一般提供となりました。
プライマリ レプリケーション グループまたはフェイルオーバー グループに通知統合を設定することで、更新操作が失敗した際に、メールやキュー、Webhook など各指定の通知統合に対して通知を送信できます。
詳細は以下をご参照ください。
November 04, 2024 — Data Lineage がパブリックプレビュー
Snowflake におけるデータ リネージの提供がパブリックプレビューとなりました。Snowsight におけるオブジェクト間のデータ リネージ図の他にも GET_LINEAGE 関数による系統情報の取得も可能です。
Snowsight 上でのテーブル・ビューなどオブジェクト間のデータ リネージの確認については、以下でも紹介されていますので、こちらもご参照ください。
November 04, 2024 — Classify Text (Snowflake Cortex LLM Function)が一般提供
Snowflake Cortex LLM ベース関数の一つで、テキストデータを、ユーザーが指定したカテゴリのいずれかに分類できる CLASSIFY_TEXT が一般提供となりました。
この機能については以下でも紹介されていますので、あわせてご参照ください。
November 04, 2024 — Top Insights (Snowflake ML Function) が一般提供
主要な要因分析のために使用できる Snowflake Cortex ML ベース関数の Top Insights が一般提供となりました。
こちらは以下でも紹介されていますので、あわせてご参照ください。
Behavior Change Log
2024_08 バンドルが提供開始 ※デフォルトは無効化
8.38 （2024/10/7 - 2024/10/9 リリース）で、2024_08 バンドルが提供開始となりました。先に挙動を確かめたい場合には手動でバンドルを有効化してテスト可能です。
また、このバンドルにはセキュリティに関する以下の保留中の変更が含まれます。
- Default value of DEFAULT_SECONDARY_ROLES object property on users changed to (‘ALL’)
- ユーザーが変更を評価するための追加時間を確保するため、この動作変更は 2024_08 でも無効のままです
- Multi-factor authentication enrollment enforced by default for new Snowflake accounts
このバンドルは、2025年1月のリリースでデフォルトで有効化される予定となっています。
2024_07 バンドルがデフォルトで有効化
8.38 （2024/10/7 - 2024/10/9 リリース）で、2024_07 バンドルがデフォルトで有効化されました。このバンドルは、2025年1月のリリースで一般的に有効化される予定となっています。
2024_06 バンドルが一般的に有効化
8.38 （2024/10/7 - 2024/10/9 リリース）で、2024_06 バンドルが一般的に有効化されました。
おまけ：Modern Data Stack全般の最新情報
Snowflakeも含め、Modern Data Stack 全般の最新情報についても、定期的にブログにまとめて投稿されています！こちらもぜひご覧ください。
![[アップデート] AWS Clean RoomsがデータソースとしてSnowflakeとAmazon Athenaをサポートしました #AWSreInvent](https://images.ctfassets.net/ct0aopd36mqt/3nibOl2sZ0LKJueI0FHFi5/14de7bd294f7916a28b789105c60d450/reinvent-2024-newservice-jp.jpg)
