2023年7月にリリースされたSnowflakeの新機能・変更点まとめ #SnowflakeDB

さがらです。

2023年7月にリリースされたSnowflakeの新機能と変更点についてのまとめ記事となります。

※注意事項：本記事ではすべての情報についての記述はせず、特筆すべきだと感じた情報だけピックしております。基本的には以下の情報を参考にしておりますので、全ての最新情報を確認したい場合は下記のURLからご確認ください。

• What's New
• RELEASE NOTES
• Behavior Change Log

What's New

Snowpipe Streamingが一般提供

Snowpipe Streamingが一般提供となりました！

従来のSnowpipe + Kafka Connectorの組み合わせと比較したときに、Snowpipe Streaming + Kafka Connectorならばデータを内部ステージにステージングすることなく、直接Snowflakeのテーブルにロードできます。

公式ドキュメントもぜひ併せてご覧ください。

Snowpipe Streamingを使用したKafka Connectorにおいて、Schema DetectionとSchema Evolutionに対応　※パブリックプレビュー

ロードされるデータの中身からスキーマ構成を自動で読み取ってくれる「Schema Detection」と、ロード処理が行われた際に対象テーブルのスキーマ定義と異なる場合には自動で列の追加を行ってくれる「Schema Evolution」が、Snowpipe Streamingを使用したKafka Connectorにおいて使えるようになりました。※パブリックプレビュー

※この機能を有効化するには、バンドル「2023_05」を有効にする必要があるためご注意ください。

ORGANIZATION_USAGEにQUERY_ACCELERATION_HISTORYビューが追加

Organization全体でQuery Acceleration Serviceによって高速化されたクエリを確認できるQUERY_ACCELERATION_HISTORYが使用できるようになりました。

Query Acceleration Serviceは私も一度試しているため、ぜひこちらも見て頂けると嬉しいです。

Snowflakeサポートに連絡せずともクエリでORGADMINロールを有効化できるように　※パブリックプレビュー

ALTER ACCOUNT … SET IS_ORG_ADMINの構文でクエリを実行することで、Snowflakeサポートに連絡せずともユーザー側でORGADMINロールを有効化できるようになりました。

デフォルトでは、ORGADMINロールは最大8つのアカウントで有効化できるようです。

Organization内のアカウントをユーザー側で削除できるように　※パブリックプレビュー

ORGADMINロールにより、Organization内のアカウントをユーザー側で削除できるようになりました。

具体的には、DROP ACCOUNTというコマンドを使用するようで、下記のようにGRACE_PERIOD_IN_DAYSというオプションを使うと、指定した期間の間ならばUNDROPコマンドでアカウントの復元もできるようです。

DROP ACCOUNT my_account GRACE_PERIOD_IN_DAYS = 14;

Search Optimization Serviceが半構造化データの部分文字列検索をサポート　※パブリックプレビュー

Search Optimization Serviceが半構造化データの部分文字列検索をサポートするようになりました。　※パブリックプレビュー

具体的には、下記のようなコマンドを実行すれば有効化できます。

ALTER TABLE mytable ADD SEARCH OPTIMIZATION ON SUBSTRING(semi_structured_column);

GROUP BY句でALLを指定可能に

Snowflakeでクエリを書く際、GROUP BY句でALLを指定可能になりました！

これまでのクエリの書き方だと、GROUP BY句では具体的にカラム名かSELECT句での順番を数値で入れる必要がありましたが、Snowflakeならばその必要がなくなります！

具体的には、下記のようにGROUP BY句の中に複数のカラム名を記述する必要がなくなります。

• これまでのクエリ

SELECT state, city, SUM(retail_price * quantity) AS gross_revenue
  FROM sales
  GROUP BY state, city;

• GROUP BY ALLを使用した場合

SELECT state, city, SUM(retail_price * quantity) AS gross_revenue
  FROM sales
  GROUP BY ALL;

また、一部のカラムを集約に使いたくない場合は、SELECT * EXCLUDEを使うことで除外することもできます。詳細は下記の記事をご覧ください。

Behavior Change Log

Behavior Change Logの今後の情報提供場所について

Behavior Change Logについては、2023年7月26日以降、下記のドキュメントで公開されていくとのことです。

おまけ：Modern Data Stack全般の最新情報

Snowflakeも含め、個人的に気になったModern Data Stack全般の最新情報についても、定期的にブログにまとめて投稿しております！こちらもぜひご覧ください。