[アップデート] Amazon Redshift Zero-ETL 統合のための 3つの新しい SQL 機能が導入されました

クラウド事業本部コンサルティング部の石川です。Amazon Redshiftは、Zero-ETL 統合のための3つの新しい SQL 機能（QUERY_ALL_STATES、TRUNCATECOLUMNS、ACCEPTINVCHARS）が導入されました。Zero-ETL 統合をすでにご利用されている方にとって、心強い新機能です。

https://aws.amazon.com/about-aws/whats-new/2025/01/amazon-redshift-sql-features-zero-etl-integrations/

SQL 機能の概要

SQL 機能とは、Zero-ETL統合でデータソースからAmazon Redshiftへデータを連携する際の条件や変換を指定できる機能です。これまでは、2024年10月に追加された REFRESH_INTERVAL のみでしたが、今回さらに3つの SQL 機能が追加されました。

https://dev.classmethod.jp/articles/amazon-redshift-refresh-interval-zero-etl/

3つの新しい SQL 機能とその設定方法

Amazon Redshiftの新しいZero-ETL統合のSQL機能は、QUERY_ALL_STATES、TRUNCATECOLUMNS、ACCEPTINVCHARSです。これらの新機能は、既存のZero-ETL統合プロセスを拡張し、データの整合性を維持しながら、より効率的なデータ処理を可能にします。

QUERY_ALL_STATES

デフォルトのZero-ETL 統合テーブルはSynced状態のみクエリできます。全ての状態でクエリを実行できるようにするには、QUERY_ALL_STATES を TRUE に設定します。これにより、テーブルの更新中でも、全ての状態のテーブルをクエリできるため、データの継続的な可用性が確保されます。

設定例

ALTER DATABASE sample_integration_db INTEGRATION SET QUERY_ALL_STATES = TRUE;

TRUNCATECOLUMNS

VARCHAR データ型で文字列の長さが制限を超えた場合に、Zero-ETL 統合テーブルが取り込みを続行するかどうかを設定します。TRUEの場合、文字列は列に収まるように切り捨てられます。これにより、レプリケーションエラーを防ぎ、スムーズなデータ取り込みを実現します。

設定例

ALTER DATABASE sample_integration_db INTEGRATION SET TRUNCATECOLUMNS = TRUE;

ACCEPTINVCHARS

VARCHAR データ型で無効な文字が検出された場合に、Zero-ETL 統合テーブルが取り込みを続行するかどうかを設定します。無効な文字が検出されると、デフォルトの?文字に置き換えられます。この機能は、非標準文字を含む可能性のある様々なソースからのデータ処理に特に有用です。

設定例

ALTER DATABASE sample_integration_db INTEGRATION SET ACCEPTINVCHARS = TRUE;

最後に

Amazon Redshiftの新しいSQL機能であるQUERY_ALL_STATES、TRUNCATECOLUMNS、ACCEPTINVCHARSは、Zero-ETL統合の機能性と信頼性を向上させる重要な追加機能です。これらの新機能により、データの可用性、整合性、処理効率が向上し、組織はよりスムーズにデータ駆動型の意思決定を行うことができるようになります。

QUERY_ALL_STATESはデータの継続的な可用性を確保し、TRUNCATECOLUMNSはレプリケーションエラーを防ぎスムーズなデータ取り込みを実現し、ACCEPTINVCHARSは非標準文字を含むデータの処理を可能にします。

これらの機能を活用することで、企業はデータ管理と分析の新たな可能性を探ることができ、より効率的かつ柔軟なデータ統合プロセスを実現できるでしょう。