IICS CDI Amazon Redshift V2 ConnectorでRedshift Serverlessと接続できるか試してみた

#インフォマティカ

#Informatica Cloud Data Integration

kasama

2022.12.26

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

はじめに

データアナリティクス事業本部ビッグデータチームのyosh-kです。
今回はIICS CDI Amazon Redshift V2 ConnectorでRedshift Serverlessと接続できるか試してみたいと思います。結論としてはRedshiftと同様に接続可能でした。

作業としては以下の流れになります。

事前準備
Redshift Serverless構築
S3 Bucket作成
IAM周りの設定
Amazon Redshift V2 Connector設定
S3 Connector設定
Mapping作成
実行結果

事前準備

構成図

構成図としては以下になります。

IICS CDIのMappingのSourceにRedshift Serverlessの特定のtableを設定し、TargetはS3とします。

前提条件

前提条件として、IICS Cloud、IICS Secure Agent、VPCは事前に設定済みのものとします。
まだの方はこちらも参考にしてみてください。
Informatica Cloud Data Integrationの環境をAWS上で構築してみた

Redshift Serverless構築

AWSが提供している公式のハンズオンがありますので、そちらに沿ってstep2まで実施していただければと思います。
Amazon Redshift Serverless データ分析セルフハンズオン

次に管理者パスワードを設定します。名前空間の設定画面から「管理者パスワードを変更」をクリックします。

新たな管理者ユーザーとパスワードを設定します。

次にRedshift ServerlessのSecurity Groupを作成します。VPCのセキュリティグループの作成画面から新規のセキュリティグループを作成します。インバウンドルールのタイプにRedshiftを選択し、ソースにはSecure Agentが起動しているEC2インスタンスにアタッチされているセキュリティグループを設定します。アウトバウンドルールはデフォルト設定のままになります。

次にRedshift Serverlessのセキュリティ設定を行います。再びRedshift Serverlessの画面から作成したワークグループを選択します。その中の「ネットワークとセキュリティ」タブから編集ボタンをクリックします。

VPCはSecure Agentと同じVPCを設定し、セキュリティグループは先ほど作成したセキュリティグループを設定します。サブネットはpublicサブネットを3つ選択し変更を保存します。

次にテスト用のtableを準備します。先ほどのハンズオンでUnload頂いたデータ件数が大量ですので、クエリエディタ画面からデータ件数が少ないflight_date「2010-06-06」以外を削除するSQLを実行します。
delete from "dev"."public"."flightdata" where flight_date != '2010-06-06';

S3 Bucket作成

次にStaging用かつTarget用のBucketを作成します。Staging用とは、Amazon Redshift V2 ConnectorでRedshiftからデータを取得する際に、一時的に使用するBucketのことです。RedshiftからUnloadしたデータをStagingファイルとして格納します。Stagingされたファイルを元にTarget先へ格納します。処理が終了するとStagingファイルを削除します。今回は、Staging用とTarget用に両方同じBucketを指定します。
Secure Agent and Amazon Redshift integration
Amazon Redshift staging directory for Amazon Redshift V2 targets

S3の画面に遷移し、IICS Secure Agentが設置されているEC2と同一リージョンにS3を作成します。設定はデフォルトのままでOKです。

作成したBucket内に、Targetの格納先となるフォルダを作成します。

IAM周りの設定

インラインポリシーの作成とアタッチ

先ほど作成したS3 BucketへIICS CDIからINSERTできるように、IICS Secure AgentのEC2インスタンスに許可ポリシーを設定します。IICS Secure AgentのEC2インスタンスに付与されているIAM ロールの設定画面から「インラインポリシーを作成」をクリックします。