【Informatica IDMC】S3・GCS対応！File Ingestion and Replicationの設定手順をまとめました
1. 概要
本ドキュメントでは、Data Ingestion and Replicationの中の1つであるFile Ingestion and Replicationの作成手順について説明します。
1-1. Data Ingestion and Replicationとは
Data Ingestion and Replicationは、Informaticaにおけるデータ取り込み・レプリケーション機能を提供するサービスです。以下の4種類のIngestion機能で構成されています。
サービス構成
| 機能 | 説明 | 本書対象 |
|---|---|---|
| Database Ingestion and Replication | データベースからのデータ取り込み・レプリケーション | - |
| File Ingestion and Replication | ファイルからのデータ取り込み・レプリケーション | ◎ |
| Application Ingestion and Replication | SaaS等アプリケーションからのデータ取り込み | - |
| Streaming Ingestion and Replication | Kafka等ストリーミングデータの取り込み | - |
1-2. File Ingestion and Replicationとは
本ドキュメントで対象とするFile Ingestion and Replicationは、オンプレミスやクラウド間にて大量のファイルを転送し、ファイル転送の追跡・監視を行う機能です。
特徴
| 特徴 | 説明 |
|---|---|
| 大量ファイル転送 | 様々なファイルタイプの大量ファイル転送に対応 |
| バッチ転送 | 複数ファイルをバッチで転送しパフォーマンスを向上 |
| スケジュール実行 | タスクの定期実行スケジュールを定義可能 |
| ファイル操作 | 圧縮、解凍、暗号化、復号化などの操作に対応 |
| 転送監視 | ファイル転送の追跡・監視が可能 |
対応コネクタ
ソース
主要なクラウドストレージ、オンプレミス環境に対応しています。
- Amazon S3、Google Cloud Storage、Azure Blob Storage、Azure Data Lake Store 等
- Local folder、FTP/SFTP、Hadoop Files 等
ターゲット
主要なクラウドストレージ、データウェアハウス、オンプレミス環境に対応しています。
- Amazon S3、Google Cloud Storage、Azure Blob Storage、Azure Data Lake Store 等
- Snowflake、Databricks、BigQuery、Redshift、Azure Synapse 等
- Local folder、FTP/SFTP、Hadoop Files 等
💡 補足: _対応コネクタの詳細は Informatica公式ドキュメント を参照してください。
2. 前提条件
2-1. 対象コネクタ
本ドキュメントでは、以下の2種類のコネクタを使用したFile Ingestion and Replicationの設定手順を解説します。
コネクタは既に作成済みの状態を想定しております。
| コネクタ | 説明 | 備考 |
|---|---|---|
| Amazon S3 | AWSのオブジェクトストレージサービス | ソース/ターゲットとして利用可能 |
| Google Cloud Storage (GCS) | Google Cloudのオブジェクトストレージサービス | ソース/ターゲットとして利用可能 |
2-2. 事前確認事項（任意）
必要に応じて、以下の手順でコネクタの存在確認・接続テストを実施してください。
- Informatica Intelligent Data Management Cloud（IDMC）にログインします
- 「管理者」画面を選択します
- 「接続」を選択します
- 対象のコネクタを検索し、表示されていることを確認
- 対象コネクタをクリック します
- 「テスト」をクリックします
- 接続テストが成功することを確認
3. File Ingestion and Replication作成手順
File Ingestion and Replicationアセットを作成し、データの取り込み設定を行います。
3-1. 新規アセットの作成
- Informatica Intelligent Data Management Cloud（IDMC）にログインします
- 「データ統合」画面を選択します
- 「新規」ボタンをクリックします
- 下記の通り新しいアセットの中から「ファイル取り込みおよびレプリケーションタスク」を選択します
- 「作成」ボタンをクリックします
3-2. 定義設定
下記の表を参考に定義設定を行ってください。
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| タスク名 | タスクの名前を入力 | ○ | 例：fir_sample |
| プロジェクト | 保存先のプロジェクト/フォルダを指定 | ○ | 「参照」ボタンから選択 |
| ランタイム環境 | 使用するランタイム環境を選択 | ○ | 例：informatica-secure-agent |
| 説明 | タスクの説明を入力 | - | - |
3-3. ソース設定
ソースの詳細設定を行います。
選択したコネクタによって設定項目が異なります。
Amazon S3 コネクタの場合
ソースの詳細
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| ソースタイプ | ソース接続 / ファイルリスナ | ○ | どちらか一方を選択 |
ソースタイプの選択に応じて、以下を設定してください。
- ソース接続を選択した場合 → 「接続」から使用するコネクタを選択
- ファイルリスナを選択した場合 → 「ファイルリスナ」から既存のファイルリスナを選択
⚠️ 注意: ファイルリスナを選択した場合、後述の3-6. ランタイムオプション設定が選択したファイルリスナに限定されます。
ソースオプション
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| ファイルピックアップ | パターン別 / ファイルリスト別 | ○ | ファイル取得方法を選択 |
| ソースディレクトリ | ファイル取得元のパスを指定 | ○ | 例: bucket-name/folder/source |
ファイルピックアップ
パターン別 を選択した場合
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| サブフォルダのファイルを含む | 有効/無効 | - | サブフォルダ内のファイルも対象にする場合は有効にする |
| ファイルパターン | ワイルドカードで指定 | △ | 例: *.csv、data_??.txt |
| ファイル日付 | 日付でフィルタリング | △ | 以上/以下/等しい/本日からN日前 |
| タイムゾーン | タイムゾーンを選択 | - | ファイル日付を設定した場合に指定 |
| ファイルサイズ | サイズでフィルタリング | △ | 以上/以下/等しい |
⚠️ 注意: △の項目（ファイルパターン、ファイル日付、ファイルサイズ）は、いずれか1つ以上の設定が必須です。
ファイルリスト別 を選択した場合
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| リストを含むファイルパス | ファイルリストが格納されたパス | △ | |
| 入力ファイルパス | ファイル名を直接指定 | △ | カンマ区切り |
⚠️ 注意:
△の項目は、いずれか1つの設定を選択してください。
オプション
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| 重複するファイルをスキップ | 有効/無効 | - | 同名・同サイズのファイルをスキップ |
| ファイルの安定性を確認 | 有効/無効 | - | 書き込み中のファイルをスキップ |
| 安定性確認間隔 | 秒数を指定 | - | ファイルの安定性を確認を有効にした場合に指定 |
| バッチサイズ | 1回のタスクで転送するファイル数を指定 | - | デフォルト: 5 |
| ファイル暗号化タイプ | なし / S3サーバー側暗号化 / S3クライアント側暗号化 | - | デフォルト: なし |
| S3高速転送 | 無効 / 有効 / デュアルスタック高速 | - | デフォルト: 無効 |
| 最小ダウンロードパートサイズ(MB) | ダウンロード時のパートサイズを指定 | - | デフォルト: 50 |
| マルチパートダウンロードしきい値(MB) | マルチパートダウンロードを行うファイルサイズの閾値を指定 | - | デフォルト: 100 |
| ファイルのピックアップ後 | 保持 / 削除 / 名前変更 / アーカイブ | - | 転送後のソースファイルの扱い |
ファイルのピックアップ後
名前変更 を選択した場合
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| ファイル名サフィックス | サフィックスを指定 | ○ | 例: ($date) / ($time) / ($timestamp) / ($runId) |
アーカイブ を選択した場合
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| アーカイブディレクトリ | アーカイブ先のパスを指定 | ○ | 絶対パスまたは相対パス |
💡 補足: S3コネクタ項目の詳細は Informatica公式ドキュメント を参照してください。
Google Cloud Storage コネクタの場合
ソースの詳細
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| ソースタイプ | ソース接続 / ファイルリスナ | ○ | どちらか一方を選択 |
ソースタイプの選択に応じて、以下を設定してください。
- ソース接続を選択した場合 → 「接続」から使用するコネクタを選択
- ファイルリスナを選択した場合 → 「ファイルリスナ」から既存のファイルリスナを選択
⚠️ 注意: _ファイルリスナを選択した場合、後述の3-6. ランタイムオプション設定が選択したファイルリスナに限定されます。
ソースオプション
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| ソースディレクトリ | ファイル取得元のパスを指定 | ○ | 例: bucket-name/folder/source |
| サブフォルダのファイルを含む | 有効/無効 | - | サブフォルダ内のファイルも対象にする場合は有効にする |
| ファイルパターン | ワイルドカードで指定 | △ | 例: *.csv、data_??.txt |
| ファイル日付 | 日付でフィルタリング | △ | 以上/以下/等しい/本日からN日前 |
| タイムゾーン | タイムゾーンを選択 | - | ファイル日付を設定した場合に指定 |
| ファイルサイズ | サイズでフィルタリング | △ | 以上/以下/等しい |
| 重複するファイルをスキップ | 有効/無効 | - | 同名・同サイズのファイルをスキップ |
| ファイルの安定性を確認 | 有効/無効 | - | 書き込み中のファイルをスキップ |
| 安定性確認間隔 | 秒数を指定 | - | ファイルの安定性を確認を有効にした場合に指定 |
| バッチサイズ | 1回のタスクで転送するファイル数を指定 | ○ | デフォルト: 5 |
| ファイルのピックアップ後 | 保持 / 削除 / 名前変更 / アーカイブ | - | 転送後のソースファイルの扱い |
⚠️ 注意:_ △の項目（ファイルパターン、ファイル日付、ファイルサイズ）は、いずれか1つ以上の設定が必須です。
名前変更 を選択した場合
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| ファイル名サフィックス | サフィックスを指定 | ○ | 例：($date) / ($time) / ($timestamp) / ($runId) |
アーカイブ を選択した場合
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| アーカイブディレクトリ | アーカイブ先のパスを指定 | ○ | 絶対パスまたは相対パス |
💡 補足: Google Cloud Storage項目の詳細は Informatica公式ドキュメント を参照してください。
3-4. ターゲット設定
ターゲットの詳細設定を行います。
選択したコネクタによって設定項目が異なります。
Amazon S3 コネクタの場合
ターゲットの詳細
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| 接続 | 使用するコネクタを選択 | ○ |
ターゲットオプション
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| フォルダパス | 出力先のパスを指定 | ○ | 例: bucket-name/folder/target |
| ファイル圧縮 | なし / GZIP | - | デフォルト: なし |
| ファイル暗号化タイプ | なし / S3サーバー側暗号化 / S3クライアント側暗号化 | - | デフォルト: なし |
| ファイルが存在する場合 | 上書き / タイムスタンプの追加 | - | デフォルト: 上書き |
| S3高速転送 | 無効 / 有効 / デュアルスタック高速 | - | デフォルト: 無効 |
| 最小アップロードパートサイズ(MB) | アップロード時のパートサイズを指定 | - | デフォルト: 50 |
| マルチパートアップロードしきい値(MB) | マルチパートアップロードを行うファイルサイズの閾値を指定 | - | デフォルト: 100 |
💡 補足: S3コネクタ項目の詳細は Informatica公式ドキュメント を参照してください。
Google Cloud Storage コネクタの場合
ターゲットの詳細
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| 接続 | 使用するコネクタを選択 | ○ |
ターゲットオプション
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| フォルダパス | 出力先のパスを指定 | ○ | |
| ファイル圧縮 | なし / GZIP | - | デフォルト: なし |
| ファイルが存在する場合 | 上書き / タイムスタンプの追加 | - | デフォルト: 上書き |
💡 補足: Google Cloud Storage項目の詳細は Informatica公式ドキュメント を参照してください。
3-5. アクション設定（任意）
ファイル転送前に実行するファイル処理アクションを設定します。
💡 補足:アクション設定は任意です。必要がなければスキップしてください。
アクションの詳細は Informatica公式ドキュメント を参照してください。
ファイルの処理
| アクション | アクションタイプ | 説明 |
|---|---|---|
| 圧縮 | Zip / gzip / Tar / Bzip2 | ファイルを圧縮して転送。Zipはパスワード保護可 |
| 圧縮解除 | Unzip / Gunzip/ Untar / Bunzip2 | 圧縮ファイルを解凍して転送。Unzipはパスワード保護可 |
| 暗号化 | PGP | PGP方式でファイルを暗号化して転送 |
| 復号化 | PGP | PGP方式で暗号化されたファイルを復号化して転送 |
| ファイル操作 | 非階層化 / ファイル名の変更 | ファイル構造のフラット化やファイル名変更 |
| ウイルススキャン | ICAP | ICAPサーバーでウイルス・マルウェアをスキャン |
設定手順
- 「+」をクリックします
- アクションを選択
- アクションタイプを選択
- 必要に応じてプロパティを設定
- 複数のアクションを追加する場合は、1〜4を繰り返す
💡 補足: アクションは設定した順序で実行されます。ドラッグ＆ドロップで順序を変更できます。
3-6. ランタイムオプション設定
タスクの実行方法や通知設定を行います。
アクションの詳細は Informatica公式ドキュメント を参照してください。
スケジュールの詳細
以下の3つから実行方法を選択します。
| 選択肢 | 説明 | 追加設定 |
|---|---|---|
| このタスクはスケジュールどおりに実行しない | 手動実行 | - |
| このタスクはスケジュールどおりに実行する | スケジュール実行（定期実行） | スケジュール頻度を選択 |
| このタスクはファイルリスナで実行する | ファイルリスナ実行（イベント駆動） | ファイルリスナを選択 |
障害管理
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| 障害時に通知を送信 | 有効/無効 | - | |
| 通知を送信する電子メールアドレスのリスト | メールアドレスを入力 | - | 障害時に通知を送信を有効にした場合に設定 |
詳細オプション
| 項目 | 設定内容 | 必須 | 備考 |
|---|---|---|---|
| 並行処理を許可 | 有効/無効 | - | 複数ジョブの同時実行を許可 |
| 並行バッチ | 並行して実行するバッチ数を指定 | ○ | デフォルト: 1 |
| ログレベル | 標準 / サイレント / 詳細 / デバック | ○ | デフォルト: 標準 |
⚠️注意: 並行処理を許可した場合、ターゲットに重複ファイルが存在すると予期しない結果になる可能性があります。
保存
設定が完了したら、画面右上の「保存」ボタンをクリックしてタスクを保存します。
4. ジョブの実行方法
作成したジョブを実行します。
-
対象のFile Ingestion and Replicationの画面右上の「実行」をクリックします
-
「マイジョブ」からジョブのステータスが確認できます
5. まとめ
本記事では、Informatica IDMCのFile Ingestion and Replicationを使用したファイル転送タスクの作成手順について解説しました。
今後もInformatica IDMCの各機能を実際に利用しながら、より効率的な使い方やベストプラクティスを発見次第、本ブログで共有できればと思っております。
ご覧いただきありがとうございました。
