Amazon AppFlow のフィルター機能はどの段階で動作するか教えてください
2025.02.13困っていた内容
AppFlow を使用して Salesforce から AWS にデータをインポートする予定です。
データ量が多いため、対象のデータだけを処理したいです。
フィルター機能は対象データだけをソースから取得しますか。それとも全データをソースから取得したのちに AppFlow でフィルターしますか。
どうなるの?
対象データだけをソースから取得します。
Amazon AppFlow ではフローの定義としてフィルターが設定できます。設定されたフィルターはソース API の呼び出しに利用され、フィルター設定に応じて取得されるデータは限定されます。
アプリケーションによっては、一度のフロー実行でインポートできるサイズが制限されています。そのため、データ量に応じてフィルター設定を適切に利用してください。
参考資料
フィルターと妥当性確認を追加
すべてのレコードをプルしない場合は、データレコードにフィルターを適用します。転送前にレコードを検証することもできます。
When you use Salesforce as a source, you can import 15 GB of data as part of a single flow run. To transfer over 15 GB of data, you can split your workload into multiple flows by applying the appropriate filters to each flow.
A filter controls which data records are transferred to the destination. Amazon AppFlow transfers only the records that meet the filter criteria.
