この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
はじめに
こんにちは。DI部の大高です。
今回はTalendのコンポーネント「tS3Connection」の詳細設定を調べてみました。なお接続にはアクセスキー、シークレットキーを利用した基本的な接続を行っております。詳細についてはこちらの記事をご参照ください。
[Talend]tS3Connectionを利用してS3へ基本的な接続をする ｜ DevelopersIO
前提条件
Talendのバージョンは「Talend Open Studio for Big Data」の「Version 7.1.1」で検証しています。
tS3Connectionについて
「tS3Connection」を利用すると「tS3XXXXX」というS3用の各コンポーネントにおけるコネクションを共通設定することができます。
「tS3Connection」コンポーネントのTalend Helpページはこちらです。
では、具体的に以下で解説していきます。
ジョブの説明
「tS3Connection」でコネクションを張るだけのシンプルなジョブになります。
「tS3Connection」コンポーネントの設定
「tS3Connection」コンポーネントでは、以下のように接続設定をしました。なお、今回は「基本設定」については説明を省略します。
カスタムリージョンエンドポイントの設定
エンドポイントを明示的に指定した場合に利用します。今回は以下を参考にデュアルスタックのエンドポイントs3.dualstack.ap-northeast-1.amazonaws.comを指定してみました。
Amazon Simple Storage Service (Amazon S3) ｜ AWS のリージョンとエンドポイント
クライアント設定
この設定により、細かいクライアントパラメーターを設定することができます。今回は「接続タイムアウト」を設定しましたが、その他の設定として以下を設定することができます。
S3アクセスを確認
このオプションを有効にすると、コネクション作成と同時に実際にS3にアクセスできるかを確認できます。（接続できなかった場合にはエラーが発生します）
加速モードを有効化
これは「Amazon S3 Transfer Acceleration」の利用についてのオプションです。
有効にするとJavaのコード上では以下のコードが追加され、withAccelerateModeEnabledが有効となります。
.withAccelerateModeEnabled(true)tStatCatcher統計情報
「tStatCatcher」コンポーネントで統計情報を取得したい場合に有効にします。
実行結果
設定は以上です。実際にこのジョブを実行すると以下のように出力され、正常に処理が完了していることからS3への接続が成功していることが確認できます。
[statistics] connecting to socket on port 3362
[statistics] connected
[statistics] disconnectedまとめ
以上、tS3Connectionの詳細設定についてでした。
どなたかのお役に立てば幸いです。それでは！
24
