渡部晃季

渡部晃季

nabekou
54
Posts

渡部晃季が執筆した記事

データエンジニアの自分がジョブを作る時に意識していることデータエンジニアの自分がジョブを作る時に意識していること
渡部晃季
2025.09.16
HCP TerraformでWorking Directoryを設定したVCS TriggerとapplyをやってみたHCP TerraformでWorking Directoryを設定したVCS Triggerとapplyをやってみた
渡部晃季
2025.09.04
【Informatica Data Quality】インフォマティカで始めるジオコーディング【Informatica Data Quality】インフォマティカで始めるジオコーディング
渡部晃季
2025.08.26
BigQueryでの権限制御まとめ〜承認済みビュー・承認済みデータセット・行列アクセス制御・データマスキング〜BigQueryでの権限制御まとめ〜承認済みビュー・承認済みデータセット・行列アクセス制御・データマスキング〜
渡部晃季
2025.08.24
[アップデート]S3メタデータテーブルはジャーナルテーブルに改名し、新たにライブインベントリテーブルが誕生、既存オブジェクトとメタデータを一覧化できるようになりました[アップデート]S3メタデータテーブルはジャーナルテーブルに改名し、新たにライブインベントリテーブルが誕生、既存オブジェクトとメタデータを一覧化できるようになりました
渡部晃季
2025.07.16
Google CloudのIceberg「BigLake tables for Apache Iceberg in BigQuery」を試しつつ気になるトピックを調べてみたGoogle CloudのIceberg「BigLake tables for Apache Iceberg in BigQuery」を試しつつ気になるトピックを調べてみた
渡部晃季
2025.06.25
Google Cloudで「AthenaからS3に対してクエリ」みたいなことをやるにはどうやる？Google Cloudで「AthenaからS3に対してクエリ」みたいなことをやるにはどうやる？
渡部晃季
2025.06.11
「AWS Lake Formationへの恐怖心はこれで解消！肝の3つを理解する」というタイトルで社内でお話したので資料公開します「AWS Lake Formationへの恐怖心はこれで解消！肝の3つを理解する」というタイトルで社内でお話したので資料公開します
渡部晃季
2025.04.07
「AWS Lake Formationをざっくり解説」というタイトルで社内でお話したので資料公開します「AWS Lake Formationをざっくり解説」というタイトルで社内でお話したので資料公開します
渡部晃季
2025.04.06
S3メタデータからAthena UDFを使用して署名付きURLを生成してみたS3メタデータからAthena UDFを使用して署名付きURLを生成してみた
渡部晃季
2025.04.04
miseでTerraformを使う際のparse-legacy-fileエラーとその解決方法miseでTerraformを使う際のparse-legacy-fileエラーとその解決方法
渡部晃季
2025.03.29
Lake FormationでLFタグ方式・リソース方式を使用しつつ、行列データアクセス制御をしてみたLake FormationでLFタグ方式・リソース方式を使用しつつ、行列データアクセス制御をしてみた
渡部晃季
2025.02.09
【Informatica CDGC】Redshiftで作成したViewはどのようにデータカタログCDGCで表示されるのか確認してみた【Informatica CDGC】Redshiftで作成したViewはどのようにデータカタログCDGCで表示されるのか確認してみた
渡部晃季
2025.01.01
【Informatica CDGC】ノーコードとSQLのマッピングを比較して、データリネージュに違いがあるのか検証してみた【Informatica CDGC】ノーコードとSQLのマッピングを比較して、データリネージュに違いがあるのか検証してみた
渡部晃季
2024.12.29
[レポート]Amazon Redshiftで生成AIのためのデータ戦略を構築 #AWSreInvent[レポート]Amazon Redshiftで生成AIのためのデータ戦略を構築 #AWSreInvent
渡部晃季
2024.12.23
[レポート]Apache Iceberg を使用してリアルタイムの洞察のためのオープンテーブルデータレイクを構築する #AWSreInvent[レポート]Apache Iceberg を使用してリアルタイムの洞察のためのオープンテーブルデータレイクを構築する #AWSreInvent
渡部晃季
2024.12.19
[レポート]生成AIのためのデータカタログとガバナンス #AWSreInvent[レポート]生成AIのためのデータカタログとガバナンス #AWSreInvent
渡部晃季
2024.12.15
[レポート]Amazon DataZoneでデータメッシュの構築とガバナンスを実現 #AWSreInvent[レポート]Amazon DataZoneでデータメッシュの構築とガバナンスを実現 #AWSreInvent
渡部晃季
2024.12.15
ブログに写真が載せられない！画像形式の変更とリサイズをしてみた #AWSreInventブログに写真が載せられない！画像形式の変更とリサイズをしてみた #AWSreInvent
渡部晃季
2024.12.15
[レポート][新機能]Amazon SageMaker LakehouseとAmazon RedshiftへのZero-ETLレプリケーション #AWSreInvent[レポート][新機能]Amazon SageMaker LakehouseとAmazon RedshiftへのZero-ETLレプリケーション #AWSreInvent
渡部晃季
2024.12.15
「データ、分析、AIの中心！ 新サービスAmazon SageMaker platform」というタイトルでre:Growth 2024 東京に登壇しました #cmregrowth「データ、分析、AIの中心！ 新サービスAmazon SageMaker platform」というタイトルでre:Growth 2024 東京に登壇しました #cmregrowth
渡部晃季
2024.12.10
[レポート]AWSにおけるエンドツーエンドのデータ統合とデータエンジニアリング #AWSreInvent[レポート]AWSにおけるエンドツーエンドのデータ統合とデータエンジニアリング #AWSreInvent
渡部晃季
2024.12.08
[レポート]AWSにおけるデータ分析のコスト最適化 #AWSreInvent[レポート]AWSにおけるデータ分析のコスト最適化 #AWSreInvent
渡部晃季
2024.12.07
[レポート]アナリティクスとガバナンスの新機能を探る #AWSreInvent[レポート]アナリティクスとガバナンスの新機能を探る #AWSreInvent
渡部晃季
2024.12.06
【Inforamtica CIH】データハブのデータ保持期間を過ぎてしまった場合の挙動を検証してみた【Inforamtica CIH】データハブのデータ保持期間を過ぎてしまった場合の挙動を検証してみた
渡部晃季
2024.12.01
【Informatica】IPUの消費量アラートが設定できるようになりました【Informatica】IPUの消費量アラートが設定できるようになりました
渡部晃季
2024.11.10
【Informatica Data Ingestion】タスクフローから取り込みタスクの設定値を上書きして、ファイル取り込みの並列実行ができるか試してみた【Informatica Data Ingestion】タスクフローから取り込みタスクの設定値を上書きして、ファイル取り込みの並列実行ができるか試してみた
渡部晃季
2024.10.31
【Informatica Data Ingestion】ファイル取り込みタスクを使用してセッションログをS3に移送してみた【Informatica Data Ingestion】ファイル取り込みタスクを使用してセッションログをS3に移送してみた
渡部晃季
2024.10.30
【Informatica CDI】セッションログの名前を変えてログ探索を簡略化しよう【Informatica CDI】セッションログの名前を変えてログ探索を簡略化しよう
渡部晃季
2024.10.25
【Informatica CDI】セッションログのライフサイクルまとめ：出力から保持、削除まで【Informatica CDI】セッションログのライフサイクルまとめ：出力から保持、削除まで
渡部晃季
2024.10.24
【CDI】パラメータファイルがS3に配置できるようになっていました【CDI】パラメータファイルがS3に配置できるようになっていました
渡部晃季
2024.09.24
【CDI】データの値によって動的に複数のS3ファイルを作成し、振り分けて出力させてみた【CDI】データの値によって動的に複数のS3ファイルを作成し、振り分けて出力させてみた
渡部晃季
2024.09.24
IICS(CDI) Mapping Designer入門 〜SQL transformation編〜IICS(CDI) Mapping Designer入門 〜SQL transformation編〜
渡部晃季
2024.09.23
【CDI】DBへのデータ書き込みをロールバックさせる方法【CDI】DBへのデータ書き込みをロールバックさせる方法
渡部晃季
2024.09.05
【CDI】異常終了時に通知メールへジョブインスタンス名を記載することはできますか？【CDI】異常終了時に通知メールへジョブインスタンス名を記載することはできますか？
渡部晃季
2024.08.28
「Informaticaのデータガバナンス&データカタログサービス 「CDGC」入門」というタイトルでDevelopersIO 2024に登壇しました #devio2024「Informaticaのデータガバナンス&データカタログサービス 「CDGC」入門」というタイトルでDevelopersIO 2024に登壇しました #devio2024
渡部晃季
2024.07.25
【CDGC】IDMC Metadataを使ってインフォマティカで作成したETLのリネージュを取得してみた【CDGC】IDMC Metadataを使ってインフォマティカで作成したETLのリネージュを取得してみた
渡部晃季
2024.07.08
【CDGC】インフォマティカのデータカタログでRedshift ServerlessとS3をスキャンしてみた【CDGC】インフォマティカのデータカタログでRedshift ServerlessとS3をスキャンしてみた
渡部晃季
2024.07.07
Redshiftの動的データマスキング(DDM)でSUPER型のデータをマスキングしてみたRedshiftの動的データマスキング(DDM)でSUPER型のデータをマスキングしてみた
渡部晃季
2024.06.24
【CDI】データ連携のコスト最適化をしよう！SQL ELT Optimizationの使いどころ【CDI】データ連携のコスト最適化をしよう！SQL ELT Optimizationの使いどころ
渡部晃季
2024.06.18
【CAI】InformaticaでRedshiftからデータ取得する外部公開APIを作成してみた【CAI】InformaticaでRedshiftからデータ取得する外部公開APIを作成してみた
渡部晃季
2024.06.11
【CDI】InformaticaでソースデータをリクエストパラメータとしてSOAP APIを実行して、レスポンスをデータ連携する【CDI】InformaticaでソースデータをリクエストパラメータとしてSOAP APIを実行して、レスポンスをデータ連携する
渡部晃季
2024.05.23
【CAI】Informaticaでのクエリパラメータを使用したAPI連携プロセス作成方法のご紹介【CAI】Informaticaでのクエリパラメータを使用したAPI連携プロセス作成方法のご紹介
渡部晃季
2024.02.20
【CAI】API開発の流れを整理しつつ、データアクセスサービスコネクタでDBから値を取得してみた【CAI】API開発の流れを整理しつつ、データアクセスサービスコネクタでDBから値を取得してみた
渡部晃季
2024.02.19
【CDI】Informatica Cloud Data IntegrationでParamSetCliを使ってタスクフロー起動時にパラメータセットから値を取得してみた【CDI】Informatica Cloud Data IntegrationでParamSetCliを使ってタスクフロー起動時にパラメータセットから値を取得してみた
渡部晃季
2024.01.24
【CDI】Informatica Cloud Data Integrationのジョブ実行結果通知とステータスについて【CDI】Informatica Cloud Data Integrationのジョブ実行結果通知とステータスについて
渡部晃季
2023.12.07
【CDI】Informatica Cloud Data IntegrationのパフォーマンスをUPさせよう！推奨設定を4つご紹介【CDI】Informatica Cloud Data IntegrationのパフォーマンスをUPさせよう！推奨設定を4つご紹介
渡部晃季
2023.11.13
【CIH】Informatica Cloud Data Integrationの導入後にCloud Integration Hubを導入する際の改修ポイントについて検討してみた【CIH】Informatica Cloud Data Integrationの導入後にCloud Integration Hubを導入する際の改修ポイントについて検討してみた
渡部晃季
2023.10.04
【CIH】データのスパゲティ化を回避せよ！データ統合ハブ「Informatica Cloud Integration Hub」の概要を改めて理解する【CIH】データのスパゲティ化を回避せよ！データ統合ハブ「Informatica Cloud Integration Hub」の概要を改めて理解する
渡部晃季
2023.10.02
【CDI】Informatica Cloud Data Integrationでターゲットファイルを作成せずに入出力パラメータに値を代入する方法【CDI】Informatica Cloud Data Integrationでターゲットファイルを作成せずに入出力パラメータに値を代入する方法
渡部晃季
2023.10.01
Informatica World Tour 2023に行ってきた！〜AIエンジン「CLAIRE」とPowerCenterのクラウドモダナイゼーション〜Informatica World Tour 2023に行ってきた！〜AIエンジン「CLAIRE」とPowerCenterのクラウドモダナイゼーション〜
渡部晃季
2023.09.21
【CDI】Informatica Cloud Data Integrationでエラー発生時のリトライ機能を実装してみた【CDI】Informatica Cloud Data Integrationでエラー発生時のリトライ機能を実装してみた
渡部晃季
2023.05.09
【CDI】Informatica Cloud Data Integrationで、ソースのスキーマを自動的に読み込めるという「スキーマ変更処理」を検証してみた【CDI】Informatica Cloud Data Integrationで、ソースのスキーマを自動的に読み込めるという「スキーマ変更処理」を検証してみた
渡部晃季
2023.05.02
クラスメソッドにジョインしました、渡部です。クラスメソッドにジョインしました、渡部です。
渡部晃季
2023.04.03