developersIO

渡部晃季

nabekou

55

Posts

渡部晃季が執筆した記事

AWS Data Processing MCP Serverで自然言語からデータ探索・ETL作成を試してみた

2025.09.17

データエンジニアの自分がジョブを作る時に意識していること

2025.09.16

HCP TerraformでWorking Directoryを設定したVCS Triggerとapplyをやってみた

2025.09.04

【Informatica Data Quality】インフォマティカで始めるジオコーディング

2025.08.26

BigQueryでの権限制御まとめ〜承認済みビュー・承認済みデータセット・行列アクセス制御・データマスキング〜

2025.08.24

[アップデート]S3メタデータテーブルはジャーナルテーブルに改名し、新たにライブインベントリテーブルが誕生、既存オブジェクトとメタデータを一覧化できるようになりました

2025.07.16

Google CloudのIceberg「BigLake tables for Apache Iceberg in BigQuery」を試しつつ気になるトピックを調べてみた

2025.06.25

Google Cloudで「AthenaからS3に対してクエリ」みたいなことをやるにはどうやる？

2025.06.11

「AWS Lake Formationへの恐怖心はこれで解消！肝の3つを理解する」というタイトルで社内でお話したので資料公開します

2025.04.07

「AWS Lake Formationをざっくり解説」というタイトルで社内でお話したので資料公開します

2025.04.06

S3メタデータからAthena UDFを使用して署名付きURLを生成してみた

2025.04.04

miseでTerraformを使う際のparse-legacy-fileエラーとその解決方法

2025.03.29

Lake FormationでLFタグ方式・リソース方式を使用しつつ、行列データアクセス制御をしてみた

2025.02.09

【Informatica CDGC】Redshiftで作成したViewはどのようにデータカタログCDGCで表示されるのか確認してみた

2025.01.01

【Informatica CDGC】ノーコードとSQLのマッピングを比較して、データリネージュに違いがあるのか検証してみた

2024.12.29

[レポート]Amazon Redshiftで生成AIのためのデータ戦略を構築 #AWSreInvent

2024.12.23

[レポート]Apache Iceberg を使用してリアルタイムの洞察のためのオープンテーブルデータレイクを構築する #AWSreInvent

2024.12.19

[レポート]生成AIのためのデータカタログとガバナンス #AWSreInvent

2024.12.15

[レポート]Amazon DataZoneでデータメッシュの構築とガバナンスを実現 #AWSreInvent

2024.12.15

ブログに写真が載せられない！画像形式の変更とリサイズをしてみた #AWSreInvent

2024.12.15

[レポート][新機能]Amazon SageMaker LakehouseとAmazon RedshiftへのZero-ETLレプリケーション #AWSreInvent

2024.12.15

「データ、分析、AIの中心！新サービスAmazon SageMaker platform」というタイトルでre:Growth 2024 東京に登壇しました #cmregrowth

2024.12.10

[レポート]AWSにおけるエンドツーエンドのデータ統合とデータエンジニアリング #AWSreInvent

2024.12.08

[レポート]AWSにおけるデータ分析のコスト最適化 #AWSreInvent

2024.12.07

[レポート]アナリティクスとガバナンスの新機能を探る #AWSreInvent

2024.12.06

【Inforamtica CIH】データハブのデータ保持期間を過ぎてしまった場合の挙動を検証してみた

2024.12.01

【Informatica】IPUの消費量アラートが設定できるようになりました

2024.11.10

【Informatica Data Ingestion】タスクフローから取り込みタスクの設定値を上書きして、ファイル取り込みの並列実行ができるか試してみた

2024.10.31

【Informatica Data Ingestion】ファイル取り込みタスクを使用してセッションログをS3に移送してみた

2024.10.30

【Informatica CDI】セッションログの名前を変えてログ探索を簡略化しよう

2024.10.25

【Informatica CDI】セッションログのライフサイクルまとめ：出力から保持、削除まで

2024.10.24

【CDI】パラメータファイルがS3に配置できるようになっていました

2024.09.24

【CDI】データの値によって動的に複数のS3ファイルを作成し、振り分けて出力させてみた

2024.09.24

IICS(CDI) Mapping Designer入門〜SQL transformation編〜

2024.09.23

【CDI】DBへのデータ書き込みをロールバックさせる方法

2024.09.05

【CDI】異常終了時に通知メールへジョブインスタンス名を記載することはできますか？

2024.08.28

「Informaticaのデータガバナンス&データカタログサービス「CDGC」入門」というタイトルでDevelopersIO 2024に登壇しました #devio2024

2024.07.25

【CDGC】IDMC Metadataを使ってインフォマティカで作成したETLのリネージュを取得してみた

2024.07.08

【CDGC】インフォマティカのデータカタログでRedshift ServerlessとS3をスキャンしてみた

2024.07.07

Redshiftの動的データマスキング(DDM)でSUPER型のデータをマスキングしてみた

2024.06.24

【CDI】データ連携のコスト最適化をしよう！SQL ELT Optimizationの使いどころ

2024.06.18

【CAI】InformaticaでRedshiftからデータ取得する外部公開APIを作成してみた

2024.06.11

【CDI】InformaticaでソースデータをリクエストパラメータとしてSOAP APIを実行して、レスポンスをデータ連携する

2024.05.23

【CAI】Informaticaでのクエリパラメータを使用したAPI連携プロセス作成方法のご紹介

2024.02.20

【CAI】API開発の流れを整理しつつ、データアクセスサービスコネクタでDBから値を取得してみた

2024.02.19

【CDI】Informatica Cloud Data IntegrationでParamSetCliを使ってタスクフロー起動時にパラメータセットから値を取得してみた

2024.01.24

【CDI】Informatica Cloud Data Integrationのジョブ実行結果通知とステータスについて

2023.12.07

【CDI】Informatica Cloud Data IntegrationのパフォーマンスをUPさせよう！推奨設定を4つご紹介

2023.11.13

【CIH】Informatica Cloud Data Integrationの導入後にCloud Integration Hubを導入する際の改修ポイントについて検討してみた

2023.10.04

【CIH】データのスパゲティ化を回避せよ！データ統合ハブ「Informatica Cloud Integration Hub」の概要を改めて理解する

2023.10.02

【CDI】Informatica Cloud Data Integrationでターゲットファイルを作成せずに入出力パラメータに値を代入する方法

2023.10.01

Informatica World Tour 2023に行ってきた！〜AIエンジン「CLAIRE」とPowerCenterのクラウドモダナイゼーション〜

2023.09.21

【CDI】Informatica Cloud Data Integrationでエラー発生時のリトライ機能を実装してみた

2023.05.09

【CDI】Informatica Cloud Data Integrationで、ソースのスキーマを自動的に読み込めるという「スキーマ変更処理」を検証してみた

2023.05.02

クラスメソッドにジョインしました、渡部です。

2023.04.03

渡部晃季 | DevelopersIO