developersIO

渡部晃季(nabekou)

55Posts
AWS Data Processing MCP Serverで自然言語からデータ探索・ETL作成を試してみた
渡部晃季
2025.09.17
データエンジニアの自分がジョブを作る時に意識していること
渡部晃季
2025.09.16
HCP TerraformでWorking Directoryを設定したVCS Triggerとapplyをやってみた
渡部晃季
2025.09.04
【Informatica Data Quality】インフォマティカで始めるジオコーディング
渡部晃季
2025.08.26
BigQueryでの権限制御まとめ〜承認済みビュー・承認済みデータセット・行列アクセス制御・データマスキング〜
渡部晃季
2025.08.24
[アップデート]S3メタデータテーブルはジャーナルテーブルに改名し、新たにライブインベントリテーブルが誕生、既存オブジェクトとメタデータを一覧化できるようになりました
渡部晃季
2025.07.16
Google CloudのIceberg「BigLake tables for Apache Iceberg in BigQuery」を試しつつ気になるトピックを調べてみた
渡部晃季
2025.06.25
Google Cloudで「AthenaからS3に対してクエリ」みたいなことをやるにはどうやる？
渡部晃季
2025.06.11
「AWS Lake Formationへの恐怖心はこれで解消！肝の3つを理解する」というタイトルで社内でお話したので資料公開します
渡部晃季
2025.04.07
「AWS Lake Formationをざっくり解説」というタイトルで社内でお話したので資料公開します
渡部晃季
2025.04.06
S3メタデータからAthena UDFを使用して署名付きURLを生成してみた
渡部晃季
2025.04.04
miseでTerraformを使う際のparse-legacy-fileエラーとその解決方法
渡部晃季
2025.03.29
Lake FormationでLFタグ方式・リソース方式を使用しつつ、行列データアクセス制御をしてみた
渡部晃季
2025.02.09
【Informatica CDGC】Redshiftで作成したViewはどのようにデータカタログCDGCで表示されるのか確認してみた
渡部晃季
2025.01.01
【Informatica CDGC】ノーコードとSQLのマッピングを比較して、データリネージュに違いがあるのか検証してみた
渡部晃季
2024.12.29
[レポート]Amazon Redshiftで生成AIのためのデータ戦略を構築 #AWSreInvent
渡部晃季
2024.12.23
[レポート]Apache Iceberg を使用してリアルタイムの洞察のためのオープンテーブルデータレイクを構築する #AWSreInvent
渡部晃季
2024.12.19
[レポート]生成AIのためのデータカタログとガバナンス #AWSreInvent
渡部晃季
2024.12.15
[レポート]Amazon DataZoneでデータメッシュの構築とガバナンスを実現 #AWSreInvent
渡部晃季
2024.12.15
ブログに写真が載せられない！画像形式の変更とリサイズをしてみた #AWSreInvent
渡部晃季
2024.12.15
[レポート][新機能]Amazon SageMaker LakehouseとAmazon RedshiftへのZero-ETLレプリケーション #AWSreInvent
渡部晃季
2024.12.15
「データ、分析、AIの中心！ 新サービスAmazon SageMaker platform」というタイトルでre:Growth 2024 東京に登壇しました #cmregrowth
渡部晃季
2024.12.10
[レポート]AWSにおけるエンドツーエンドのデータ統合とデータエンジニアリング #AWSreInvent
渡部晃季
2024.12.08
[レポート]AWSにおけるデータ分析のコスト最適化 #AWSreInvent
渡部晃季
2024.12.07
[レポート]アナリティクスとガバナンスの新機能を探る #AWSreInvent
渡部晃季
2024.12.06
【Inforamtica CIH】データハブのデータ保持期間を過ぎてしまった場合の挙動を検証してみた
渡部晃季
2024.12.01
【Informatica】IPUの消費量アラートが設定できるようになりました
渡部晃季
2024.11.10
【Informatica Data Ingestion】タスクフローから取り込みタスクの設定値を上書きして、ファイル取り込みの並列実行ができるか試してみた
渡部晃季
2024.10.31
【Informatica Data Ingestion】ファイル取り込みタスクを使用してセッションログをS3に移送してみた
渡部晃季
2024.10.30
【Informatica CDI】セッションログの名前を変えてログ探索を簡略化しよう
渡部晃季
2024.10.25
【Informatica CDI】セッションログのライフサイクルまとめ：出力から保持、削除まで
渡部晃季
2024.10.24
【CDI】パラメータファイルがS3に配置できるようになっていました
渡部晃季
2024.09.24
【CDI】データの値によって動的に複数のS3ファイルを作成し、振り分けて出力させてみた
渡部晃季
2024.09.24
IICS(CDI) Mapping Designer入門 〜SQL transformation編〜
渡部晃季
2024.09.23
【CDI】DBへのデータ書き込みをロールバックさせる方法
渡部晃季
2024.09.05
【CDI】異常終了時に通知メールへジョブインスタンス名を記載することはできますか？
渡部晃季
2024.08.28
「Informaticaのデータガバナンス&データカタログサービス 「CDGC」入門」というタイトルでDevelopersIO 2024に登壇しました #devio2024
渡部晃季
2024.07.25
【CDGC】IDMC Metadataを使ってインフォマティカで作成したETLのリネージュを取得してみた
渡部晃季
2024.07.08
【CDGC】インフォマティカのデータカタログでRedshift ServerlessとS3をスキャンしてみた
渡部晃季
2024.07.07
Redshiftの動的データマスキング(DDM)でSUPER型のデータをマスキングしてみた
渡部晃季
2024.06.24
【CDI】データ連携のコスト最適化をしよう！SQL ELT Optimizationの使いどころ
渡部晃季
2024.06.18
【CAI】InformaticaでRedshiftからデータ取得する外部公開APIを作成してみた
渡部晃季
2024.06.11
【CDI】InformaticaでソースデータをリクエストパラメータとしてSOAP APIを実行して、レスポンスをデータ連携する
渡部晃季
2024.05.23
【CAI】Informaticaでのクエリパラメータを使用したAPI連携プロセス作成方法のご紹介
渡部晃季
2024.02.20
【CAI】API開発の流れを整理しつつ、データアクセスサービスコネクタでDBから値を取得してみた
渡部晃季
2024.02.19
【CDI】Informatica Cloud Data IntegrationでParamSetCliを使ってタスクフロー起動時にパラメータセットから値を取得してみた
渡部晃季
2024.01.24
【CDI】Informatica Cloud Data Integrationのジョブ実行結果通知とステータスについて
渡部晃季
2023.12.07
【CDI】Informatica Cloud Data IntegrationのパフォーマンスをUPさせよう！推奨設定を4つご紹介
渡部晃季
2023.11.13
【CIH】Informatica Cloud Data Integrationの導入後にCloud Integration Hubを導入する際の改修ポイントについて検討してみた
渡部晃季
2023.10.04
【CIH】データのスパゲティ化を回避せよ！データ統合ハブ「Informatica Cloud Integration Hub」の概要を改めて理解する
渡部晃季
2023.10.02
【CDI】Informatica Cloud Data Integrationでターゲットファイルを作成せずに入出力パラメータに値を代入する方法
渡部晃季
2023.10.01
Informatica World Tour 2023に行ってきた！〜AIエンジン「CLAIRE」とPowerCenterのクラウドモダナイゼーション〜
渡部晃季
2023.09.21
【CDI】Informatica Cloud Data Integrationでエラー発生時のリトライ機能を実装してみた
渡部晃季
2023.05.09
【CDI】Informatica Cloud Data Integrationで、ソースのスキーマを自動的に読み込めるという「スキーマ変更処理」を検証してみた
渡部晃季
2023.05.02
クラスメソッドにジョインしました、渡部です。
渡部晃季
2023.04.03