AWS DMS Serverlessはタスクを停止しても48時間はDCUを消費します

【登壇資料】 「DuckDBのデータエンジニア観点での使い道 (2025年5月版)」というタイトルで社内で登壇しました

DuckDBでCloudShellやローカルPCからIceberg tableへSelectしてみた

MotherDuckのMCP Serverを使ってCursorでのdbt ローカル開発を試してみた

[新機能] 入力しながら即座にクエリ結果確認ができるInstant SQLをDuckDB Local UIから試してみた

CloudShell上のDuckDBからVPC Peeringで別アカウントのRDS for MySQLに接続してみた

【小ネタ】 Amazon AthenaでのEXCEPTを使用したテーブルデータ差分比較

Snowflake AI & ML StudioでLLMサービスを試してみた

【小ネタ】 Amazon AthenaのMERGE INTOでIcebergテーブルへのソースデータ重複を検証

AWS LambdaでDuckDBとAWS Data Wrangler、Polarsの処理性能を比較してみた

SnowflakeのCortex Agentsを試してみた

【AWS CDK】 AWS Lake FormationのHybrid Access modeで権限管理

AWS Lake Formationを有効にした時の既存リソース(Glue,S3)へのアクセスについて整理してみる

【AWS CDK】 Glue L2 Construct alphaがリリースされたのでPython Shell Jobsで試してみる

Vertex AIのGemini 1.5 Proで動画ファイルから議事録を生成する

【CDK】AppFlowでSalesforceからS3へデータロード

【Informatica CDI】S3からSnowflakeへのデータロード

Amazon Athenaのパーティション射影でNOWを使用したyear/month/day パーティショニングの実装方法

DevcontainerでPostgreSQL学習環境を手軽に構築する

aws-samplesでCDKによるAmazon DataZoneの構築

Amazon DataZoneでデフォルトのデータレイクプロファイルで既存のS3 Bucketと連携しAthenaでクエリしてみた

Amazon DataZoneのワークショップをやってみて理解した概念をまとめてみる

【小ネタ】Amazon DataZoneのドメインを再作成して環境作成時にdata lake administrator: invalid principal detected. エラー

【小ネタ】Amazon Bedrock Knowledge Basesのデータソースの同期ボタンが反応しない時の対処法

AWS CDKとPythonでの開発環境をDevcontainerで作成

【初心者向け】S3バケット内の特定ファイルを一括で別フォルダに移動するコマンド

【CDK】Lambda Python で構造化された JSON ログをカスタムフォーマッターにしてみる

Informatica CLAIRE GPTを試してみた

【CDK】Glue Python Shellで自作関数を用いる方法

【CDK】EventBridgeとS3をマッチングして特定パス・ファイル名でトリガーを制御する方法

バージョニングファイルと処理済みファイルをタグ付けしてS3 ライフサイクルポリシーで削除

【CDK】Step FuctionsでLambdaを実行

【CDK】Step FuctionsでGlue Python Shellを実行

【CDK】Step FunctionsでS3のCOPY Objectを実行

クラスメソッドに入社してもうすぐ２年なのでエンジニアとしてどのように働き学んできたかを振り返る

Windowsインスタンスを構築してCloudWatch Alarmを試験してみる

S3の特定フォルダへのクロスアカウントアクセスをIAM Roleで制限する

Microsoft Copilot Proがリリースされたので試してみる

paho-mqttをpytestでmock化してみる

Googleスプレッドシートの英単語をクリックしたら音声で聞き取れる実装してみたが車輪の再発明だった件

【Python】ExcelのTable定義書からRedshift DDLを自動生成

gpt-4-vision-preview APIを使って画像からmdやjsonを生成してみる

【書評】世界一流エンジニアの思考法

【CDI】Informatica Cloud Data IntegrationでCSVデータ件数チェック処理の実装

【CDI】Informatica Cloud Data Integrationでハンズオン課題を考えてみた

【Informatica IDMC】Amazon S3 csvファイル ターゲット の形式オプション検証

【IICS】GitHub Actionsを使用したIICS JOB自動テスト

【小ネタ】シェルスクリプトからLambdaを呼び出す際のJSONエスケープエラーとその解決策

【Python】Excelへの画像挿入とサイズ調整の自動化

【IICS】マッピングのパラメータに現在日付を指定する方法

Azure Computer Visionを用いて日本語画像から文字を出力してみた

【new Bing】PDFが要約できるようなので試してみました

【S3 Bucketへのアクセス管理】 特定のIAM RoleにのみS3 Bucketへのアクセスを許可し、IAM User GroupとIAM Roleで厳密にスイッチングする方法

ChatGPTの履歴データがExportできるようになっていました

【レポート】モバイルアプリの新しいBing Preview版を使ってみた

【小ネタ】 IICS CDIの通知タスクでメール通知が送信されない場合の対処法

【Python】 loggingモジュールでLEVEL毎にファイルの出力先を変更しrotateさせる方法

IICS CDIのファイルリスナがS3へリスニングする際のAPIと料金について調べてみた

IICS CDIでNormalizer transformationを使用してカラム名やカラム順を変更してみた

IICS CDI Mappingでクエリ選択時にパラメータを使用する方法