Lambda+Glue+Step Functionsの構成をTerraformでデプロイしてみた

dbt Coreのモデル作成失敗時にSlack通知を行うLambda関数を作成する

dbt Coreで生成したドキュメントをCloudflare Pagesでホスティングしてみる

「オンプレとAWSをDirect Connectで接続したい」と言われたときの第一歩

Brazeの配列の消費データポイントをAPIを叩いて確認してみる

[小ネタ]dbt-databricksでINCONSISTENT_BEHAVIOR_CROSS_VERSION.DATETIME_WEEK_BASED_PATTERNエラーが発生したときの対処方法

DockerでローカルにIceberg + Spark環境を構築し、DBeaverで接続してみた

BigQueryでコミュニティUDFを利用してURLのパースを行ってみた

AWS STSの一時認証情報を利用してGASからS3のcsvに対してデータの読み書きをしてみた

Devcontainerを用いてPythonやAWS CDK・Serverless Frameworkなどのデプロイ環境の構築をしてみた

【AWS CDK】BucketDeploymentのpruneの設定値はデフォルトでtrueであることに注意しよう

【AWS CDK】LambdaのL1コンストラクトでlambda.Codeクラスを使ってデプロイする

【AWS CDK】Step Functions内のLambdaをGlue (Python Shell)に置き換えてみた

Serverless Frameworkの有償化に伴いAWS CDKとAWS SAMへの移行について検討してみた

AWS CDKでStep Functionsの定義をyamlで外出しして記載してみた

Lambda+Glue+Step Functionsの構成をAWS CDKでデプロイしてみた

【初心者向け・Python】VSCodeで特定のディレクトリのみ保存時に自動でBlackとisortのフォーマットをかける方法

S3にあるparquetファイルのメタデータのみにアクセスしてスキーマ情報を取得する

yqを利用してSAMのテンプレートファイルを分割する

Lambda+Glue+Step Functionsの構成をServerless FrameworkとAWS SAMのそれぞれでデプロイしてみた

Glueの実行時間が指定した値を超えた場合に通知を受け取る方法

S3間で容量の大きいファイルをBoto3を使ってコピーする際はmultipart_chunksizeに注意

dbtでモデルのconfigに設定された値を別のスクリプトから参照する方法

S3上のファイルの文字列置換を部分的にメモリに読み出しながら実施する方法

【Python】pandasでEUC-JPの全角ハイフンがUTF-8に上手く変換できない際の対処法

【Redshift】dbtのgeneric testを利用してdbtでモデル化されていないテーブルとの完全一致テストを実施する

dbt-datamocktoolを使ってテスト用の入出力ファイルを用いたモデルのロジックテストをしてみた

ECSとStep Functionsでdbtを動かし、Redshiftへデータを連携するデータパイプラインを構築する

dbtを手軽に試す！Dockerを利用してPostgreSQLと一緒に簡単セットアップ

[小ネタ]polarsのread_csvで全ての列を文字列型として読み込む方法

『dbtで始めるデータパイプライン構築〜入門から実践〜』をdbt Core (CLI)で実施する

Serverless Frameworkのserverless-step-functions pluginで起動トリガーにEventBridgeスケジューラが使用できるようになっていました

EventBridgeを時間指定で有効化/無効化するEventBridgeを作成する

Redshiftで簡単に特定のカラム以外をSELECTする方法

Glue (Python Shell)の一時ディレクトリの容量について

クラスメソッドに入社して1年が経ったので振り返ってみる

Lambda Layer用のawswrangler (AWS SDK for pandas)に含まれるPythonモジュールとバージョンを確認する

AWS CloudShellを利用して簡単にAWS Lambda (Python)のLambda Layerを作成する

AWS SDK for pandas (awswrangler)のredshift.to_sqlの利用ポイント

Lambda Layers用のawswranglerをpipでインストールする他のモジュールと同じLayersに含めてデプロイする

Amazon Neptune ServerlessでグラフDBを構築し、最短経路問題を解いてみた

Pythonで容量の大きいCSVファイルを指定したサイズの複数ファイルに分割する

Python 3.11で追加されたtomlibを使ってみる

Steampipeを利用してAWSリソースのリレーションを可視化してみた

EventBridgeスケジューラでRedshift Serverlessのスナップショットを作成するCloudFromationテンプレートを作成してみた

pytestとmotoを利用してAWSサービスのmockを使ったテストをしてみる

CodePipeline (Github version 2接続) とCodeDeployを利用したパイプラインをCloudFromationで作成してみた

MySQL 8.0.32にはUNION ALLをするとWHERE句で日本語が使えなくなるバグが存在します

API Gateway (REST) + LamndaをServerless Frameworkで構築し、pytestを使ってテストしてみる

スマホのNFCタッチで昼休みのSlack報告を楽にしてみた

LAN内からアクセス可能なMosquitto 2.0版をDockerで立ち上げる

Google ColaboratoryでSeleniumを使うための設定方法

Backlogで「リンク付きの課題キーと件名」を取得するボタンを追加するChrome拡張機能を作ってみた

ChatGPTのWebUIをローカル環境で実現できる「Chatbot UI」を試してみた

[Python]ChatGPT API利用時に画面が欲しい方へ（Flask + XMLHttpRequest）

Pythonを高速化する「Codon」コンパイラを使ってみた

ChatGPT (GPT) が苦手な問題・試験って何なの？

クラスメソッドに入社して半年が経ったので振り返ってみる

ChatGPTにIF仕様からDDLとテストデータを作ってもらう

AWS CloudShellの永続ストレージにPython 3.9をインストールする