Databricks Appsを触ってみた【Streamlit】

【Databricks】Iceberg REST catalogを利用してPyIcebergでアクセスしてみた

DatabricksでS3に外部テーブルとして作成したDeltaテーブルにローカル環境のPythonからアクセスしてみた

【Databricks】自然言語を用いて分析・可視化ができるAI/BI Genieを試してみた

AWS Glue for SparkからDatabricksのテーブルにアクセスしてみた

【Databricks】Auto LoaderとDLTを利用してS3に連携されるファイルで増分更新・洗い替えをしてみた

DatabricksのUnity Catalogを利用してS3にDelta Lakeを構築する

DatabricksのUnity Catalogを利用してS3のデータを外部テーブルとして読み込んでみた

Lambda+Glue+Step Functionsの構成をTerraformでデプロイしてみた

dbt Coreのモデル作成失敗時にSlack通知を行うLambda関数を作成する

dbt Coreで生成したドキュメントをCloudflare Pagesでホスティングしてみる

「オンプレとAWSをDirect Connectで接続したい」と言われたときの第一歩

Brazeの配列の消費データポイントをAPIを叩いて確認してみる

[小ネタ]dbt-databricksでINCONSISTENT_BEHAVIOR_CROSS_VERSION.DATETIME_WEEK_BASED_PATTERNエラーが発生したときの対処方法

DockerでローカルにIceberg + Spark環境を構築し、DBeaverで接続してみた

BigQueryでコミュニティUDFを利用してURLのパースを行ってみた

AWS STSの一時認証情報を利用してGASからS3のcsvに対してデータの読み書きをしてみた

Devcontainerを用いてPythonやAWS CDK・Serverless Frameworkなどのデプロイ環境の構築をしてみた

【AWS CDK】BucketDeploymentのpruneの設定値はデフォルトでtrueであることに注意しよう

【AWS CDK】LambdaのL1コンストラクトでlambda.Codeクラスを使ってデプロイする

【AWS CDK】Step Functions内のLambdaをGlue (Python Shell)に置き換えてみた

Serverless Frameworkの有償化に伴いAWS CDKとAWS SAMへの移行について検討してみた

AWS CDKでStep Functionsの定義をyamlで外出しして記載してみた

Lambda+Glue+Step Functionsの構成をAWS CDKでデプロイしてみた

【初心者向け・Python】VSCodeで特定のディレクトリのみ保存時に自動でBlackとisortのフォーマットをかける方法

S3にあるparquetファイルのメタデータのみにアクセスしてスキーマ情報を取得する

yqを利用してSAMのテンプレートファイルを分割する

Lambda+Glue+Step Functionsの構成をServerless FrameworkとAWS SAMのそれぞれでデプロイしてみた

Glueの実行時間が指定した値を超えた場合に通知を受け取る方法

S3間で容量の大きいファイルをBoto3を使ってコピーする際はmultipart_chunksizeに注意

dbtでモデルのconfigに設定された値を別のスクリプトから参照する方法

S3上のファイルの文字列置換を部分的にメモリに読み出しながら実施する方法

【Python】pandasでEUC-JPの全角ハイフンがUTF-8に上手く変換できない際の対処法

【Redshift】dbtのgeneric testを利用してdbtでモデル化されていないテーブルとの完全一致テストを実施する

dbt-datamocktoolを使ってテスト用の入出力ファイルを用いたモデルのロジックテストをしてみた

ECSとStep Functionsでdbtを動かし、Redshiftへデータを連携するデータパイプラインを構築する

dbtを手軽に試す！Dockerを利用してPostgreSQLと一緒に簡単セットアップ

[小ネタ]polarsのread_csvで全ての列を文字列型として読み込む方法

『dbtで始めるデータパイプライン構築〜入門から実践〜』をdbt Core (CLI)で実施する

Serverless Frameworkのserverless-step-functions pluginで起動トリガーにEventBridgeスケジューラが使用できるようになっていました

EventBridgeを時間指定で有効化/無効化するEventBridgeを作成する

Redshiftで簡単に特定のカラム以外をSELECTする方法

Glue (Python Shell)の一時ディレクトリの容量について

クラスメソッドに入社して1年が経ったので振り返ってみる

Lambda Layer用のawswrangler (AWS SDK for pandas)に含まれるPythonモジュールとバージョンを確認する

AWS CloudShellを利用して簡単にAWS Lambda (Python)のLambda Layerを作成する

AWS SDK for pandas (awswrangler)のredshift.to_sqlの利用ポイント

Lambda Layers用のawswranglerをpipでインストールする他のモジュールと同じLayersに含めてデプロイする

Amazon Neptune ServerlessでグラフDBを構築し、最短経路問題を解いてみた

Pythonで容量の大きいCSVファイルを指定したサイズの複数ファイルに分割する

Python 3.11で追加されたtomlibを使ってみる

Steampipeを利用してAWSリソースのリレーションを可視化してみた

EventBridgeスケジューラでRedshift Serverlessのスナップショットを作成するCloudFromationテンプレートを作成してみた

pytestとmotoを利用してAWSサービスのmockを使ったテストをしてみる

CodePipeline (Github version 2接続) とCodeDeployを利用したパイプラインをCloudFromationで作成してみた

MySQL 8.0.32にはUNION ALLをするとWHERE句で日本語が使えなくなるバグが存在します

API Gateway (REST) + LamndaをServerless Frameworkで構築し、pytestを使ってテストしてみる

スマホのNFCタッチで昼休みのSlack報告を楽にしてみた

LAN内からアクセス可能なMosquitto 2.0版をDockerで立ち上げる

Google ColaboratoryでSeleniumを使うための設定方法