k.uehara
k.ueharaが執筆した記事
【AWS CDK】LambdaのL1コンストラクトでlambda.Codeクラスを使ってデプロイする
Serverless Frameworkの有償化に伴いAWS CDKとAWS SAMへの移行について検討してみた
AWS CDKでStep Functionsの定義をyamlで外出しして記載してみた
Lambda+Glue+Step Functionsの構成をAWS CDKでデプロイしてみた
S3にあるparquetファイルのメタデータのみにアクセスしてスキーマ情報を取得する
yqを利用してSAMのテンプレートファイルを分割する
Glueの実行時間が指定した値を超えた場合に通知を受け取る方法
S3間で容量の大きいファイルをBoto3を使ってコピーする際はmultipart_chunksizeに注意
dbtでモデルのconfigに設定された値を別のスクリプトから参照する方法
S3上のファイルの文字列置換を部分的にメモリに読み出しながら実施する方法
【Python】pandasでEUC-JPの全角ハイフンがUTF-8に上手く変換できない際の対処法
dbt-datamocktoolを使ってテスト用の入出力ファイルを用いたモデルのロジックテストをしてみた
dbtを手軽に試す!Dockerを利用してPostgreSQLと一緒に簡単セットアップ
[小ネタ]polarsのread_csvで全ての列を文字列型として読み込む方法
『dbtで始めるデータパイプライン構築〜入門から実践〜』をdbt Core (CLI)で実施する
EventBridgeを時間指定で有効化/無効化するEventBridgeを作成する
Redshiftで簡単に特定のカラム以外をSELECTする方法
Glue (Python Shell)の一時ディレクトリの容量について
クラスメソッドに入社して1年が経ったので振り返ってみる
AWS SDK for pandas (awswrangler)のredshift.to_sqlの利用ポイント
Amazon Neptune ServerlessでグラフDBを構築し、最短経路問題を解いてみた
Pythonで容量の大きいCSVファイルを指定したサイズの複数ファイルに分割する
Python 3.11で追加されたtomlibを使ってみる
Steampipeを利用してAWSリソースのリレーションを可視化してみた
pytestとmotoを利用してAWSサービスのmockを使ったテストをしてみる
MySQL 8.0.32にはUNION ALLをするとWHERE句で日本語が使えなくなるバグが存在します
スマホのNFCタッチで昼休みのSlack報告を楽にしてみた
LAN内からアクセス可能なMosquitto 2.0版をDockerで立ち上げる
Google ColaboratoryでSeleniumを使うための設定方法
Backlogで「リンク付きの課題キーと件名」を取得するボタンを追加するChrome拡張機能を作ってみた
ChatGPTのWebUIをローカル環境で実現できる「Chatbot UI」を試してみた
[Python]ChatGPT API利用時に画面が欲しい方へ(Flask + XMLHttpRequest)
Pythonを高速化する「Codon」コンパイラを使ってみた
ChatGPT (GPT) が苦手な問題・試験って何なの?
クラスメソッドに入社して半年が経ったので振り返ってみる
ChatGPTにIF仕様からDDLとテストデータを作ってもらう
AWS CloudShellの永続ストレージにPython 3.9をインストールする
Redshiftで各テーブルのカラム毎の利用ブロック数を確認する
Redshiftでテーブルのカラム番号・名前・型・桁数を抽出する
Athenaでカンマ区切りの複数カラムのデータを縦持ちにする
【BigQuery】列データからJSON文字列を作成する
AWS Lambda PythonでSeleniumを使える環境を構築する
Pythonで既存ファイルを考慮してファイル名の連番をつける
dockerでSFTPサーバーを作成し、Pythonで作成した一時ファイルをアップロードしてみた
Digdagにおけるrequireオペレータ使用時のretry挙動を理解する
Athenaで文字列として格納されたJSON形式のカラムを別テーブルに展開する