k.uehara

uehara-kota

データアナリティクス事業本部所属。Pythonとデータ分析が好きです。

k.uehara

uehara-kota

53
Posts
238
Facebook Share
62
Twitter Share
206
はてブ
Loading...

k.ueharaが執筆した記事

S3間で容量の大きいファイルをBoto3を使ってコピーする際はmultipart_chunksizeに注意

k.uehara

2024.03.19

dbtでモデルのconfigに設定された値を別のスクリプトから参照する方法

k.uehara

2024.02.07

S3上のファイルの文字列置換を部分的にメモリに読み出しながら実施する方法

k.uehara

2024.02.02

【Python】pandasでEUC-JPの全角ハイフンがUTF-8に上手く変換できない際の対処法

k.uehara

2024.01.26

【Redshift】dbtのgeneric testを利用してdbtでモデル化されていないテーブルとの完全一致テストを実施する

k.uehara

2024.01.26

dbt-datamocktoolを使ってテスト用の入出力ファイルを用いたモデルのロジックテストをしてみた

k.uehara

2023.12.15

ECSとStep Functionsでdbtを動かし、Redshiftへデータを連携するデータパイプラインを構築する

k.uehara

2023.12.08

dbtを手軽に試す!Dockerを利用してPostgreSQLと一緒に簡単セットアップ

k.uehara

2023.12.01

[小ネタ]polarsのread_csvで全ての列を文字列型として読み込む方法

k.uehara

2023.11.28

『dbtで始めるデータパイプライン構築〜入門から実践〜』をdbt Core (CLI)で実施する

k.uehara

2023.11.27

Serverless Frameworkのserverless-step-functions pluginで起動トリガーにEventBridgeスケジューラが使用できるようになっていました

k.uehara

2023.11.15

EventBridgeを時間指定で有効化/無効化するEventBridgeを作成する

k.uehara

2023.11.15

Redshiftで簡単に特定のカラム以外をSELECTする方法

k.uehara

2023.11.13

Glue (Python Shell)の一時ディレクトリの容量について

k.uehara

2023.10.20

クラスメソッドに入社して1年が経ったので振り返ってみる

k.uehara

2023.10.19

Lambda Layer用のawswrangler (AWS SDK for pandas)に含まれるPythonモジュールとバージョンを確認する

k.uehara

2023.09.29

AWS CloudShellを利用して簡単にAWS Lambda (Python)のLambda Layerを作成する

k.uehara

2023.09.22

AWS SDK for pandas (awswrangler)のredshift.to_sqlの利用ポイント

k.uehara

2023.09.08

Lambda Layers用のawswranglerをpipでインストールする他のモジュールと同じLayersに含めてデプロイする

k.uehara

2023.08.25

Amazon Neptune ServerlessでグラフDBを構築し、最短経路問題を解いてみた

k.uehara

2023.08.04

Pythonで容量の大きいCSVファイルを指定したサイズの複数ファイルに分割する

k.uehara

2023.08.02

Python 3.11で追加されたtomlibを使ってみる

k.uehara

2023.08.02

Steampipeを利用してAWSリソースのリレーションを可視化してみた

k.uehara

2023.07.21

EventBridgeスケジューラでRedshift Serverlessのスナップショットを作成するCloudFromationテンプレートを作成してみた

k.uehara

2023.07.20

pytestとmotoを利用してAWSサービスのmockを使ったテストをしてみる

k.uehara

2023.07.13

CodePipeline (Github version 2接続) とCodeDeployを利用したパイプラインをCloudFromationで作成してみた

k.uehara

2023.07.03

MySQL 8.0.32にはUNION ALLをするとWHERE句で日本語が使えなくなるバグが存在します

k.uehara

2023.06.26

API Gateway (REST) + LamndaをServerless Frameworkで構築し、pytestを使ってテストしてみる

k.uehara

2023.05.30

スマホのNFCタッチで昼休みのSlack報告を楽にしてみた

k.uehara

2023.05.22

LAN内からアクセス可能なMosquitto 2.0版をDockerで立ち上げる

k.uehara

2023.05.15

Google ColaboratoryでSeleniumを使うための設定方法

k.uehara

2023.05.01

Backlogで「リンク付きの課題キーと件名」を取得するボタンを追加するChrome拡張機能を作ってみた

k.uehara

2023.04.26

ChatGPTのWebUIをローカル環境で実現できる「Chatbot UI」を試してみた

k.uehara

2023.04.19

[Python]ChatGPT API利用時に画面が欲しい方へ(Flask + XMLHttpRequest)

k.uehara

2023.04.18

Pythonを高速化する「Codon」コンパイラを使ってみた

k.uehara

2023.04.07

ChatGPT (GPT) が苦手な問題・試験って何なの?

k.uehara

2023.03.29

クラスメソッドに入社して半年が経ったので振り返ってみる

k.uehara

2023.03.23

ChatGPTにIF仕様からDDLとテストデータを作ってもらう

k.uehara

2023.03.20

AWS CloudShellの永続ストレージにPython 3.9をインストールする

k.uehara

2023.03.08

Redshiftで各テーブルのカラム毎の利用ブロック数を確認する

k.uehara

2023.03.07

Redshiftでテーブルのカラム番号・名前・型・桁数を抽出する

k.uehara

2023.02.21

Athenaでカンマ区切りの複数カラムのデータを縦持ちにする

k.uehara

2023.02.17

【BigQuery】列データからJSON文字列を作成する

k.uehara

2023.01.12

AWS Lambda PythonでSeleniumを使える環境を構築する

k.uehara

2022.12.26

Pythonで既存ファイルを考慮してファイル名の連番をつける

k.uehara

2022.12.08

dockerでSFTPサーバーを作成し、Pythonで作成した一時ファイルをアップロードしてみた

k.uehara

2022.12.06

dockerでFTPサーバーを作成し、PythonとSSMのパラメーターストアを利用してファイルのアップロードをしてみた

k.uehara

2022.12.05

Digdagにおけるrequireオペレータ使用時のretry挙動を理解する

k.uehara

2022.10.21

Athenaで文字列として格納されたJSON形式のカラムを別テーブルに展開する

k.uehara

2022.10.14

Amazon Rekognitionのラベル検出(画像認識)結果をPillowを使って可視化してみる

k.uehara

2022.10.13

S3上のCSVをAthenaでクエリ操作してみた(Boto3対応)

k.uehara

2022.10.13

Boto3におけるセッション開始時のMFAを省略する

k.uehara

2022.10.13

データアナリティクス事業本部 ビジネスソリューション部にジョインしたueharaです!

k.uehara

2022.10.03