BigQuery DataFramesを使ってみる

BigQueryでANY_VALUE関数とHAVING_MAX,HAVING_MIN句を使ってみる

APSchedulerをFastAPIで使ってみる

GCS to S3を極力マネージドサービスで実現してみる

aws-vaultでcliとterraformをいい感じにしてみる

パラメータストアに保存した接続情報を使ってGA4のAPIをPythonで実行してみる

BigQueryでS3上のデータをデータセットに取り込んでみる

CSA JMCでExcelファイルを取り込んでみる

smart_openでS3のオブジェクトをストリーミング処理してみる

S3 BigLakeでエクスポートを試してみる

Cloud workflowのワークフロー中で並列実行をしてみる

JupyterLabから簡単にS3にアクセスしてみる

IntellijのPluginでChatGPTを使って開発効率を上げる

Amplifyで構築したAppSync(GraphQL Transformer v2)へPythonで接続する

Cloud Workflowsでlistの関数を使ってリストを操作してみる

PythonでS3上の自作モジュールをスクリプト中で動的にインポートしてみる

Cloud Workflowsでget_type関数を使ってみる

API GatewayのWAF IPsetをTerraformで設定してみる

AmazonLinux2にJupyterHubを構築する

TerraformでAmazon Managed Workflows for Apache Airflow (MWAA)を簡単に構築してみる

Google Cloud Storageへストリーミングアップロードを行う

Cloud Composer(Airflow)でGCSTimeSpanFileTransformOperatorを使ってみる

redshift-connectorでRedshift Serverlessに繋いでみる

Cloud Composer(Airflow)でGCSFileTransformOperatorを使ってみる

Cloud FunctionsでSFTPサーバーからGCSへファイル転送する際のメモリ使用量を調べてみた

FastAPIをFargateで使ってみる

Cloud WorkflowsでBigQueryのクエリ結果を使ってみる

japanmapライブラリで都道府県データを可視化してみる

Google ColaboratoryでBigQueryのクエリ結果を扱ってみる

PythonでJSONPathを扱えるjsonpath-ngライブラリを使ってみる

BigQueryのコミュニティ提供のユーザー関数を使ってみる

ログベースのアラートがGAになっていました

Redshift IAM認証をVPC内部とそれ以外で絞ってみる

GoogleCloudStorageのライフサイクル管理にパスフィルター機能が追加されました

Redshift IAM認証でのユーザーの自動作成を試してみる

Cloud Workflowsでランタイム引数のデフォルト値を設定する

BigQuery Transfer ServiceのAmazon S3転送をPythonで操作する

Cloud WorkflowsでBigQuery Transfer Serviceを実行する

Cloud WorkflowsでBigQueryコネクタを使ってGCS→BQのワークフローを作成してみる

Cloud DataflowでGCS→BQのパイプラインをPythonで試してみる

PythonでLZHファイルを展開してみる

Intellijではboto3操作時のCredential設定が簡単です

pyodbcでBigQueryへ接続してみる

RedshiftのIAM認証を試してみる

[データアナリティクス事業本部] 田舎で子育てをするエンジニアのとある一日

OpenWeatherのAPIを使ってみる

BigQueryのQUALIFY句を使ってみる

Intellijのデータエディター集計機能を使ってみる

AWS Glue CrawlerでRedshiftをクロールするための設定をしてみた

sql-metadataを試してみる

RedshiftのSUPER型でUNNESTと大文字フィールド名を扱ってみる

CData SyncでRedshiftへレプリケーションする

[小ネタ]Pythonの日付操作で一時的にロケールを変更する

AWS DMSを使ってAurora MySQLのデータをS3に出力してみた

Raspberry PiとNode-REDでSwitchBotの温湿度計データを取得する

IntellijでGit Submoduleを使ってみる

BigQuery MLの時系列データで休日効果を使ってみる

Fargateから固定IPを使って外部サーバーへ接続する方法を調べてみた

BigQuery MLのARIMAモデルで時系列データを扱う

BigQueryの外部テーブルでAvroを扱った際にTIMESTAMPでハマった話