[新機能] RedshiftのPIVOT/UNPIVOT機能を試してみた

[データアナリティクス事業本部] とある海外在住エンジニアの1日

psqlいらず？Redshift用CLIツールのAmazon Redshift RSQLを試してみた

Netflix社製のメタデータ管理OSS「Metacat」を試してみた

[Apache Hudi] 0.9.0の新機能まとめ

[Apache Hudi]新発表されたGlue3.0でApache Hudiを動かす

[Apache Hudi] Datadogと連携してメトリクスを表示する

[Apache Hudi x Athena 新機能] Merge On ReadテーブルをAthenaでクエリする

[Apache Hudi] ブートストラップ機能で作成したテーブルを、Amazon Athenaでクエリする

[Apache Hudi] Copy On Writeテーブルをクエリする

[Apache Hudi] Merge On Readテーブルを試してみる

AWS Glue Connector for Google BigQueryを使ってBigQueryからS3にデータを転送する

Glueジョブの引数にJSONを渡す方法

[Apache Hudi]Bootsrap機能を使ってデータを登録する

RedshiftにParquetファイルをCOPYしたい場合、S3バケットのリージョンに注意が必要です

Apache HudiのCopy On Writeテーブルを試してみる

AWS上でApache Hudiを動かし、Glueデータカタログと連携する

AWS上でApache Hudiを動かす

amazon-redshift-python-driverを使ってPythonからRedshiftに接続する

S3に同名のオブジェクトが複数存在する時に確認したい2つのポイント

Go言語(golang)で、Azure Blob Storageからファイルを取得する

Go言語(golang)でGoogle Cloud Storageへファイルをアップロードする

Go言語(golang)でGoogle Cloud Storageからファイルを取得する

pythonでファイルの文字コードをさくっと変換する

Go言語(golang)でShiftJISのファイルをutf-8に変換する

Go言語(golang)でS3へファイルをアップロードする

Go言語(golang)でS3からファイルを取得する

データアナリティクス事業本部 インテグレーション部にジョインした森脇です