「データパイプラインの指揮者たち：Google Cloud オーケストレーションサービスの比較と実践」というタイトルで登壇しました #devio2024

Cloud Composer 3 環境を立ち上げてみた（Preview）

Cloud Composer でDAGの実行状況をSlackに通知したい

BigQuery のループ制御文の使いどころを自分なりに整理してみた

BigQuery で独自のマスキング ルーティンを作成できるようになりました（Preview）

BigQuery でクエリ結果をグラフ表示できるようになりました（Preview）

Cloud Composer で TriggerDagRunOperator を使ってDAGから別のDAGを呼び出す

BigQuery の正規表現関数の使いどころを自分なりに整理してみた

Cloud Composer で DAG の多重起動を防ぎたい

BigQuery でクエリ結果の並び替えができるようになりました（Preview）

Cloud Composer で GCS に特定のオブジェクトが存在する場合にタスクを実行させたい

Google Cloud Storage で削除されたフォルダを復元する

BigQuery でサポートされている疑似列を調べてみた

Cloud Storageトリガー で Cloud Functions 第2世代 を動かして GCS から SFTPサーバ にファイル転送してみた

Cloud Composer のバックエンドに Secret Manager を構成してシークレットにアクセスする

Cloud Composer で GCS から SFTP サーバ にファイル転送してみた　〜鍵認証編〜

Cloud Composer で GCS から SFTP サーバ にファイル転送してみた　〜パスワード認証編〜

BigQuery リモート関数で Cloud Translation API を使ってテキスト翻訳してみた

Cloud Data Fusion の Wrangler を使って文字コード変換してみた

Terraform でサクッと Cloud Data Fusion インスタンスを作成してみた

Cloud Data Fusion の HTTPプラグイン を使って BigQuery にデータを投入してみた

Cloud DLP で検出された機密データが格納されている場所を BigQuery で特定してみた

BigQuery のスケジューリングクエリが失敗した時だけSlackで通知したい

Google Workflows で Cloud Functions をスケジュール実行してみた

Cloud Functions と Amazon SES を連携させてメール送信を試してみた

SnowflakeのCOPYコマンドでON_ERRORオプションを試してみた

Snowflakeでウェアハウスの負荷監視を試してみた

Snowflakeのリソースモニターでクレジット監視を試してみた

Snowflakeでクレジットの使用状況を確認してみた　〜SQL編〜

Snowflakeでクレジットの使用状況を確認してみた　〜ウェブインターフェイス編〜

ThoughtSpotでキーワード検索によるグラフ表示を試してみた

Snowflakeでロード中のデータ変換を試してみた

Snowflakeでウェアハウスサイズを変更するとロード時間は変わるの？ 実際に試してみた

Snowflakeの新UI「Snowsight」でクエリ履歴を可視化してみた

Snowflakeの新UI「Snowsight」でロード履歴を可視化してみた

Snowflakeで定期的にCOPYコマンドを実行するタスクを作ってみた

SnowflakeのCOPYコマンドでステージのファイルにデータをアンロードしてみた

Snowflakeでステージにあるファイルのデータをクエリしてみた

SnowflakeのCOPYコマンド実行時にロードするファイルを指定してみた

Snowflakeでどのファイルをロードしたっけ？ LOAD_HISTORYビューで履歴を確認してみた

クラスメソッド データアナリティクス事業本部にジョインしましたエノカワです