「クロスクラウドデータ管理の未来: BigLakeで実現するAWS S3とBigQueryのデータ統合戦略」というタイトルで登壇させていただきました #devio2024

愛すべき IT 系キャラクターやロゴたち

Cloud Functions と Secret Manager でサービスアカウントキーローテーションを自動化してみた。

Dataform CLI からテストコードを実行して、BigQuery UDF のユニットテストを実施してみる。

Dataplex で何ができるの？

BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。

Cloud Functions から Cloud Scheduler ジョブを作成/更新して、1つ目の関数実行から一定時間経過後に次の関数を実行してみた。

プロジェクト間でイベントルーティングして、別プロジェクトの BigQuery INSERT トリガで Cloud Functions を実行してみた。

イベント駆動できるようになった Storage Transfer Service で、S3 から GCS にファイル転送してみた。

BigQuery のデフォルトタイムゾーンを JST に変更してみた。

BigQuery へのデータ INSERT をトリガに、Cloud Functions を実行してみた。

Google Cloud Batch ジョブを VPC を指定して実行してみた。

Google Cloud に統合された Dataform を使って BigQuery にテーブル＆ビューを作成してみた。

Storage Transfer Service で AssumeRoleWithWebIdentity を使用して、キー情報なしで S3 から GCS にファイル転送してみた。

Data Validation Tool (DVT) で、BigQuery と Redshift のデータが一致してるか検証してみた。

沖縄の愛すべき看板たち

Cloud Asset Inventory で一般公開されたリソースを自動検出してみた。

BigQuery リモート関数で Natural Language API を使って、SQL でお客様レビューの感情分析してみた。

Google Cloud プロジェクトの既存リソースを Terraform コードに出力＆ドキュメントを作成する方法

ファイルや環境変数を読むように Cloud Functions から Secret Manager にアクセスしてみた。

Storage Transfer Service のログ出力を追加して、ファイル転送エラーをアラート通知してみた。

Cloud DLP で BigQuery テーブルの特定のカラムの機密情報をマスキングしてみた 〜カスタム infoType の指定方法を添えて〜

Cloud Functions で SFTP サーバから GCS にファイル転送してみた。

Secret Manager に保存した機密情報を、Cloud Functions の Python コードから取得してみた。

Cloud Functions 関数の IP を固定してみた。

Google Workflows で、BigQuery に SQL を実行するサーバレスなバッチ処理を実装してみた。

沖縄で釣れる魚

BigQuery でトランザクション処理がサポート開始！！

Airflow Study #1 「Airflowの内部構造と動かし方を理解する」で LT してきました

BigQuery で SQL を実行する時に便利なオプション７選

BigQuery に Shift-JIS ファイルのデータをロードするには？

データ統合基盤 CS アナリティクスでデータ出力機能をリリースしました

Cloud DLP で半角カタカナや難読苗字は検出できる？ 〜カスタム辞書の登録方法を添えて〜

漢字でもOK？！ DLP API で個人情報をマスキングしてから BigQuery にロードしてみた。

Cloud DLP を使って BigQuery の個人情報を検出してみた。

BigQuery の ALTER 文でテーブル名が変更できるようになったので挙動を確認してみた！

Google Apps Script でスプレッドシートデータを CSV にして GCS に出力してみた。

BigQuery テーブルチューニングに効果的なクラスタリングが、既存テーブルにも追加できるようになりました！

BigQuey の SQL チューニングや Slot 利用状況確認に BQ Visualizer を使ったら便利でした。

BigQuery で INFORMATION_SCHEMA から CREATE TABLE 文が取得できるようになりました！

AI Platform Notebooks を使って、さくっとノートブック環境を立ち上げて BigQuery にアクセスしてみた

BigQuery で GCS 外部テーブルにもキャッシュが使えるようになったので、どのくらい速くなるのか確認してみた

CS アナリティクスでは BigQuery のテーブルや UDF などの情報も一覧表示で確認できます

Google Apps Script で BigQuery のテーブル定義をスプレッドシートに自動で出力してみた

テーブル作成めんどくさくないですか？　CS アナリティクスで BigQuery のテーブルを自動作成してみた

マルチタブ対応！BigQuery の管理コンソールが新しくなったので使い勝手を確かめてみた

2020 年の BigQuery リリースまとめ

Bigtable にある位置情報を BigQuery Geo Viz で可視化してみた　～ IoT センサーから緯度経度データが送られてくるていで～

データ移動不要！Cloud SQL のマスタデータと BigQuery のトランザクションデータを結合して SQL で分析してみた。

Google スプレッドシートで管理しているデータを BigQuery から参照して SQL で集計してみた。

BigQuery のスケジューリングクエリって何がうれしいの？　～ 毎時 GCS データを集計するユースケースを想定して動かしてみた～

BigQuery のクエリプランを確認し、SQLを実行した時の裏側の処理に思いを馳せてみた

Cloud Composer で Airflow 環境を立ち上げて、GCS から BigQuery へのデータロードを実行してみた

エクセルファイルデータを Dataprep で BigQuery にロードして、SQL で参照してみた

ノンコーディングでデータを抽出・整形して BigQuery に格納できるデータプレパレーションツール Dataprep を使ってみた

Dataflow のテンプレートを利用して、Spanner のテーブルデータを BigQuery で参照してみた

Dataflow SQL で Pub/Sub のストリームデータと BigQuery のテーブルデータを結合してみた

Google Dataflow を使ってコーディング無しでテキストファイル内に出現する単語をカウントしてみた

BigQuery に日時データをロードすると UTC に変換されてしまう問題に「データ統合基盤 CS アナリティクス」で対応する

BigQuery のデータを「データ統合基盤 CS アナリティクス」を使って Google Cloud Storage にエクスポート