⚠ 現在一部機能を制限して運用しています

みかみ

mikami-yuki
152 Posts
BigQuery 管理の Iceberg テーブルを BigLake Metastore Iceberg REST カタログと連携して Spark ジョブからデータを参照してみた。
みかみ 2025/12/07
「生成AI「その前」に！マルチクラウド時代の信頼できるデータを支えるSnowflakeメタデータ活用術」というタイトルで登壇させていただきました #devio2025
みかみ 2025/09/30
Snowflake の通知統合を使ったら、秒でメール送信できてびっくりした話。
みかみ 2025/07/07
個人的にうれしかった 2024 年 BigQuery アップデート 7 選 #cm_google_cloud_adcal_2024
みかみ 2024/12/21
[Google Cloud] あの機能/サービスは今！？ #cm_google_cloud_adcal_2024
みかみ 2024/12/07
GCS ファイルのカスタムメタデータでバッチの処理ステータスを管理してみた。
みかみ 2024/10/31
BigQuery テーブルデータを Cloud Spanner にリバース ETL してみた。
みかみ 2024/10/19
GA になった BigQuery の history-based optimizations で SQL が最適化されるか確認してみた。
みかみ 2024/10/05
BigQuery サブスクリプションで、Pub/Sub メッセージを BigQuery に直接取り込んでみた。
みかみ 2024/09/28
transfer_manager で GCS へのファイルアップロードが高速化できるか確認してみた。
みかみ 2024/09/26
BigQuery テーブル作成イベントで、description の日本語をカラム名にしたビューをバッチ処理で作成してみた。
みかみ 2024/09/21
BigQuery テーブル更新トリガで、Dataplex のプロファイリングを実行してみた。
みかみ 2024/09/04
Google Cloud の不要リソースを Asset Inventory で断捨離してみた。
みかみ 2024/08/26
「クロスクラウドデータ管理の未来: BigLakeで実現するAWS S3とBigQueryのデータ統合戦略」というタイトルで登壇させていただきました #devio2024
みかみ 2024/07/17
愛すべき IT 系キャラクターやロゴたち
みかみ 2024/07/07
Cloud Functions と Secret Manager でサービスアカウントキーローテーションを自動化してみた。
みかみ 2024/06/29
Dataform CLI からテストコードを実行して、BigQuery UDF のユニットテストを実施してみる。
みかみ 2024/06/25
Dataplex で何ができるの？
みかみ 2024/06/18
BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。
みかみ 2024/06/12
Cloud Functions から Cloud Scheduler ジョブを作成/更新して、1つ目の関数実行から一定時間経過後に次の関数を実行してみた。
みかみ 2023/01/28
プロジェクト間でイベントルーティングして、別プロジェクトの BigQuery INSERT トリガで Cloud Functions を実行してみた。
みかみ 2023/01/13
イベント駆動できるようになった Storage Transfer Service で、S3 から GCS にファイル転送してみた。
みかみ 2022/12/31
BigQuery のデフォルトタイムゾーンを JST に変更してみた。
みかみ 2022/12/20
BigQuery へのデータ INSERT をトリガに、Cloud Functions を実行してみた。
みかみ 2022/11/23
Google Cloud Batch ジョブを VPC を指定して実行してみた。
みかみ 2022/11/10
Google Cloud に統合された Dataform を使って BigQuery にテーブル＆ビューを作成してみた。
みかみ 2022/09/26
Storage Transfer Service で AssumeRoleWithWebIdentity を使用して、キー情報なしで S3 から GCS にファイル転送してみた。
みかみ 2022/09/10
Data Validation Tool (DVT) で、BigQuery と Redshift のデータが一致してるか検証してみた。
みかみ 2022/08/06
沖縄の愛すべき看板たち
みかみ 2022/07/07
Cloud Asset Inventory で一般公開されたリソースを自動検出してみた。
みかみ 2022/06/01
BigQuery リモート関数で Natural Language API を使って、SQL でお客様レビューの感情分析してみた。
みかみ 2022/05/21
Google Cloud プロジェクトの既存リソースを Terraform コードに出力＆ドキュメントを作成する方法
みかみ 2022/03/18
ファイルや環境変数を読むように Cloud Functions から Secret Manager にアクセスしてみた。
みかみ 2022/03/01
Storage Transfer Service のログ出力を追加して、ファイル転送エラーをアラート通知してみた。
みかみ 2022/02/25
Cloud DLP で BigQuery テーブルの特定のカラムの機密情報をマスキングしてみた 〜カスタム infoType の指定方法を添えて〜
みかみ 2021/12/16
Cloud Functions で SFTP サーバから GCS にファイル転送してみた。
みかみ 2021/11/05