developersIO
好きなRDBMSはMySQLです。

みかみmikami-yuki

月別投稿数

152Posts
BigQuery 管理の Iceberg テーブルを BigLake Metastore Iceberg REST カタログと連携して Spark ジョブからデータを参照してみた。
みかみ
2025.12.07
「生成AI「その前」に！マルチクラウド時代の信頼できるデータを支えるSnowflakeメタデータ活用術」というタイトルで登壇させていただきました #devio2025
みかみ
2025.09.30
Snowflake の通知統合を使ったら、秒でメール送信できてびっくりした話。
みかみ
2025.07.07
個人的にうれしかった 2024 年 BigQuery アップデート 7 選 #cm_google_cloud_adcal_2024
みかみ
2024.12.21
[Google Cloud] あの機能/サービスは今！？ #cm_google_cloud_adcal_2024
みかみ
2024.12.07
GCS ファイルのカスタムメタデータでバッチの処理ステータスを管理してみた。
みかみ
2024.10.31
BigQuery テーブルデータを Cloud Spanner にリバース ETL してみた。
みかみ
2024.10.19
GA になった BigQuery の history-based optimizations で SQL が最適化されるか確認してみた。
みかみ
2024.10.05
BigQuery サブスクリプションで、Pub/Sub メッセージを BigQuery に直接取り込んでみた。
みかみ
2024.09.28
transfer_manager で GCS へのファイルアップロードが高速化できるか確認してみた。
みかみ
2024.09.26
BigQuery テーブル作成イベントで、description の日本語をカラム名にしたビューをバッチ処理で作成してみた。
みかみ
2024.09.21
BigQuery テーブル更新トリガで、Dataplex のプロファイリングを実行してみた。
みかみ
2024.09.04
Google Cloud の不要リソースを Asset Inventory で断捨離してみた。
みかみ
2024.08.26
「クロスクラウドデータ管理の未来: BigLakeで実現するAWS S3とBigQueryのデータ統合戦略」というタイトルで登壇させていただきました #devio2024
みかみ
2024.07.17
愛すべき IT 系キャラクターやロゴたち
みかみ
2024.07.07
Cloud Functions と Secret Manager でサービスアカウントキーローテーションを自動化してみた。
みかみ
2024.06.29
Dataform CLI からテストコードを実行して、BigQuery UDF のユニットテストを実施してみる。
みかみ
2024.06.25
Dataplex で何ができるの？
みかみ
2024.06.18
BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。
みかみ
2024.06.12
Cloud Functions から Cloud Scheduler ジョブを作成/更新して、1つ目の関数実行から一定時間経過後に次の関数を実行してみた。
みかみ
2023.01.28
プロジェクト間でイベントルーティングして、別プロジェクトの BigQuery INSERT トリガで Cloud Functions を実行してみた。
みかみ
2023.01.13
イベント駆動できるようになった Storage Transfer Service で、S3 から GCS にファイル転送してみた。
みかみ
2022.12.31
BigQuery のデフォルトタイムゾーンを JST に変更してみた。
みかみ
2022.12.20
BigQuery へのデータ INSERT をトリガに、Cloud Functions を実行してみた。
みかみ
2022.11.23
Google Cloud Batch ジョブを VPC を指定して実行してみた。
みかみ
2022.11.10
Google Cloud に統合された Dataform を使って BigQuery にテーブル＆ビューを作成してみた。
みかみ
2022.09.26
Storage Transfer Service で AssumeRoleWithWebIdentity を使用して、キー情報なしで S3 から GCS にファイル転送してみた。
みかみ
2022.09.10
Data Validation Tool (DVT) で、BigQuery と Redshift のデータが一致してるか検証してみた。
みかみ
2022.08.06
沖縄の愛すべき看板たち
みかみ
2022.07.07
Cloud Asset Inventory で一般公開されたリソースを自動検出してみた。
みかみ
2022.06.01
BigQuery リモート関数で Natural Language API を使って、SQL でお客様レビューの感情分析してみた。
みかみ
2022.05.21
Google Cloud プロジェクトの既存リソースを Terraform コードに出力＆ドキュメントを作成する方法
みかみ
2022.03.18
ファイルや環境変数を読むように Cloud Functions から Secret Manager にアクセスしてみた。
みかみ
2022.03.01
Storage Transfer Service のログ出力を追加して、ファイル転送エラーをアラート通知してみた。
みかみ
2022.02.25
Cloud DLP で BigQuery テーブルの特定のカラムの機密情報をマスキングしてみた 〜カスタム infoType の指定方法を添えて〜
みかみ
2021.12.16
Cloud Functions で SFTP サーバから GCS にファイル転送してみた。
みかみ
2021.11.05
Secret Manager に保存した機密情報を、Cloud Functions の Python コードから取得してみた。
みかみ
2021.10.18
Cloud Functions 関数の IP を固定してみた。
みかみ
2021.10.08
Google Workflows で、BigQuery に SQL を実行するサーバレスなバッチ処理を実装してみた。
みかみ
2021.09.25
沖縄で釣れる魚
みかみ
2021.07.07
BigQuery でトランザクション処理がサポート開始！！
みかみ
2021.07.02
Airflow Study #1 「Airflowの内部構造と動かし方を理解する」で LT してきました
みかみ
2021.06.24
BigQuery で SQL を実行する時に便利なオプション７選
みかみ
2021.06.18
BigQuery に Shift-JIS ファイルのデータをロードするには？
みかみ
2021.06.15
データ統合基盤 CS アナリティクスでデータ出力機能をリリースしました
みかみ
2021.06.11
Cloud DLP で半角カタカナや難読苗字は検出できる？ 〜カスタム辞書の登録方法を添えて〜
みかみ
2021.06.08
漢字でもOK？！ DLP API で個人情報をマスキングしてから BigQuery にロードしてみた。
みかみ
2021.06.02
Cloud DLP を使って BigQuery の個人情報を検出してみた。
みかみ
2021.06.01
BigQuery の ALTER 文でテーブル名が変更できるようになったので挙動を確認してみた！
みかみ
2021.05.20
Google Apps Script でスプレッドシートデータを CSV にして GCS に出力してみた。
みかみ
2021.04.29
BigQuery テーブルチューニングに効果的なクラスタリングが、既存テーブルにも追加できるようになりました！
みかみ
2021.04.23
BigQuey の SQL チューニングや Slot 利用状況確認に BQ Visualizer を使ったら便利でした。
みかみ
2021.04.16
BigQuery で INFORMATION_SCHEMA から CREATE TABLE 文が取得できるようになりました！
みかみ
2021.04.07
AI Platform Notebooks を使って、さくっとノートブック環境を立ち上げて BigQuery にアクセスしてみた
みかみ
2021.03.09
BigQuery で GCS 外部テーブルにもキャッシュが使えるようになったので、どのくらい速くなるのか確認してみた
みかみ
2021.02.18
CS アナリティクスでは BigQuery のテーブルや UDF などの情報も一覧表示で確認できます
みかみ
2021.02.12
Google Apps Script で BigQuery のテーブル定義をスプレッドシートに自動で出力してみた
みかみ
2021.02.04
テーブル作成めんどくさくないですか？　CS アナリティクスで BigQuery のテーブルを自動作成してみた
みかみ
2021.02.02
マルチタブ対応！BigQuery の管理コンソールが新しくなったので使い勝手を確かめてみた
みかみ
2021.01.20
2020 年の BigQuery リリースまとめ
みかみ
2020.12.24
1
2
3