みかみ
好きなRDBMSはMySQLです。

みかみ

mikami-yuki
150
Posts

みかみが執筆した記事

Snowflake の通知統合を使ったら、秒でメール送信できてびっくりした話。Snowflake の通知統合を使ったら、秒でメール送信できてびっくりした話。
みかみ
2025.07.07
個人的にうれしかった 2024 年 BigQuery アップデート 7 選 #cm_google_cloud_adcal_2024個人的にうれしかった 2024 年 BigQuery アップデート 7 選 #cm_google_cloud_adcal_2024
みかみ
2024.12.21
[Google Cloud] あの機能/サービスは今！？ #cm_google_cloud_adcal_2024[Google Cloud] あの機能/サービスは今！？ #cm_google_cloud_adcal_2024
みかみ
2024.12.07
GCS ファイルのカスタムメタデータでバッチの処理ステータスを管理してみた。GCS ファイルのカスタムメタデータでバッチの処理ステータスを管理してみた。
みかみ
2024.10.31
BigQuery テーブルデータを Cloud Spanner にリバース ETL してみた。BigQuery テーブルデータを Cloud Spanner にリバース ETL してみた。
みかみ
2024.10.19
GA になった BigQuery の history-based optimizations で SQL が最適化されるか確認してみた。GA になった BigQuery の history-based optimizations で SQL が最適化されるか確認してみた。
みかみ
2024.10.05
BigQuery サブスクリプションで、Pub/Sub メッセージを BigQuery に直接取り込んでみた。BigQuery サブスクリプションで、Pub/Sub メッセージを BigQuery に直接取り込んでみた。
みかみ
2024.09.28
transfer_manager で GCS へのファイルアップロードが高速化できるか確認してみた。transfer_manager で GCS へのファイルアップロードが高速化できるか確認してみた。
みかみ
2024.09.26
BigQuery テーブル作成イベントで、description の日本語をカラム名にしたビューをバッチ処理で作成してみた。BigQuery テーブル作成イベントで、description の日本語をカラム名にしたビューをバッチ処理で作成してみた。
みかみ
2024.09.21
BigQuery テーブル更新トリガで、Dataplex のプロファイリングを実行してみた。BigQuery テーブル更新トリガで、Dataplex のプロファイリングを実行してみた。
みかみ
2024.09.04
Google Cloud の不要リソースを Asset Inventory で断捨離してみた。Google Cloud の不要リソースを Asset Inventory で断捨離してみた。
みかみ
2024.08.26
「クロスクラウドデータ管理の未来: BigLakeで実現するAWS S3とBigQueryのデータ統合戦略」というタイトルで登壇させていただきました #devio2024「クロスクラウドデータ管理の未来: BigLakeで実現するAWS S3とBigQueryのデータ統合戦略」というタイトルで登壇させていただきました #devio2024
みかみ
2024.07.17
愛すべき IT 系キャラクターやロゴたち愛すべき IT 系キャラクターやロゴたち
みかみ
2024.07.07
Cloud Functions と Secret Manager でサービスアカウントキーローテーションを自動化してみた。Cloud Functions と Secret Manager でサービスアカウントキーローテーションを自動化してみた。
みかみ
2024.06.29
Dataform CLI からテストコードを実行して、BigQuery UDF のユニットテストを実施してみる。Dataform CLI からテストコードを実行して、BigQuery UDF のユニットテストを実施してみる。
みかみ
2024.06.25
Dataplex で何ができるの？Dataplex で何ができるの？
みかみ
2024.06.18
BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。
みかみ
2024.06.12
Cloud Functions から Cloud Scheduler ジョブを作成/更新して、1つ目の関数実行から一定時間経過後に次の関数を実行してみた。Cloud Functions から Cloud Scheduler ジョブを作成/更新して、1つ目の関数実行から一定時間経過後に次の関数を実行してみた。
みかみ
2023.01.28
プロジェクト間でイベントルーティングして、別プロジェクトの BigQuery INSERT トリガで Cloud Functions を実行してみた。プロジェクト間でイベントルーティングして、別プロジェクトの BigQuery INSERT トリガで Cloud Functions を実行してみた。
みかみ
2023.01.13
イベント駆動できるようになった Storage Transfer Service で、S3 から GCS にファイル転送してみた。イベント駆動できるようになった Storage Transfer Service で、S3 から GCS にファイル転送してみた。
みかみ
2022.12.31
BigQuery のデフォルトタイムゾーンを JST に変更してみた。BigQuery のデフォルトタイムゾーンを JST に変更してみた。
みかみ
2022.12.20
BigQuery へのデータ INSERT をトリガに、Cloud Functions を実行してみた。BigQuery へのデータ INSERT をトリガに、Cloud Functions を実行してみた。
みかみ
2022.11.23
Google Cloud Batch ジョブを VPC を指定して実行してみた。Google Cloud Batch ジョブを VPC を指定して実行してみた。
みかみ
2022.11.10
Google Cloud に統合された Dataform を使って BigQuery にテーブル＆ビューを作成してみた。Google Cloud に統合された Dataform を使って BigQuery にテーブル＆ビューを作成してみた。
みかみ
2022.09.26
Storage Transfer Service で AssumeRoleWithWebIdentity を使用して、キー情報なしで S3 から GCS にファイル転送してみた。Storage Transfer Service で AssumeRoleWithWebIdentity を使用して、キー情報なしで S3 から GCS にファイル転送してみた。
みかみ
2022.09.10
Data Validation Tool (DVT) で、BigQuery と Redshift のデータが一致してるか検証してみた。Data Validation Tool (DVT) で、BigQuery と Redshift のデータが一致してるか検証してみた。
みかみ
2022.08.06
沖縄の愛すべき看板たち沖縄の愛すべき看板たち
みかみ
2022.07.07
Cloud Asset Inventory で一般公開されたリソースを自動検出してみた。Cloud Asset Inventory で一般公開されたリソースを自動検出してみた。
みかみ
2022.06.01
BigQuery リモート関数で Natural Language API を使って、SQL でお客様レビューの感情分析してみた。BigQuery リモート関数で Natural Language API を使って、SQL でお客様レビューの感情分析してみた。
みかみ
2022.05.21
Google Cloud プロジェクトの既存リソースを Terraform コードに出力＆ドキュメントを作成する方法Google Cloud プロジェクトの既存リソースを Terraform コードに出力＆ドキュメントを作成する方法
みかみ
2022.03.18
ファイルや環境変数を読むように Cloud Functions から Secret Manager にアクセスしてみた。ファイルや環境変数を読むように Cloud Functions から Secret Manager にアクセスしてみた。
みかみ
2022.03.01
Storage Transfer Service のログ出力を追加して、ファイル転送エラーをアラート通知してみた。Storage Transfer Service のログ出力を追加して、ファイル転送エラーをアラート通知してみた。
みかみ
2022.02.25
Cloud DLP で BigQuery テーブルの特定のカラムの機密情報をマスキングしてみた 〜カスタム infoType の指定方法を添えて〜Cloud DLP で BigQuery テーブルの特定のカラムの機密情報をマスキングしてみた 〜カスタム infoType の指定方法を添えて〜
みかみ
2021.12.16
Cloud Functions で SFTP サーバから GCS にファイル転送してみた。Cloud Functions で SFTP サーバから GCS にファイル転送してみた。
みかみ
2021.11.05
Secret Manager に保存した機密情報を、Cloud Functions の Python コードから取得してみた。Secret Manager に保存した機密情報を、Cloud Functions の Python コードから取得してみた。
みかみ
2021.10.18
Cloud Functions 関数の IP を固定してみた。Cloud Functions 関数の IP を固定してみた。
みかみ
2021.10.08
Google Workflows で、BigQuery に SQL を実行するサーバレスなバッチ処理を実装してみた。Google Workflows で、BigQuery に SQL を実行するサーバレスなバッチ処理を実装してみた。
みかみ
2021.09.25
沖縄で釣れる魚沖縄で釣れる魚
みかみ
2021.07.07
BigQuery でトランザクション処理がサポート開始！！BigQuery でトランザクション処理がサポート開始！！
みかみ
2021.07.02
Airflow Study #1 「Airflowの内部構造と動かし方を理解する」で LT してきましたAirflow Study #1 「Airflowの内部構造と動かし方を理解する」で LT してきました
みかみ
2021.06.24
BigQuery で SQL を実行する時に便利なオプション７選BigQuery で SQL を実行する時に便利なオプション７選
みかみ
2021.06.18
BigQuery に Shift-JIS ファイルのデータをロードするには？BigQuery に Shift-JIS ファイルのデータをロードするには？
みかみ
2021.06.15
データ統合基盤 CS アナリティクスでデータ出力機能をリリースしましたデータ統合基盤 CS アナリティクスでデータ出力機能をリリースしました
みかみ
2021.06.11
Cloud DLP で半角カタカナや難読苗字は検出できる？ 〜カスタム辞書の登録方法を添えて〜Cloud DLP で半角カタカナや難読苗字は検出できる？ 〜カスタム辞書の登録方法を添えて〜
みかみ
2021.06.08
漢字でもOK？！ DLP API で個人情報をマスキングしてから BigQuery にロードしてみた。漢字でもOK？！ DLP API で個人情報をマスキングしてから BigQuery にロードしてみた。
みかみ
2021.06.02
Cloud DLP を使って BigQuery の個人情報を検出してみた。Cloud DLP を使って BigQuery の個人情報を検出してみた。
みかみ
2021.06.01
BigQuery の ALTER 文でテーブル名が変更できるようになったので挙動を確認してみた！BigQuery の ALTER 文でテーブル名が変更できるようになったので挙動を確認してみた！
みかみ
2021.05.20
Google Apps Script でスプレッドシートデータを CSV にして GCS に出力してみた。Google Apps Script でスプレッドシートデータを CSV にして GCS に出力してみた。
みかみ
2021.04.29
BigQuery テーブルチューニングに効果的なクラスタリングが、既存テーブルにも追加できるようになりました！BigQuery テーブルチューニングに効果的なクラスタリングが、既存テーブルにも追加できるようになりました！
みかみ
2021.04.23
BigQuey の SQL チューニングや Slot 利用状況確認に BQ Visualizer を使ったら便利でした。BigQuey の SQL チューニングや Slot 利用状況確認に BQ Visualizer を使ったら便利でした。
みかみ
2021.04.16
BigQuery で INFORMATION_SCHEMA から CREATE TABLE 文が取得できるようになりました！BigQuery で INFORMATION_SCHEMA から CREATE TABLE 文が取得できるようになりました！
みかみ
2021.04.07
AI Platform Notebooks を使って、さくっとノートブック環境を立ち上げて BigQuery にアクセスしてみたAI Platform Notebooks を使って、さくっとノートブック環境を立ち上げて BigQuery にアクセスしてみた
みかみ
2021.03.09
BigQuery で GCS 外部テーブルにもキャッシュが使えるようになったので、どのくらい速くなるのか確認してみたBigQuery で GCS 外部テーブルにもキャッシュが使えるようになったので、どのくらい速くなるのか確認してみた
みかみ
2021.02.18
CS アナリティクスでは BigQuery のテーブルや UDF などの情報も一覧表示で確認できますCS アナリティクスでは BigQuery のテーブルや UDF などの情報も一覧表示で確認できます
みかみ
2021.02.12
Google Apps Script で BigQuery のテーブル定義をスプレッドシートに自動で出力してみたGoogle Apps Script で BigQuery のテーブル定義をスプレッドシートに自動で出力してみた
みかみ
2021.02.04
テーブル作成めんどくさくないですか？　CS アナリティクスで BigQuery のテーブルを自動作成してみたテーブル作成めんどくさくないですか？　CS アナリティクスで BigQuery のテーブルを自動作成してみた
みかみ
2021.02.02
マルチタブ対応！BigQuery の管理コンソールが新しくなったので使い勝手を確かめてみたマルチタブ対応！BigQuery の管理コンソールが新しくなったので使い勝手を確かめてみた
みかみ
2021.01.20
2020 年の BigQuery リリースまとめ2020 年の BigQuery リリースまとめ
みかみ
2020.12.24
Bigtable にある位置情報を BigQuery Geo Viz で可視化してみた　～ IoT センサーから緯度経度データが送られてくるていで～Bigtable にある位置情報を BigQuery Geo Viz で可視化してみた　～ IoT センサーから緯度経度データが送られてくるていで～
みかみ
2020.12.20
データ移動不要！Cloud SQL のマスタデータと BigQuery のトランザクションデータを結合して SQL で分析してみた。データ移動不要！Cloud SQL のマスタデータと BigQuery のトランザクションデータを結合して SQL で分析してみた。
みかみ
2020.12.18
1
2
3