メインコンテンツへスキップ
developersIO

みかみ の記事一覧

好きなRDBMSはMySQLです。

みかみmikami-yuki

月別投稿数

159Posts
BigQuery Lakehouse カタログ Iceberg テーブルへの SQL 書き込みとクエリパフォーマンスを検証してみた。
みかみ
2026.06.10
BigQuery の スキーマ追従（schema evolution）機能の挙動を確認してみた。
みかみ
2026.06.04
Snowflake の スキーマ追従（schema evolution）機能の挙動を確認してみた。
みかみ
2026.06.03
Snowflake から PGP 暗号化の GCS ファイル を 出力・取り込みしてみた。
みかみ
2026.05.23
GCS ファイルを Snowflake on AWS に Snowpipe で取り込んでみた。
みかみ
2026.05.23
Snowflake Iceberg テーブルデータを BigQuery Iceberg テーブルから参照してみた。
みかみ
2026.05.18
BigQuery Data Transfer Service で、Snowflake のテーブルデータを増分転送してみた。
みかみ
2026.05.17
BigQuery 管理の Iceberg テーブルを BigLake Metastore Iceberg REST カタログと連携して Spark ジョブからデータを参照してみた。
みかみ
2025.12.07
「生成AI「その前」に！マルチクラウド時代の信頼できるデータを支えるSnowflakeメタデータ活用術」というタイトルで登壇させていただきました #devio2025
みかみ
2025.09.30
Snowflake の通知統合を使ったら、秒でメール送信できてびっくりした話。
みかみ
2025.07.07
個人的にうれしかった 2024 年 BigQuery アップデート 7 選 #cm_google_cloud_adcal_2024
みかみ
2024.12.21
[Google Cloud] あの機能/サービスは今！？ #cm_google_cloud_adcal_2024
みかみ
2024.12.07
GCS ファイルのカスタムメタデータでバッチの処理ステータスを管理してみた。
みかみ
2024.10.31
BigQuery テーブルデータを Cloud Spanner にリバース ETL してみた。
みかみ
2024.10.19
GA になった BigQuery の history-based optimizations で SQL が最適化されるか確認してみた。
みかみ
2024.10.05
BigQuery サブスクリプションで、Pub/Sub メッセージを BigQuery に直接取り込んでみた。
みかみ
2024.09.28
transfer_manager で GCS へのファイルアップロードが高速化できるか確認してみた。
みかみ
2024.09.26
BigQuery テーブル作成イベントで、description の日本語をカラム名にしたビューをバッチ処理で作成してみた。
みかみ
2024.09.21
BigQuery テーブル更新トリガで、Dataplex のプロファイリングを実行してみた。
みかみ
2024.09.04
Google Cloud の不要リソースを Asset Inventory で断捨離してみた。
みかみ
2024.08.26
「クロスクラウドデータ管理の未来: BigLakeで実現するAWS S3とBigQueryのデータ統合戦略」というタイトルで登壇させていただきました #devio2024
みかみ
2024.07.17
愛すべき IT 系キャラクターやロゴたち
みかみ
2024.07.07
Cloud Functions と Secret Manager でサービスアカウントキーローテーションを自動化してみた。
みかみ
2024.06.29
Dataform CLI からテストコードを実行して、BigQuery UDF のユニットテストを実施してみる。
みかみ
2024.06.25
Dataplex で何ができるの？
みかみ
2024.06.18
BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。
みかみ
2024.06.12
Cloud Functions から Cloud Scheduler ジョブを作成/更新して、1つ目の関数実行から一定時間経過後に次の関数を実行してみた。
みかみ
2023.01.28
プロジェクト間でイベントルーティングして、別プロジェクトの BigQuery INSERT トリガで Cloud Functions を実行してみた。
みかみ
2023.01.13
イベント駆動できるようになった Storage Transfer Service で、S3 から GCS にファイル転送してみた。
みかみ
2022.12.31
BigQuery のデフォルトタイムゾーンを JST に変更してみた。
みかみ
2022.12.20
BigQuery へのデータ INSERT をトリガに、Cloud Functions を実行してみた。
みかみ
2022.11.23
Google Cloud Batch ジョブを VPC を指定して実行してみた。
みかみ
2022.11.10
Google Cloud に統合された Dataform を使って BigQuery にテーブル＆ビューを作成してみた。
みかみ
2022.09.26
Storage Transfer Service で AssumeRoleWithWebIdentity を使用して、キー情報なしで S3 から GCS にファイル転送してみた。
みかみ
2022.09.10
Data Validation Tool (DVT) で、BigQuery と Redshift のデータが一致してるか検証してみた。
みかみ
2022.08.06
沖縄の愛すべき看板たち
みかみ
2022.07.07
Cloud Asset Inventory で一般公開されたリソースを自動検出してみた。
みかみ
2022.06.01
BigQuery リモート関数で Natural Language API を使って、SQL でお客様レビューの感情分析してみた。
みかみ
2022.05.21
Google Cloud プロジェクトの既存リソースを Terraform コードに出力＆ドキュメントを作成する方法
みかみ
2022.03.18
ファイルや環境変数を読むように Cloud Functions から Secret Manager にアクセスしてみた。
みかみ
2022.03.01
Storage Transfer Service のログ出力を追加して、ファイル転送エラーをアラート通知してみた。
みかみ
2022.02.25
Cloud DLP で BigQuery テーブルの特定のカラムの機密情報をマスキングしてみた 〜カスタム infoType の指定方法を添えて〜
みかみ
2021.12.16
Cloud Functions で SFTP サーバから GCS にファイル転送してみた。
みかみ
2021.11.05
Secret Manager に保存した機密情報を、Cloud Functions の Python コードから取得してみた。
みかみ
2021.10.18
Cloud Functions 関数の IP を固定してみた。
みかみ
2021.10.08
Google Workflows で、BigQuery に SQL を実行するサーバレスなバッチ処理を実装してみた。
みかみ
2021.09.25
沖縄で釣れる魚
みかみ
2021.07.07
BigQuery でトランザクション処理がサポート開始！！
みかみ
2021.07.02
Airflow Study #1 「Airflowの内部構造と動かし方を理解する」で LT してきました
みかみ
2021.06.24
BigQuery で SQL を実行する時に便利なオプション７選
みかみ
2021.06.18
BigQuery に Shift-JIS ファイルのデータをロードするには？
みかみ
2021.06.15
データ統合基盤 CS アナリティクスでデータ出力機能をリリースしました
みかみ
2021.06.11
Cloud DLP で半角カタカナや難読苗字は検出できる？ 〜カスタム辞書の登録方法を添えて〜
みかみ
2021.06.08
漢字でもOK？！ DLP API で個人情報をマスキングしてから BigQuery にロードしてみた。
みかみ
2021.06.02
Cloud DLP を使って BigQuery の個人情報を検出してみた。
みかみ
2021.06.01
BigQuery の ALTER 文でテーブル名が変更できるようになったので挙動を確認してみた！
みかみ
2021.05.20
Google Apps Script でスプレッドシートデータを CSV にして GCS に出力してみた。
みかみ
2021.04.29
BigQuery テーブルチューニングに効果的なクラスタリングが、既存テーブルにも追加できるようになりました！
みかみ
2021.04.23
BigQuey の SQL チューニングや Slot 利用状況確認に BQ Visualizer を使ったら便利でした。
みかみ
2021.04.16
BigQuery で INFORMATION_SCHEMA から CREATE TABLE 文が取得できるようになりました！
みかみ
2021.04.07