みかみ

mikami-yuki

好きなRDBMSはMySQLです。

みかみ

mikami-yuki

127
Posts
885
Facebook Share
728
Twitter Share
1,094
はてブ
Loading...

みかみが執筆した記事

Google Cloud に統合された Dataform を使って BigQuery にテーブル＆ビューを作成してみた。

みかみ

2022.09.26

Storage Transfer Service で AssumeRoleWithWebIdentity を使用して、キー情報なしで S3 から GCS にファイル転送してみた。

みかみ

2022.09.10

Data Validation Tool (DVT) で、BigQuery と Redshift のデータが一致してるか検証してみた。

みかみ

2022.08.06

沖縄の愛すべき看板たち

みかみ

2022.07.07

Cloud Asset Inventory で一般公開されたリソースを自動検出してみた。

みかみ

2022.06.01

BigQuery リモート関数で Natural Language API を使って、SQL でお客様レビューの感情分析してみた。

みかみ

2022.05.21

Google Cloud プロジェクトの既存リソースを Terraform コードに出力＆ドキュメントを作成する方法

みかみ

2022.03.18

ファイルや環境変数を読むように Cloud Functions から Secret Manager にアクセスしてみた。

みかみ

2022.03.01

Storage Transfer Service のログ出力を追加して、ファイル転送エラーをアラート通知してみた。

みかみ

2022.02.25

Cloud DLP で BigQuery テーブルの特定のカラムの機密情報をマスキングしてみた 〜カスタム infoType の指定方法を添えて〜

みかみ

2021.12.16

Cloud Functions で SFTP サーバから GCS にファイル転送してみた。

みかみ

2021.11.05

Secret Manager に保存した機密情報を、Cloud Functions の Python コードから取得してみた。

みかみ

2021.10.18

Cloud Functions 関数の IP を固定してみた。

みかみ

2021.10.08

Google Workflows で、BigQuery に SQL を実行するサーバレスなバッチ処理を実装してみた。

みかみ

2021.09.25

沖縄で釣れる魚

みかみ

2021.07.07

BigQuery でトランザクション処理がサポート開始！！

みかみ

2021.07.02

Airflow Study #1 「Airflowの内部構造と動かし方を理解する」で LT してきました

みかみ

2021.06.24

BigQuery で SQL を実行する時に便利なオプション７選

みかみ

2021.06.18

BigQuery に Shift-JIS ファイルのデータをロードするには？

みかみ

2021.06.15

データ統合基盤 CS アナリティクスでデータ出力機能をリリースしました

みかみ

2021.06.11

Cloud DLP で半角カタカナや難読苗字は検出できる？ 〜カスタム辞書の登録方法を添えて〜

みかみ

2021.06.08

漢字でもOK？！ DLP API で個人情報をマスキングしてから BigQuery にロードしてみた。

みかみ

2021.06.02

Cloud DLP を使って BigQuery の個人情報を検出してみた。

みかみ

2021.06.01

BigQuery の ALTER 文でテーブル名が変更できるようになったので挙動を確認してみた！

みかみ

2021.05.20

Google Apps Script でスプレッドシートデータを CSV にして GCS に出力してみた。

みかみ

2021.04.29

BigQuery テーブルチューニングに効果的なクラスタリングが、既存テーブルにも追加できるようになりました！

みかみ

2021.04.23

BigQuey の SQL チューニングや Slot 利用状況確認に BQ Visualizer を使ったら便利でした。

みかみ

2021.04.16

BigQuery で INFORMATION_SCHEMA から CREATE TABLE 文が取得できるようになりました！

みかみ

2021.04.07

AI Platform Notebooks を使って、さくっとノートブック環境を立ち上げて BigQuery にアクセスしてみた

みかみ

2021.03.09

BigQuery で GCS 外部テーブルにもキャッシュが使えるようになったので、どのくらい速くなるのか確認してみた

みかみ

2021.02.18

CS アナリティクスでは BigQuery のテーブルや UDF などの情報も一覧表示で確認できます

みかみ

2021.02.12

Google Apps Script で BigQuery のテーブル定義をスプレッドシートに自動で出力してみた

みかみ

2021.02.04

テーブル作成めんどくさくないですか？　CS アナリティクスで BigQuery のテーブルを自動作成してみた

みかみ

2021.02.02

マルチタブ対応！BigQuery の管理コンソールが新しくなったので使い勝手を確かめてみた

みかみ

2021.01.20

2020 年の BigQuery リリースまとめ

みかみ

2020.12.24

Bigtable にある位置情報を BigQuery Geo Viz で可視化してみた　～ IoT センサーから緯度経度データが送られてくるていで～

みかみ

2020.12.20

データ移動不要！Cloud SQL のマスタデータと BigQuery のトランザクションデータを結合して SQL で分析してみた。

みかみ

2020.12.18

Google スプレッドシートで管理しているデータを BigQuery から参照して SQL で集計してみた。

みかみ

2020.12.16

BigQuery のスケジューリングクエリって何がうれしいの？　～ 毎時 GCS データを集計するユースケースを想定して動かしてみた～

みかみ

2020.12.13

BigQuery のクエリプランを確認し、SQLを実行した時の裏側の処理に思いを馳せてみた

みかみ

2020.12.06

Cloud Composer で Airflow 環境を立ち上げて、GCS から BigQuery へのデータロードを実行してみた

みかみ

2020.11.27

エクセルファイルデータを Dataprep で BigQuery にロードして、SQL で参照してみた

みかみ

2020.11.11

ノンコーディングでデータを抽出・整形して BigQuery に格納できるデータプレパレーションツール Dataprep を使ってみた

みかみ

2020.11.09

Dataflow のテンプレートを利用して、Spanner のテーブルデータを BigQuery で参照してみた

みかみ

2020.10.26

Dataflow SQL で Pub/Sub のストリームデータと BigQuery のテーブルデータを結合してみた

みかみ

2020.10.23

Google Dataflow を使ってコーディング無しでテキストファイル内に出現する単語をカウントしてみた

みかみ

2020.10.20

BigQuery に日時データをロードすると UTC に変換されてしまう問題に「データ統合基盤 CS アナリティクス」で対応する

みかみ

2020.10.08

BigQuery のデータを「データ統合基盤 CS アナリティクス」を使って Google Cloud Storage にエクスポート

みかみ

2020.09.28

データ統合基盤 CS アナリティクスで Google Cloud クライアントライブラリを使用した Python プログラムを実行してみる

みかみ

2020.09.18

データ統合基盤 CS アナリティクスで BigQuery にデータを差分ロードしてみた

みかみ

2020.09.14

【データ統合基盤 CS アナリティクス】 BigQuery はじめました！ ～CSA JMCでBigQuery連携を行うための設定手順～

みかみ

2020.09.07

BigQuery のテーブルデータを Google Cloud Storage にファイルエクスポートしてみた

みかみ

2020.08.17

タイムトラベルで BigQuery の削除済みデータにアクセス＆復元してみた

みかみ

2020.08.11

BigQuery でテーブルレベルのアクセス制御（テーブル ACL ）ができるようになったので挙動を確認してみた

みかみ

2020.08.04

BigQuery で実行できる SQL と実行できない SQL

みかみ

2020.07.31

BigQuery に日時データをロードする場合のタイムゾーンとフォーマットについて確認してみた

みかみ

2020.07.23

BigQuery にデータを差分ロード（UPSERT）する方法まとめ

みかみ

2020.07.17

GCS にファイルが配置されたらイベント駆動で BigQuery にデータロードするサーバレスなジョブをつくってみた

みかみ

2020.07.07

Service Usage API でカスタム割り当てを設定して、ユーザー単位の１日の BigQuery 処理データ量の上限値を指定してみた

みかみ

2020.07.02

ストリーミングインサートで重複レコードを削除しながら BigQuery にデータをロードしてみた

みかみ

2020.06.24