developersIO

みかみ(mikami-yuki)

好きなRDBMSはMySQLです。
151Posts
データ移動不要！Cloud SQL のマスタデータと BigQuery のトランザクションデータを結合して SQL で分析してみた。
みかみ
2020.12.18
Google スプレッドシートで管理しているデータを BigQuery から参照して SQL で集計してみた。
みかみ
2020.12.16
BigQuery のスケジューリングクエリって何がうれしいの？　～ 毎時 GCS データを集計するユースケースを想定して動かしてみた～
みかみ
2020.12.13
BigQuery のクエリプランを確認し、SQLを実行した時の裏側の処理に思いを馳せてみた
みかみ
2020.12.06
Cloud Composer で Airflow 環境を立ち上げて、GCS から BigQuery へのデータロードを実行してみた
みかみ
2020.11.27
エクセルファイルデータを Dataprep で BigQuery にロードして、SQL で参照してみた
みかみ
2020.11.11
ノンコーディングでデータを抽出・整形して BigQuery に格納できるデータプレパレーションツール Dataprep を使ってみた
みかみ
2020.11.09
Dataflow のテンプレートを利用して、Spanner のテーブルデータを BigQuery で参照してみた
みかみ
2020.10.26
Dataflow SQL で Pub/Sub のストリームデータと BigQuery のテーブルデータを結合してみた
みかみ
2020.10.23
Google Dataflow を使ってコーディング無しでテキストファイル内に出現する単語をカウントしてみた
みかみ
2020.10.20
BigQuery に日時データをロードすると UTC に変換されてしまう問題に「データ統合基盤 CS アナリティクス」で対応する
みかみ
2020.10.08
BigQuery のデータを「データ統合基盤 CS アナリティクス」を使って Google Cloud Storage にエクスポート
みかみ
2020.09.28
データ統合基盤 CS アナリティクスで Google Cloud クライアントライブラリを使用した Python プログラムを実行してみる
みかみ
2020.09.18
データ統合基盤 CS アナリティクスで BigQuery にデータを差分ロードしてみた
みかみ
2020.09.14
【データ統合基盤 CS アナリティクス】 BigQuery はじめました！ ～CSA JMCでBigQuery連携を行うための設定手順～
みかみ
2020.09.07
BigQuery のテーブルデータを Google Cloud Storage にファイルエクスポートしてみた
みかみ
2020.08.17
タイムトラベルで BigQuery の削除済みデータにアクセス＆復元してみた
みかみ
2020.08.11
BigQuery でテーブルレベルのアクセス制御（テーブル ACL ）ができるようになったので挙動を確認してみた
みかみ
2020.08.04
BigQuery で実行できる SQL と実行できない SQL
みかみ
2020.07.31
BigQuery に日時データをロードする場合のタイムゾーンとフォーマットについて確認してみた
みかみ
2020.07.23
BigQuery にデータを差分ロード（UPSERT）する方法まとめ
みかみ
2020.07.17
GCS にファイルが配置されたらイベント駆動で BigQuery にデータロードするサーバレスなジョブをつくってみた
みかみ
2020.07.07
Service Usage API でカスタム割り当てを設定して、ユーザー単位の１日の BigQuery 処理データ量の上限値を指定してみた
みかみ
2020.07.02
ストリーミングインサートで重複レコードを削除しながら BigQuery にデータをロードしてみた
みかみ
2020.06.24
サービス境界とアクセスレベルで、特定のユーザーやサービスアカウントからしか BigQuery にアクセスできないようにしてみた
みかみ
2020.06.22
データ統合プラットフォーム Xplenty を使って、2020 年の沖縄県の潮位データを整形してから BigQuery にロードしてみた
みかみ
2020.06.12
BigQuery のテーブルコピーではテーブルプロパティも全てコピーされるのかどうか確認してみた
みかみ
2020.06.04
BigQuery でテーブル名やカラム名などの更新できない項目を変更するにはどうすればいいか確認してみた
みかみ
2020.05.29
Deployment Manager を使って GCS バケットと BigQuery のデータセットとテーブルを作成してみた
みかみ
2020.05.22
Python クライアントライブラリで Google Cloud Storage の参照・作成・更新・削除操作をするにはどのメソッドを使えばよいのか確認してみた
みかみ
2020.05.21
[BigQuery] データセットやテーブルのオーナーだと、明示的な権限付与なしでも参照・更新・削除も可能なのか確認してみた
みかみ
2020.05.19
サービスアカウントで BigQuery にアクセスするときに、どのロールでどんな操作が可能なのか確認してみた。
みかみ
2020.05.16
GCS の Parquet データを BigQuery から参照してみた　～ Parquet データのロードと外部テーブルによる参照～
みかみ
2020.04.24
BigQuery に JSON 形式のファイルデータをロードする場合の挙動や制限事項を確認してみた
みかみ
2020.04.22
Google クライアントライブラリ for Python で、BigQuery のデータセットやテーブルなどのメタ情報を取得してみた
みかみ
2020.04.16
BigQuery のコストを削減するために。パーティショニングテーブルの使い方を調べてみた
みかみ
2020.04.14
BigQuery に外部テーブルを定義して、GCS のファイルデータを SQL で参照してみた
みかみ
2020.04.13
BigQuery の INFORMATION_SCHEMA からどんな情報が取得できるのか、全ての VIEW を確認してみた
みかみ
2020.04.10
Data Catalog のポリシータグで BigQuery カラムレベルのアクセス制御が可能になったので試してみた
みかみ
2020.04.07
サービスアカウントを切り替えて BigQuery のアクセス権限を制御してみた
みかみ
2020.04.03
BigQuery 破産で泣かないために。。GCP 利用料金を bot で Slack に通知してみた
みかみ
2020.03.31
BigQuery のコスト管理方法を調べてみた
みかみ
2020.03.31
BigQuery では本当にトランザクション処理がサポートされていないのか確認してみた
みかみ
2020.03.26
BigQuery に対して外部 SQL ファイルを実行してみた
みかみ
2020.03.18
Airflow で BigQuery を操作してみた
みかみ
2020.03.17
Airflow で GCS のデータを BigQuery にロードしてみた
みかみ
2020.03.14
Airflow の管理画面を自分好みにカスタマイズしてみた
みかみ
2020.03.10
Airflow のアーキテクチャをざっくり理解して、どうやって使うのか学んでみた
みかみ
2020.03.05
ResorTech Okinawa おきなわ国際IT見本市に出展しております
みかみ
2020.02.05
GCP Cloud IAM と BigQuery のデータセット、テーブル、View へのアクセス制御を確認してみた
みかみ
2020.01.10
IP 制限付きで AWS EC2 から BigQuery にアクセスしてみた
みかみ
2019.12.18
AWS EC2 上の Python から BigQuery にデータをロードしてみた
みかみ
2019.11.29
AWS EC2 から bq コマンドラインツールで BigQuery にアクセス＆操作してみた
みかみ
2019.11.15
BigQuery Data Transfer Service で AWS S3 から BigQuery に CSV データをロードしてみた
みかみ
2019.11.12
はじめての GCP ～ BigQuery にデータをロードしてみた～
みかみ
2019.11.08
SageMaker でお手軽に Jupyter Notebook から Python を実行してみた
みかみ
2019.07.07
API Gateway が「Lambda プロキシ統合」でさらに使いやすくなっててびっくりした話
みかみ
2019.05.24
[レポート] PyCon Kyushu 2019 Okinawa に参加してきました！
みかみ
2019.05.20
クラスメソッド沖縄オフィス 新オフィスに移転しました！
みかみ
2019.03.28
クラスメソッド沖縄オフィス さくらだよりとキャッシュレス体験
みかみ
2019.02.13
1
2
3