Google Cloudデータエンジニアのはんざわです。
2023年10月4日にリージョンを超えたテーブルのコピー機能であるCopy tables across regionsがプレビューになりました。
これまでリージョンを超えるコピーをする場合はBigQuery Data Transfer Serviceを使ったり、GCSに出力したりと一手間かける必要がありました。
今回の新機能によりその過程を簡略化できそうなので非常に嬉しいアップデートです。
使い方
リージョンを超えたコピーはbqコマンドやBigQueryのクライアントライブラリでコピーすることができるようです。
公式ドキュメント記載通り、以下のコマンドでコピーできるようです。
bq cp \
-f -n \
PROJECT_ID:DATASET.SOURCE_TABLE \
PROJECT_ID:DATASET.DESTINATION_TABLEしかし、残念ながらGoogle Cloudのコンソール画面やSQLのDDLでコピーすることはできないようです。
You can't copy a table using the Google Cloud console or the TABLE COPY DDL statement.
https://cloud.google.com/bigquery/docs/managing-tables#limitations
利用方法について
※ ここからは2023年10月5時点の情報です。
今後変更される可能性がありますので最新の情報を確認してください。
さっそく触ってみよう！と思ったのですが、出来ませんでした。。。。
$ bq cp us_central1.us_central1 asia_northeast1.us_central1_to_asia_northeast1
> BigQuery error in cp operation: Not found: Dataset hanzawa-yuya:asia_northeast1公式ドキュメントをよく確認すると利用したい場合にはあらかじめフォームから申請が必要みたいです。
To request access to this preview feature, complete the BigQuery Cross Region Table Copy Preview Sign-up form.
気になる方はフォームから申請した上で利用してみてください。
まとめ
現時点では利用するために申請が必要な点は残念でしたが、非常に有り難いアップデートだと思います。
プレビューになったばかりですが、一刻も早くGAになるのを待ち望んでいます。
0
