Github の利用データを Fivetran と Snowflake に連携する方法
(For English version click here)
はじめに：
Fivetran ではクラウドコンピューティングの体験を向上させるために多種なコネクターの提供に取り組んでいます。この記事では、Github コネクターについて詳しくご説明いたします。以下の図のように Github は Fivetran と連携して既存のデータが最終的に Snowflake にて取得することが出来ます。
Github の利用者データではコミット、ユーザー、プルリクエストなどの情報は取得することが出来ます。スキーマに詳しくはこちらからご覧ください。
ご利用の方法：
最初は、Fivetran と Snowflake を登録して連携します。詳しくはこちらから確認して下さい、Snowflake 初期セットアップガイド（英語版）.
次は、Github を登録する為に Fivetran の操作画面から以下のように “Add Connector” ボタンをクリックし、現れる画面より ”Github” 言葉で検索し Github コネクターにクリックします。
次は、必要になるターゲットのスキーマ名を登録し “Authorize” ボタンをクリックします。
次に現れる画面では Github へのアクセスを承認する。ここはインポートするデータの特徴が確認出来ます。
次の画面では、パスワードやログイン名を入力します。
承認が成功したことが検証されたら接続が完了とします。次は詳細な設定になり以下のような画面が現れます。ここで “Sync All Repositories” すると全てのレポジトリを同期し “Sync Specific Repositories” を選ぶと許可されたレポジトリのみが同期することが出来ます。
同期する内容が決まり次第、“Save & Test” ボタンをクリックすると Github コネクターへの接続が完了となります。
ステータスページではコネクターに関する情報が現れます。ここで “Start Initial Sync” をクリックすると Github の初期同期をはじめます。
同期が完了しましたら Snowflake の操作を行いコネクターが確認します。SQL クエリを実行すればデータの読み込みが完成したことを確認出来ます。
お好みなダウンストリームのデータ処理がここから行えます。Fivetran は ELT 方法で動きますので、データを抽出しウェアハウスへ一旦保存します、その後は 編集作業行える仕組みです。
最後に：
Github と Fivetran をつなげて Snowflake で次の処理することが出来ます。
