-
[Airflow] オペレーターのテンプレートで独自のカスタムフィルターを使用する
こんにちは。サービスグループの武田です。オペレーターの引数に指定するテンプレート内で独自のカスタムフィルターを使う手順を確認してみました。
-
Apache AirflowのSecrets BackendとしてAWS SSMのパラメーターストアを利用してみる
こんにちは。サービスグループの武田です。Apache Airflowの変数や接続情報を保持するバックエンドにAWS SSMパラメーターストアを利用してみました。
-
Airflow で BigQuery を操作してみた
こんにちは、みかみです。 Airflow から BigQuery に対して、いろいろ操作してみたい。 ということで。 やりたいこと Airflow の DAG から、BigQuery に以下の処理を実行してみたい。 デー […]
-
Airflow で GCS のデータを BigQuery にロードしてみた
こんにちは、みかみです。 なんとなく Airflow をさわれるようになったものの、まだあまりバッチ処理の実行などの実処理部分を動かしてません。 Airflow で GCP 関連の処理実行してみたいなー。 やりたいこと […]
-
Airflow の管理画面を自分好みにカスタマイズしてみた
こんにちは、みかみです。 前回 初めて Airflow をさわってみました。 機能充実の Airflow ですが、まだどんな時にどの画面を使うのか、把握しきれておりません。。 実際の運用でも、全部の機能はいらないんじゃな […]
-
Airflow のアーキテクチャをざっくり理解して、どうやって使うのか学んでみた
こんにちは、みかみです。 Python で実装されている Job 管理ツール Apache Airflow。 WebUI のJob 管理画面で直感的に分かりやすい操作が可能で、エラー発生時などの通知機能もあり、スケールア […]
-
Apache AirflowのER図をSchemaSpyで自動生成するようにしてみた
Apache Airflowベースのシステムを扱っていて、Metastore(PostgreSQL)のデータ構造はどうなってたかな？と調べることがあったので、SchemaSpyでER図を自動生成するようにしてみました。
-
データパイプライン活用における「知見」だけでなく「つらみ」も共有 – Data Pipeline Casual Talk Vol.2 に参加してきた #DPCT
前回「第1回」の開催となった「Data Pipeline Casual Talk」、参加レポートについては下記エントリで言及させて頂きましたが、イベントとしては驚異の競争率且つ実際参加した内容も非常に参加者に好評なものと […]
-
118件のシェア(ちょっぴり話題の記事)
データパイプラインに関する知見をカジュアルに語る！ Data Pipeline Casual Talkに参加してきた #DPCT
昨日(2019年02月13日(水))、下記のイベント(勉強会)に参加してきました。データ分析基盤、また機械学習基盤にとって、要望を満たすデータを整形、準備する『パイプライン』の存在は必要不可欠です。そんな題材をテーマにし […]