Skip to content

miseyu/luigi-etl

Repository files navigation

luigi-etl

  • luigiで作ったETL用ツール

使用言語

主要ライブラリ

使用ツール

  • pip

起動方法

ローカル起動

$ python tasks.py MyQuery --local-scheduler

環境変数

  • GCS_TOUCH_VERSION: TOUCHのバージョン
  • STREAM_ID: ストリームモードの場合のID
  • BEAM_WORKER_COUNT: Dataflowのワーカ数

central起動

$ luigid --port 8082

centralに投げる

$ python tasks.py MyQuery

Releases

No releases published

Packages

No packages published

Languages