digdag runコマンドを実行する際のメモ

digdag runコマンドを実行する際の注意点をメモ。

digdag/embulkでのディレクトリ構成は以下のような感じで。

$ tree
.
├── config
│   ├── dev.yml
│   ├── load_table_list.txt
│   └── prod.yml
├── scripts
│   ├── commons
│   │   ├── _input_aurora.yml.liquid
│   │   ├── _input_redshift.yml.liquid
│   │   └── _output_redshift.yml.liquid
│   ├── __init__.py
│   ├── __init__.pyc
│   ├── tasks
│   │   ├── __init__.py
│   │   └── __init__.pyc
│   ├── transfer_data.yml.liquid
│   ├── user_history.yml.liquid
│   ├── workflow_append.dig
│   └── workflow_util.dig
├── workflow_append.dig
└── workflow_util.dig

scriptディレクトリから実行する場合

digdag run -P ../config/dev.yml workflow_util.dig --rerun

xxx.digファイルにconfigの設定が書いてあると xxx.dig側が優先されるみたい。

ホームディレクトリから実行する場合

digdag run -P config/dev.yml workflow_util.dig --rerun

scripts/workflow_util.dig

+load:
  _retry: ${retry_cnt}
  +log_user_history:
    sh>: embulk run --log ${logdir}/log_user_history.log ..scripts/user_history.yml.liquid ## scriptディレクトリから実行する際はこれに変更する
    sh>: embulk run --log ${logdir}/log_user_history.log scripts/user_history.yml.liquid