ecsub

Logo

CLI tool to run a batch jobs with ETL framework on AWS.

View the Project on GitHub github.com/aokad/ecsub

ecsub 利用の手引き

ecsub とは?

dsub から着想を得た Amazon Elastic Container Servise (Amazon ECS) を使用したバッチジョブ実行エンジンです。
Amazon Elastic Compute Cloud (Amazon EC2) にインスタンスを作成して docker コンテナを構築しバッチジョブを実行します。
入出力ソースとして Amazon Simple Storage Service (Amazon S3) を使用することができます。

–> 実行の仕組み

セットアップ

–> 【AWS管理者向け】AWS セットアップ
–> 【ユーザ向け】インストールとユーザ設定

ジョブを実行する

コマンドラインからスクリプトファイル (サンプル) とタスクファイル (サンプル) と呼ばれる定義ファイルを指定して実行します。

デモはここから

–> ジョブを実行する

タスクファイル

ジョブを実行するにはタスクファイルと呼ばれるタブ区切り (tsv) の定義ファイルが必要です。

–> タスクファイルの書き方

トラブルシューティング

–> エラーかな?と思ったら

ライセンス

GPLv.3