CLI tool to run a batch jobs with ETL framework on AWS.
FileNotFoundError: [Errno 2] No such file or directory: '/home/user/tasks-wordcount.tsv'
指定したスクリプトかタスクファイルのパスが間違っています。ご確認ください。
[ERROR] input 'aokad-ana-tokyo/wordcount/titles/hamlet.txt' is not access.
指定されたファイルが s3 に存在しないか、アクセス権限がありません。
チェック範囲はタスクファイルのうち --input
オプションもしくは --input-recursive
オプションで指定された値と --aws-s3-bucket
オプションで指定されたバケットです。
[ERROR] Failure request-spot-instances. [Status] open [Code] capacity-not-available [Message] There is no Spot capacity available that matches your request.
スポットインスタンスを起動するための空きがAWSにありません。
時間を空けて再度挑戦するか、別のインスタンスタイプを指定してください。
特定のインスタンスタイプにこだわりがなければ、--aws-ec2-instance-type-list
オプションの使用も検討してください。
[ERROR] your task uses multipule regions 'ap-northeast-1,us-east-1'.
ロケーション(リージョン)をまたいでデータのやり取りを行うと別途料金が発生しますので、チェック機能が存在します。
了解したうえで実行する場合は --ignore-location
オプションをつけて実行してください。
チェック範囲はタスクファイル、--aws-s3-bucket
オプションで指定されたバケット、aws configure
で指定したデフォルトリージョンです。
スクリプトの不具合やタスクファイルの書き間違い、コンテナイメージのライブラリ不足、失敗する原因は様々ですが、ログを見てみるのが一番確実です。
以下の手順で確認できます。
–> タスク実行ログ
タスクが要求しているスペックに対し、起動したインスタンスのリソース不足が原因のことがあります。 (特にディスク不足)
以下の手順で確認できます。
–> メトリクス