背景

特定の画像ファイルをs3のバケット間でコピーしたい。下記のような画像ファイルのリストは得られているものとする。

20190224015128auhP0mxtSX.png
20190224190754KuNToorMQc.png
20190224190809ryOuqd6bTC.png
20190226065547aZVU6WQLQw.png
20190226065559jnla1SwUik.png

この際、 GNU parallel と aws-cli を使って手軽にコピーした。

GNU parallelインストール

sudo yum -y install parallel

cat 画像ファイル名 | parallel --jobs 60 aws s3 cp s3://test-bucket/chat/image/{} s3://test-depot/chat/{} 2>&1 | tee "$(date +%Y%m%d%H%M).log"