次のスクリプトは1回1秒かかるコマンド（関数）を単純に直列実行する例です。ループで10回実行するため、全て終わるまでに10秒かかります。
sleep_then_echo() {
sleep 1
echo $1
}
for i in $(seq 1 10); do
sleep_then_echo $i
done
これを並列実行して速くする方法を考えてみます。
並列数を無制限にバックグラウンドジョブとして並列実行する場合
これを & と wait を使って並列実行すれば、10並列で実行されるため約1秒で終わります。
sleep_then_echo() {
sleep 1
echo $1
}
for i in $(seq 1 10); do
sleep_then_echo $i &
done
wait
時間のかかるコマンドの末尾に & を付けることでバックグラウンドジョブとして非同期に実行し、wait コマンドで実行中の全てのジョブが終了するまで待機しています。
並列数を制限しつつバックグラウンドジョブとして並列実行するパターン
& と wait だけで手軽に並列実行の恩恵を受けられますが、もし並列実行する処理が重たいものだった場合、並列数を多くしすぎると実行負荷が上がり、逆に遅くなったり不安定になる場合があります。
こういった場合は次のようにして並列数を制限することで、安定して実行できるようになります。10回のループを5並列に実行するため、約2秒で終わります。
# 同時実行するジョブの最大数
MAX_CONCURRENT_JOBS=5
sleep_then_echo() {
sleep 1
echo $1
}
# 実行しているジョブ数を出力する
running_jobs_count() {
# -r は running のジョブだけを出力するオプション
jobs -r | wc -l
}
for i in $(seq 1 10); do
# 実行しているジョブが最大数に達している場合は終了を待機する
while (( $(running_jobs_count) >= MAX_CONCURRENT_JOBS )); do
sleep 1
done
sleep_then_echo $i &
done
wait
ちなみに各ジョブの成功可否 (exit code) を判定したい場合は、もう少し書き方を工夫する必要があります。
xargs で並列数を制限しつつ並列実行するパターン
for を使わないパターンとして、xargs -P number でも手軽に並列実行ができます。-P オプションで並列実行するプロセス数を指定できます。次のスクリプトは10回のループを5並列に実行するため、約2秒で終わります。
sleep_then_echo() {
sleep 1
echo $1
}
# xargs で起動した子プロセスからも関数を使用出来るようにする
export -f sleep_then_echo
# sh -c ではなく bash -c としないと環境によって期待通りに動作しない点に注意
seq 1 10 | xargs -I@ -P5 -n1 bash -c "sleep_then_echo @"
また、こちらの方法は並列実行した各コマンドのいずれかが失敗した場合、xargs の exit code も1以上（失敗）になります。
そのため set -eo pipefail しておくだけでお手軽にエラーハンドリングができる点もメリットです。（参考: シェルスクリプトを高級言語のような書き味に近づける Tips 集）
感想
for で並列実行するパターンは説明的なスクリプトを書きやすいところがメリットだと思います。
xargs を使うパターンはオプションで並列数を指定するだけなので簡潔かつエラー検知も容易ですが、xargs の挙動やオプションを理解して使う必要があります。
また GNU parallel を使う方法もありますが、こちらは別途インストールが必要なので割愛。