Exécution parallèle des commandes Bash

J'ai un script Bash qui a une boucle à l'intérieur de laquelle il y a une commande Bash qui appelle un autre script Bash qui à son tour appelle des scripts Python.

Chacune de ces commandes bash dans les boucles pourrait être exécutée indépendamment l'une de l'autre . Lorsque je l'exécute plus tard sur un ensemble de données réel, l'exécution de chaque commande prend un certain temps. Par conséquent, je voudrais profiter et paralléliser cette partie du script.

J'ai passé quelques jours à passer en revue les options dans Bash qui font une exécution parallèle, tout en me donnant également la possibilité de choisir le nombre de cœurs que je veux paralléliser le code de manière à ne pas inonder le serveur. Après avoir recherché les options GNU, xargs -P m'a semblé la plus raisonnable, car je n'ai pas besoin d'avoir une version spécifique de Bash et cela fonctionnera sans installer de bibliothèques supplémentaires. Cependant, j'ai des difficultés à le faire fonctionner, même si cela semble simple.

@@: syntax error: operand expected (error token is "@@")

Vous pouvez ignorer les deux premières boucles imbriquées, j'ai juste collé le script entier pour être complet. La partie qui va être parallélisée est la 4ème ligne de code à compter de la fin du script:

 for x in {0..10};
    do
        printf "%d\0" "$x"; done| xargs -0 -I @@ -P $n_threads sh markerGenes2TreeMatch.sh -1 ${col1[@@]}-2 ${col2[@@]}

Cela bouclera sur toutes les paires ce qui est dans mon cas 1275 in total et exécutera idéalement myFunction.sh en parallèle avec le nombre spécifié de threads en utilisant la variable $n_threads .

Cependant, je fais quelque chose de mal car l'itérateur k dans cette ligne n'indexe pas mes deux tableaux $ {classes [k]} et $ {classes [k]} .

La boucle continue d'itérer 1275 fois mais elle n'indexe que le premier élément des deux tableaux lorsque je les répète. J'ai plus tard changé cette ligne en ceci pour le dépannage:

printf "%s\0" {0..1275} | xargs -0 -I k -P $n_threads echo "index" "$((k))"

Il incrémente en fait la valeur de k à chaque fois qu'il boucle, cependant quand je change cela ligne à ceci:

printf "%s\0" {0..1275} | xargs -0 -I k -P $n_threads echo "index" k

il imprime 0, 1275 fois comme valeur pour k . Je ne sais pas ce que je fais de mal.

J'ai en fait deux vecteurs qui sont de la même taille et sont saisis pour le script myFunction.sh . Je veux juste qu'un index entier puisse les indexer en même temps et appeler ma fonction avec ces deux valeurs indexées à partir de ces deux vecteurs. J'ai modifié mon code comme suit en fonction de votre suggestion:

printf "%s\0" {0..1275} | xargs -0 -I k -P $n_threads sh myFunction.sh -1 ${classes[k]} -2 ${classes[k]}

mais maintenant, lorsque j'exécute le code, j'obtiens l'erreur suivante:

#!/bin/bash

while getopts i:t: option
do
case "${option}"
in
    i) in_f=${OPTARG};;
    t) n_threads=${OPTARG};;
esac
done    

START=$(date +%s)
class_file=$in_f
classes=( $(awk '{print $1}' ./$class_file))
rm -r tree_matches.txt
n="${#classes[@]}"
for i in $(seq 0  $n);
   do
     for j in $(seq $((i+1)) $((n-1)));
         do
            echo ${classes[i]}"    "${classes[j]} >> tree_matches.txt
         done
   done
col1=( $(awk '{print $1}' ./tree_matches.txt ))
col2=( $(awk '{print $2}' ./tree_matches.txt ))


printf "%s\0" {0..1275} | xargs -0 -I k -P $n_threads sh myFunction.sh -1 ${classes[k]} -2 ${classes[k]}

n_pairs="${#col1[@]}"

END=$(date +%s)
DIFF=$(( $END - $START ))
echo "Exec time $DIFF seconds"