Comment paralléliser un programme Python sous Linux

D'après votre commentaire,

@Ouroborus non, non, considérez ceci opensource.com/article/18/5/gnu-parallel je veux exécuter un programme python avec ce parallèle..pour un cas très spécifique..si un programme de conversion arbitraire peut être piped to parallel .. pourquoi pas un programme python?

Je pense que cela pourrait aider:

convert n'a pas été choisi arbitrairement. Il a été choisi parce que c'est un programme plus connu qui mappe (grosso modo) un seul fichier d'entrée, fourni via la ligne de commande, à un seul fichier de sortie, également fourni via la ligne de commande.

Le shell typique for peut être utilisée pour parcourir une liste. Dans l'article que vous avez lié, ils montrent un exemple

find . -name "*jpeg" | parallel -I% --max-args 1 convert % %.png

Ceci (encore une fois, grosso modo) prend une liste de noms de fichiers et les applique, un par un, à un modèle de commande et puis exécute cette commande.

Le problème ici est que pour attendrait nécessairement qu'une commande soit terminée avant d'exécuter la suivante et pourrait donc sous-utiliser les processeurs multicœurs d'aujourd'hui.

parallel agit comme une sorte de remplacement de pour . Il suppose qu'une commande peut être exécutée plusieurs fois simultanément, chacune avec des arguments différents, sans que chaque instance n'interfère avec les autres.

Dans l'article, ils affichent une commande utilisant parallel code >

for i in *jpeg; do convert $i $i.png ; done

qui équivaut à la commande for précédente. La différence (encore approximative) est que parallel exécute simultanément plusieurs variantes de la commande basée sur un modèle sans nécessairement attendre que chacune se termine.

Pour votre situation spécifique, afin de pouvoir utiliser parallèle , vous devez:

• Ajustez votre script python pour qu'il prenne une entrée (comme un nom de fichier) et une sortie (éventuellement aussi un nom de fichier), les deux via la ligne de commande.
• Découvrez comment configurer parallèle afin qu'il puisse recevoir une liste de ces noms de fichiers à insérer dans un modèle de commande pour exécuter votre script python sur chacun de ces fichiers individuellement.

Vous pouvez simplement utiliser une commande shell pour ordinaire et ajouter l'indicateur d'arrière-plan & à la commande python dans le pour :

from concurrent.futures import ProcessPoolExecutor, as_completed
from pathlib import Path:

def translate(filename):
    ...

def main(path_to_file_with_list):
    futures = []
    with ProcessPoolExecutor(max_workers=8) as executor:
        for filename in Path(path_to_file_with_list).open():
            executor.submit(translate, filename)
        for future in as_completed(futures):
            future.result()

if __name__ == "__main__":
     import sys
     main(argv[1])

Bien sûr, en supposant que votre code python générera des sorties séparées par lui-même.

C'est aussi simple que cela. Bien que ce ne soit pas habituel - en général, les gens préféreront utiliser Python lui-même pour contrôler l'exécution parallèle de la boucle, si vous pouvez éditer le programme. Une bonne façon de faire est d'utiliser concurrent.futures en Python pour créer un pool de nœuds de calcul avec 8 nœuds de calcul - l'approche shell ci-dessus lancera toutes les instances en parallèle à la fois.

En supposant votre code a une fonction translate qui prend un nom de fichier, votre code Python pourrait être écrit comme suit:

for file in `cat list_of_files.txt`;
   do python perfile_code.py $file &
done

Cela ne dépendra pas d'un shell spécial syntaxe, et prend en charge les cas de coin et la gestion des nombres ou des travailleurs, ce qui pourrait être difficile à faire correctement à partir de bash.

D'après votre question, la manière dont vous exécutez vos tâches en série n'est pas claire. Mais si nous supposons que vous exécutez:

parallel python perfile_code.py :::: filelist.txt

alors le moyen le plus simple de paralléliser cela serait:

parallel python perfile_code.py ::: file*

Si vous avez une liste de fichiers avec une ligne par fichier puis utilisez:

python perfile_code.py file1
python perfile_code.py file2
python perfile_code.py file3
:
python perfile_code.py fileN

Il exécutera un travail par thread du processeur en parallèle. Donc, si filelist.txt contient 1000000 noms, alors il ne les exécutera pas tous en même temps, mais ne démarrera un nouveau travail que lorsque l'un sera terminé.