Comment rejoindre le stdout de deux sous-processus et pipe à STDIN de nouvelle sous-processus de Python

(Je ne peux pas commenter tristement, mais cette "réponse" est un commentaire à la réponse de CMIDI, si quelqu'un peut le déplacer, il serait apprécié! - PS: cette réponse était maintenant supprimée ...)

Marco a explicitement déclaré que les commandes produisent beaucoup de production, environ 20 Go. Si vous utilisez Communica (), il attendra le processus de résiliation, ce qui signifie que le descripteur «FD» devra tenir cette grande quantité de données. En pratique, le système d'exploitation affleurera les données sur le disque pendant l'entre-temps, à moins que votre ordinateur ait plus de 20 Go de RAM gratuite. Donc, vous finissez par écrire les données intermédiaires sur le disque, que l'auteur d'origine souhaitait éviter. +1 pour la réponse de Sirlark!

Si vous avez déjà la commande shell dans la chaîne, vous pouvez simplement l'exécuter tel quel: XXX PRE>

Pour émuler le pipeline en Python: P>

#!/usr/bin/env python
from subprocess import Popen, PIPE

# start command3 to get stdin pipe, redirect output to the file
with open('output.bam', 'wb', 0) as output_file:
    command3 = Popen("samtools view -bS -".split(), 
                     stdin=PIPE, stdout=output_file)
# start command1 with its stdout redirected to command3 stdin
command1 = Popen('samtools view -HS header.sam'.split(),
                 stdout=command3.stdin)
rc_command1 = command1.wait() #NOTE: command3.stdin is not closed, no SIGPIPE or a write error if command3 dies
# start command2 after command1 finishes
command2 = Popen('samtools view input.bam 1:1-50000000'.split(),
                 stdout=command3.stdin)
command3.stdin.close() # inform command2 if command3 dies (SIGPIPE or a write error)
rc_command2 = command2.wait()
rc_command3 = command3.wait()

Bien que Popen accepte des objets de type de fichier, il utilise en fait les poignées / descripteurs de fichiers sous-jacents, pas les méthodes de lecture et d'écriture des objets de fichier pour communiquer, comme @ j.f. Sebastian souligne à juste titre. Un meilleur moyen de le faire est d'utiliser un tuyau ( OS.Pipe () code>) qui n'utilise pas le disque. Cela vous permet de connecter le flux de sortie directement au flux d'entrée d'un autre processus, ce qui correspond exactement à ce que vous voulez. Le problème est alors juste une question de sérialisation, pour vous assurer que les deux flux sources ne se mêlent pas.

import os
import subprocess

r, w = os.pipe()

fh_bam = open('output.bam', 'w')
params_0 = [ "samtools", "view", "-HS", "header.sam" ]
params_1 = [ "samtools", "view", "input.bam", "1:1-50000000"]
params_2 = [ "samtools", "view", "-bS", "-" ]
sub_sink = subprocess.Popen(params_2, stdin=r, stdout=fh_bam, bufsize=4096)
sub_src1 = subprocess.Popen(params_0, stderr=subprocess.PIPE, stdout=w, bufsize=4096)
sub_src1.communicate()
sub_src2 = subprocess.Popen(params_1, stderr=subprocess.PIPE, stdout=w, bufsize=4096)
sub_src2.communicate()