J'essaie, à l'aide de bash, pour fusionner le contenu d'une liste de fichiers (plus de 1k) dans un gros fichier.
J'ai essayé la commande CAT suivante: P>
content1 content2 content3 content4
6 Réponses :
Le problème est que vous mettez devrait simplement fonctionner comme vous le souhaitez, avec vos fichiers bigfile dans le même répertoire, ce qui fait donc partie de * . Donc, quelque chose comme filen.txt dans dir /
... ou chat *> / tmp / bigfile; MV / TMP / BIGFILE. .
Je pense que Fabioln incluait intentionnellement bigfile.txt dans l'entrée; Il veut ajouter au fichier à partir des différents fichier * .txt , mais éliminer les doublons en même temps.
Merci les gars. Oui, c'était le problème! Je mets le bigfile dans le même dir ... alors j'ai utilisé la commande que vous m'avez donnée (Cat Dir / *> Bigfile)! Une autre question: pourquoi vous mettez juste> au lieu de >> Est-ce la même chose? Merci!
@ Fabioln79 en utilisant >> Vous appendez la sortie dans le fichier, à l'aide de > vous écrasez tout le contenu.
Peut-on toujours compter sur la "notation étoile" pour fusionner les fichiers dans le bon ordre?
Dépend de votre ordre "droit"; La coquille va développer * dans ordre alphabétique, voir serverfault.com/a/122743
Essayez:
cat `ls -1 *` >> bigfile.txt
-1 Cela ne résout rien et introduit de nouveaux problèmes. N'utilisez pas ls lorsque le Wildcard se développe déjà aux fichiers que vous voulez! N'utilisez pas les noms de fichiers non coqués (la sortie des backtsticks) car il se casse si les noms de fichier contiennent des espaces.
J'y pensais réellement à une boucle quand j'ai écrit ça, mais cela ne sortait pas de ma tête correctement. J'aime mieux la réponse de Barton.
Lors de la ré-lecture de votre question, il semble que vous souhaitiez ajouter des données sur EDIT: En supposant que BigFile.txt est trié, vous pouvez essayer un deux Processus de contournement: Nous triez d'abord les fichiers d'entrée, en supprimant les doublons. Nous conduisons cette sortie à un autre processus bigfile.txt , mais
sans ajouter des doublons. Vous devrez tout transduire par trier -u pour filtrer les doublons: -O -o option pour trier vous permet de définir Inclure en toute sécurité le contenu de bigfile.txt dans l'entrée pour trier avant que le fichier soit écrasé avec la sortie. trier -u , celui-ci à l'aide de l'option -M , qui indique Trier pour fusionner deux fichiers triés précédemment . Les deux fichiers que nous allons fusionnerons sont - (entrée standard, le flux provenant du premier Trier ) et bigfile.txt lui-même. Nous utilisons à nouveau l'option -o pour nous permettre d'écrire la sortie sur bigfile.txt après l'avoir lu comme entrée.
J'ai modifié la réponse pour permettre aux nouvelles données d'être fusionnées dans bigfile.txt de manière à ce qu'il reste trié sans doublons introduits. Je pense que c'est le meilleur que vous puissiez faire sans passer à un format plus structuré (tel qu'une base de données).
Vous pouvez conserver le fichier de sortie dans le même répertoire, il vous suffit d'être un peu plus sophistiqué que * :
Merci. J'ai une question liée à cette commande: le répertoire contenant le fichier a une taille de 557GB mais le grandfile créé a une taille de 495. Je ne sais pas comment expliquer cela. Je fais quelque chose de mal? Merci!
@ Fabioln79 avec quantité d'informations fournies, suspect ceci peut être dû à l'espace effectivement utilisé la taille du bloc (lisez sur ce dernier)