Faire correspondre plusieurs fichiers avec des nombres et exclure l'un des fichiers par numéro

Vous pouvez simplement le faire dans awk , en identifiant le premier fichier que vous utilisez comme référence et en l'ignorant pour le traitement ultérieur en utilisant l'option nextfile (nécessite la version GNU) qui ignore le traitement du fichier pour un traitement ultérieur. En suivant cette logique, vous devez placer le fichier de référence, par exemple file.4.dat dans votre entrée comme premier argument dans la liste de fichiers.

awk ... file"$exclude" "${list[@]}"

OP voulait savoir s’ils pouvaient créer une liste de modèles de noms de fichiers pouvant être généré à partir du shell et utilisé. Cela peut être fait, mais compte tenu de l'option relativement plus simple disponible dans nextfile , cela peut sembler complexe.

D'après votre compréhension, vous avez n fichiers et l'un des ils seraient utilisés comme fichier de référence. Je préférerais utiliser la fonction extglob du shell bash pour inclure tous les fichiers sauf la référence. Par exemple Je crée des fichiers file1..10 pour expliquer cela

shopt -s extglob
list=(!(file"$exclude"))

Les options du shell étendu sont définies en utilisant shopt built -in

touch file{1..10}
exclude=3

Maintenant, imprimez le tableau en utilisant declare -p list pour voir la liste des fichiers avec juste le fichier de référence exclu. Maintenant, utilisez le tableau dans votre awk comme ci-dessous. L'expansion du tableau "$ {list [@]}" entraîne tous les fichiers exclus que vous avez générés ci-dessus.

awk '
BEGIN{ ignoreFile = ARGV[1] }
NR==FNR {
    a[$1]=$2
    next
}
FILENAME == ignoreFile { nextfile }
($1 in a) {
    a[$1]+=$2
}
END {
    for(i in a)
        print i,a[i]
}' file.4.dat file.[1-5].dat >| test.out

Pour ignorer un fichier, définissez simplement ARGV [sa position dans la liste des arguments] sur null. par exemple:

$ awk 'BEGIN{for (i in ARGV) if (ARGV[i]=="file2") ARGV[i]=""} {print FILENAME, $0}' file*
file1 x
file3 z

$ awk 'BEGIN{bad["file2"]; for (i in ARGV) if (ARGV[i] in bad) ARGV[i]=""} {print FILENAME, $0}' file*
file1 x
file3 z

$ awk '
    BEGIN {
        split("file2 file3",tmp); for (i in tmp) bad[tmp[i]]
        for (i in ARGV) if (ARGV[i] in bad) ARGV[i]=""
    }
    {print FILENAME, $0}
' file*
file1 x

ou vous pouvez supprimer le "mauvais" fichier par son nom plutôt que par ordre dans la liste des arguments si vous préférez:

$ ls
file1  file2  file3

$ grep . file*
file1:x
file2:y
file3:z

$ awk 'BEGIN{ARGV[2]=""} {print FILENAME, $0}' file*
file1 x
file3 z

p >

Dans le cas où quelqu'un ne souhaite pas utiliser OU n'a pas nextfile dans son système, le suivi pourrait aider.

awk -v ignore="file.4.dat" '
FNR==1{
    no_parse=""
}
FNR==NR {
    a[$1]=$2
    next
}
FILENAME == ignore{
    no_parse=1
}
no_parse{
    next
}
($1 in a) {
    a[$1]+=$2
}
END {
    for(i in a)
        print i,a[i]
}' file.4.dat file.[1-5].dat >| test.out

Création d'une variable nommée ignorer et nous pourrions mentionner Input_file nommé que nous devons ignorer ici, une fois que le tour Input_file vient pour l'analyse, j'ai défini un indicateur nommé no_parse sur TRUE dans ce cas, ce fichier d'entrée spécifique n'a pas de contenu sera lu (puisque next est utilisé pour ignorer toutes les instructions supplémentaires)

Utilisation des awks pipelined. Vous devez donner le dernier fichier comme référence (ici-> 4)

$ awk ' $(NF+1)=FILENAME' file.[1-3].dat file.5.dat file.4.dat |  
      awk ' { a[$1]+=$2; $2=a[$1] } /file.4.dat/ && NF-- '
25.636267 0.00398174
27.848542 0.00485739
28.269278 0.0174401
29.418886 0.00409613
31.313212 0.203932
31.945900 0.00667987
32.256620 0.00325607
32.299959 0.162935
33.461363 0.0798633
33.646214 0.122186
33.679538 0.249302

$

avec les fichiers donnés

awk ' $(NF+1)=FILENAME' file.[1-3].dat file.5.dat file.4.dat |  
   awk ' { a[$1]+=$2; $2=a[$1] } /file.4.dat/ && NF-- '