Supprimer les mots en double consécutifs d'un fichier à l'aide de AWK ou SED

avec GNU AWK pour le 4ème Arg à scinder ():

$ cat tst.awk
{
    n = split($0,words,/[^[:alpha:]]+/,seps)
    prev = ""
    for (i=1; i<=n; i++) {
        word = words[i]
        if (word != prev) {
            printf "%s%s", seps[i-1], word
        }
        prev = word
    }
    print ""
}

$ awk -f tst.awk file
“true, rohith Rohith;
cold burn, and fact and fact good?”

correspond à la même correspondance de la même arrière-plan dans SED: xxx

Comment ça marche:

• : l - Créez une étiquette l pour passer à. Voir TL ci-dessous.
• s - substitut
  • /
  • \ (^ \ | [^ [: alpha:]] \) - correspondre au début de la ligne ou du caractère non alphabétique. C'est ainsi que la partie suivante correspond à l'ensemble du mot, non seulement suffixe.
  • \ ([[[[alpha:]]] \ {1, \ \ \ \ \ \ \) - correspond à un mot - un ou plusieurs caractères alphabétiques.
  • [^ [: alpha:]]] \ {1, \} - correspond à un non-mot - un ou plusieurs caractères non alphabétiques.
  • \ 2 - correspond à la même chose que dans la seconde \ (... \ \) - c'est-à-dire. correspondre au mot.
  • \ ($ \ | [^ [^ [^ [: alpha:]] \) - correspond à la fin de la ligne ou correspond à un caractère non alphabétique. C'est donc nous correspondons à l'ensemble du deuxième mot, non seulement son préfixe.
  • /
  • \ 1 \ 2 \ 3 - Substituez-le pour
  • /
  • g - substituer globalement. Mais, parce que la regex ne reviendra jamais, elle substituera 2 mots à la fois.
  • tl - Aller à l'étiquette l si la commande s s réussite. Ceci est ici, de sorte que quand il y a 3 mots la même chose, comme vrai vrai vrai , ils sont correctement remplacés par un seul true . .

    sans le \ (^ \ | [^ [| [: alpha:]] \) et \ ($ \ [^ [| [^ [: ALPHA:]] \) , sans eux par exemple vrai rue serait substitué par true , car le suffixe RUE RUE correspondrait.

    Vous trouverez ci-dessous mon autre solution, qui suppriment également des mots répétés entre les lignes.

    Ma première solution était avec UNIQ . Donc, je vais d'abord transformer l'entrée en paires avec le format . Puis exécutez-le via uniq -f1 avec ignorer le premier champ, puis convertissez-le. Ce sera très lent: xxx

    mais j'ai remarqué que sed fait un bon travail pour jeton de la saisie - il place zéro octets entre chacun jetons de mot et de mots. Donc, je pourrais facilement lire le flux. Je peux ignorer des mots répétés en awk en lisant zéro ruisseau séparé dans GNU awk et en comparant le dernier mot lisé: xxx

    à la place de zéro octet quelque chose d'unique pourrait être utilisé comme séparateur d'enregistrement. , par exemple ^ caractère, de cette façon, il pourrait être utilisé avec une version non-GNU AWK, testée avec Mawk disponible sur RÉPL. Raccourci le script en utilisant des noms de variables plus courts ici: xxx

    Testé sur REPL . La sortie des extraits: xxx