Nettoyage du texte avec python et re

Votre classe de caractères (comme indiqué dans le traçage) n'est pas valide; } vient après = en valeur ordinale (} est 125, = est 61), et le - entre eux signifie qu'il essaie de faire correspondre n'importe quel caractère de l'ordinal de } à celui de = et entre les deux. Puisque les plages de caractères doivent aller de l'ordinal bas à l'ordinal élevé, 125-> 61 n'a aucun sens, donc l'erreur.

D'une certaine manière, vous avez eu de la chance; si les caractères autour du - avaient été inversés, par exemple = -} , vous auriez supprimé silencieusement tous les caractères de l'ordinal 61 à 125 inclus, ce qui aurait inclus, avec un désordre de ponctuation, toutes les lettres ASCII standard, à la fois minuscules et majuscules. p>

Vous pouvez résoudre ce problème en supprimant simplement le deuxième - de votre classe de caractères (vous l'avez déjà inclus au début de la classe où il n'a pas besoin d'être échappé), en changeant de

import string
killpunctuation = str.maketrans('', '', string.punctuation)

to

text = text.translate(killpunctuation)

mais je vais suggérer de supprimer les expressions régulières ici; le risque d'erreurs avec beaucoup de ponctuation littérale est élevé, et il existe d'autres méthodes qui n'impliquent pas du tout de regex qui devraient fonctionner très bien et ne pas vous inquiéter si vous avez échappé à toutes les choses importantes (l'alternative est de sur-échapper, ce qui rend l'expression régulière illisible, et toujours sujette aux erreurs).

À la place, remplacez cette ligne par un simple appel str.translate . Tout d'abord, en dehors de la fonction, créez une table de traduction des éléments à supprimer :

text = re.sub(r"[-()\"#/@;:<>{}-=~|.?,]","",text)

puis remplacez la ligne:

# The redundant - is harmless here since the result is a dict which dedupes anyway
killpunctuation = str.maketrans('', '', r"-()\"#/@;:<>{}-=~|.?,")

par:

text = re.sub(r"[-()\"#/@;:<>{}=~|.?,]", "", text)

Il devrait fonctionner au moins aussi vite que l'expression régulière (probablement plus rapide), et il est beaucoup moins sujet aux erreurs, car aucun caractère n'a de signification particulière (les tables de traduction ne sont que des mappages d'ordinaires Unicode à Aucun , signifiant delete, un autre ordinal, signifiant le remplacement d'un seul caractère, ou une chaîne, signifiant char -> remplacement multichar; ils n'ont pas de concept d'échappements spéciaux). Si l'objectif est de tuer toutes les ponctuations ASCII, il vaut probablement mieux utiliser la constante du module string pour définir la table de traduction (ce qui rend également le code plus auto-documenté, donc les gens ne se demandent pas si vous supprimez tout ou juste une partie de la ponctuation, et si c'était intentionnel):

text = re.sub(r"[-()\"#/@;:<>{}-=~|.?,]", "", text)

En l'occurrence, votre chaîne existante ne supprime pas toute la ponctuation (elle manque, entre autres choses , ^ , ! , $ , etc.), donc ce changement peut ne pas être correct, mais s'il est correct, faites-le définitivement. Si c'est censé être un sous-ensemble de ponctuation, vous voulez certainement ajouter un commentaire sur la façon dont cette ponctuation a été choisie, donc les responsables ne se demandent pas si vous avez fait une erreur.

Utiliser ceci fonctionne comme pour moi

def clean_text(text):
    text = text.lower()
    text = re.sub('\[.*?\]', '', text)
    text = re.sub('https?://\S+|www\.\S+', '', text)
    text = re.sub('<.*?>+', '', text)
    text = re.sub('[%s]' % re.escape(string.punctuation), '', text)
    text = re.sub('\n', '', text)
    text = re.sub('\w*\d\w*', '', text)
    return text