Le moyen le plus rapide des valeurs multiples Grep du fichier en python

Ce n'est pas terriblement efficace de mémoire (pour un fichier de 300 millions de lignes pouvant poser un problème). Je ne peux pas penser à un moyen de sauvegarder les valeurs non trouvées dans une compréhension, sauf en enregistrant toutes les valeurs (ou en lisant le fichier deux fois). Je ne pense pas que les threads aideront beaucoup, car le fichier d'E / S sera probablement le goulot d'étranglement de la performance. Je suppose qu'un onglet est le caractère de délimitation dans le fichier. (Vous n'avez pas dit, mais l'exemple de données semble avoir un onglet.)

vals = [1,2,594592888]

with open(self.inputfile,'r') as i_file:
    all_vals = {
        int(t[0]):int(t[1])
        for t in (
                line.strip().split('\t')
                for line in i_file
        )
    }

newDict = {
    t[0]:t[1] for t in filter(lambda t: t[0] in vals, all_vals.items())
}

notFound = list(set(all_vals.keys()).difference(newDict.keys()))

Si je vous comprends correctement, vous ne voulez pas de ligne de fichier qui ne correspond pas à vous Vals code> Puisque vous parlez d'énormes fichiers et un nombre assez petit de valeurs recherchées, j'irais quelque chose comme:

split -l 1000000 filename

Vous avez clarifié dans un commentaire que chaque clé se produit au plus une fois dans les données. Il découle de cela et du fait qu'il n'y a que 1000 clés que la quantité de travail effectuée dans Python est triviale; Presque tout votre temps est passé à attendre la sortie de grep . Qui va bien; Votre stratégie de délégation de la ligne d'extraction à une utilité spécialisée reste sonore. Mais cela signifie que les gains de performance doivent être trouvés sur le côté de l'extraction de ligne.

Vous pouvez accélérer les choses en optimisant votre regex. Par exemple, au lieu de xxx

, vous pouvez utiliser: xxx

de sorte que l'ancre ne doit pas être assortie séparément pour chaque alternative. Je vois une amélioration de 15% sur les données de test (10 millions de lignes, 25 clés) avec ce changement.

Une optimisation supplémentaire consiste à unifier les préfixes courants dans l'alternance: 266 \ | 801 \ | 810 peut être remplacé par l'équivalent 266 \ \ | 8 \ (01 \ | 10 \) . La réécriture de la réégalité de 25 clés de cette manière donne près d'une vitesse de 50% sur les données de test.

à ce point grep commence à afficher ses limites. Il semble que c'est la CPU-liée: iostat révèle que chaque amélioration successive de la regex augmente le nombre de demandes IO par seconde, tandis que GREP est en cours d'exécution. Et réexécuter grep avec un cache de page chauffé et l'option - mmap ne pas accélérer les choses (car elle serait probablement si le fichier io était un goulot d'étranglement). Une vitesse supérieure nécessite donc probablement une utilité avec un moteur de regex plus rapide.

un tel est AG (source ici ), dont la mise en œuvre de la regex effectue également une optimisation automatique, vous n'avez donc pas besoin de faire beaucoup de main-d'œuvre. Bien que je n'ai pas pu obtenir grep pour traiter les données de test en moins de ~ 12s sur ma machine, AG se termine dans ~ 0.5S pour toutes les variantes de regex décrit ci-dessus.