Façon la plus efficace d'analyser un grand .csv en python?

Comme indiquait plusieurs autres fois, les deux premières méthodes ne font aucune analyse de chaîne réelle, elles viennent de lire une ligne à la fois sans extraire de champs. J'imagine que la majorité de la différence de vitesse observée dans le CSV est due à cela.

Le module CSV est inestimable si vous incluez des données textuelles pouvant inclure davantage de syntaxe de CSV 'standard' que de virgules, surtout si vous êtes lire à partir d'un format Excel. p>

Si vous venez de recevoir des lignes comme "1,2,3,4", vous vous êtes probablement bien avec une simple scission, mais si vous avez des lignes comme "1,2," Bonjour , mon nom \ 'S Fred' " Code> Vous allez devenir fou essayer d'analyser cela sans erreur. P>

CSV gérera également de manière transparente des choses comme les nouvelles lignes au milieu d'une chaîne citée. Un simple pour..in code> sans CSV va avoir des problèmes avec ça. P>

Le module CSV a toujours fonctionné pour moi de lire des chaînes UNICODE si je l'utilise comme:

f = csv.reader(codecs.open(filename, 'rU'))

Pour lire le gros fichier CSV, nous devons créer un processus d'enfant pour lire les morceaux de fichier. Ouvrez le fichier pour obtenir l'objet de ressource de fichier. Créez un processus enfant, avec ressource comme argument. Lisez l'ensemble des lignes sous forme de morceau. Répétez les 3 étapes ci-dessus jusqu'à atteindre la fin du fichier.

from multiprocessing import Process

def child_process(name):
    # Do the Read and Process stuff here.if __name__ == '__main__':
    # Get file object resource.
    .....
    p = Process(target=child_process, args=(resource,))
    p.start()
    p.join()