Comment lire un gros fichier tsv en python et le convertir en csv

Vous pouvez utiliser read et write intégrés à Python pour réécrire le fichier ligne par ligne. Cela peut prendre un certain temps à traiter en fonction de la taille de votre fichier, mais il ne devrait pas manquer de mémoire puisque vous travaillez ligne par ligne.

with open("input.tsv", "r") as input_file:
    for line in input_file:
        with open("output.csv", "a") as output:
            line = line.replace("\t", ",")
            output.write(line)

Au lieu de charger toutes les lignes en même temps en mémoire, vous pouvez lire ligne par ligne et les traiter l'une après l'autre:

Avec Python 3.x:

tr '\t' ',' <input.tsv >output.csv

Entrée (hrdata.tsv):

python tsv_csv_convertor.py > new_csv_file.csv

Sortie:

XXX

Commande:

Name,Hire Date,Salary,Sick Days remaining
Graham Chapman,03/15/14,50000.00,10
John Cleese,06/01/15,65000.00,8
Eric Idle,05/12/14,45000.00,10
Terry Jones,11/01/13,70000.00,3
Terry Gilliam,08/12/14,48000.00,7
Michael Palin,05/23/13,66000.00,8

Remarque:

Si vous utilisez un env Unix , exécutez simplement la commande:

Name    Hire Date       Salary  Sick Days remaining
Graham Chapman  03/15/14        50000.00        10
John Cleese     06/01/15        65000.00        8
Eric Idle       05/12/14        45000.00        10
Terry Jones     11/01/13        70000.00        3
Terry Gilliam   08/12/14        48000.00        7
Michael Palin   05/23/13        66000.00        8

Corrigez-moi si je me trompe, mais un fichier TSV est essentiellement un fichier CSV, utilisant un caractère de tabulation au lieu d'une virgule. Pour traduire efficacement cela en python, vous devez parcourir les lignes de votre fichier source, remplacer les onglets par des virgules et écrire la nouvelle ligne dans le nouveau fichier. Vous n'avez pas besoin d'utiliser de module pour ce faire, écrire la solution en Python est en fait assez simple:

from io import FileIO

# This chunk size loads 1MB at a time for conversion.
CHUNK_SIZE = 1 << 20


def tsv_to_csv_BIG(filename):
    ext_index = filename.rfind('.tsv')
    if ext_index == -1:
        new_filename = filename + '.csv'
    else:
        new_filename = filename[:ext_index] + '.csv'

    original = FileIO(filename, 'r')
    new = FileIO(new_filename, 'w')
    table = bytes.maketrans(b'\t', b',')

    while True:
        chunk = original.read(CHUNK_SIZE)
        if len(chunk) == 0:
            break
        new.write(chunk.translate(table))

    original.close()
    new.close()
    return new_filename

L'itération des lignes comme celle-ci ne charge chaque ligne en mémoire qu'une par une, au lieu de charger le tout en mémoire. Le traitement de 12 Go de données peut toutefois prendre un certain temps.

MISE À JOUR: En fait, maintenant que j'y pense, il peut être beaucoup plus rapide d'utiliser les E / S binaires sur un fichier aussi volumineux, puis de remplacer les onglets par des virgules sur de gros morceaux du fichier à la fois. Ce code suit cette stratégie:

def tsv_to_csv(filename):
    ext_index = filename.rfind('.tsv')
    if ext_index == -1:
        new_filename = filename + '.csv'
    else:
        new_filename = filename[:ext_index] + '.csv'

    with open(filename) as original, open(new_filename, 'w') as new:
        for line in original:
            new.write(line.replace('\t', ','))

    return new_filename

Sur mon ordinateur portable utilisant un fichier TSV de 1 Go, la première fonction prend 4 secondes pour se traduire en CSV tandis que la deuxième fonction prend 1 seconde. Le réglage du paramètre CHUNK_SIZE pourrait l'accélérer davantage si votre stockage peut suivre, mais 1 Mo semble être le point idéal pour moi.

L'utilisation de tr comme mentionné dans une autre réponse a pris 3 secondes pour moi, donc l'approche python fragmentée semble la plus rapide.