Le multitraitement de gros CSV ne renvoie pas la quantité attendue de lignes

Je suggérerais d'utiliser des pandas pour lire les fichiers (merci Alexander). puis parcourez les listes et additionnez tous les avis qui ont cet identifiant spécifique et qui sont postérieurs à 2019:

import numpy as np
import pandas
import datetime
import time

listing_csv_filename = r'listings.csv'
reviews_csv_filename = r'reviews.csv'
start = time.time()
df_listing = pandas.read_csv(listing_csv_filename, delimiter=',', quotechar='"')
df_reviews = pandas.read_csv(reviews_csv_filename, delimiter=',', parse_dates=[1])
values = list()
valid_year = df_reviews['date'] > datetime.datetime(2019, 1, 1, 0, 0, 0)
for id_num in df_listing['id']:
    valid = (df_reviews['listing_id'] == id_num) & valid_year
    values.append((id_num, np.sum(valid)))

print(values)
print(time.time() - start)

Diagnostic

Sans l'avoir approfondi, je dirais qu'il y a deux principaux coupables ici, et ils vont tous les deux de pair:

Premièrement, il y a le fichier répété analyse et itération. Vous effectuez une itération sur chaque ID de la "boucle principale", soit 20 025 fois. Pour chaque ID, vous lisez et parcourez ensuite le fichier de listes entier (20 051 lignes) et le fichier de commentaires entier (493 816 lignes). Cela équivaut à lire 10 milliards 290 millions 186 000 675 lignes de CSV.

Deuxièmement, il y a le multitraitement lui-même. Je ne l'ai pas examiné en profondeur, mais je pense qu'il est juste de dire que nous pouvons avoir une bonne idée du problème uniquement à partir du code. Comme nous l'avons vu ci-dessus, pour chaque ID, votre programme ouvre les deux fichiers CSV. Avoir un tas de processus qui doivent tous écrire dans les deux mêmes fichiers, 20 000 fois au total, ne peut pas être bon pour les performances. Je ne serais pas entièrement surpris si le code fonctionnait plus rapidement sans le multiprocesseur qu'avec lui. Il y a aussi la condition de course potentielle mentionnée par Daniel Junglas.

---

Solutions

1.

D'accord, c'est toujours un gâchis, mais je voulais juste obtenir quelque chose là-bas avant le tournant du siècle. Je continuerai à chercher une meilleure solution. Sur la base du nombre d'annonces qui apparaissent dans les avis mais pas dans listings.csv , entre autres, la solution idéale pourrait être légèrement différente.

import collections as colls
import csv
import datetime

cutoff_date = datetime.date(2019, 1, 1)

with open('../resources/reviews.csv') as reviews_file:
    reader = csv.DictReader(reviews_file)
    review_listing_counts = colls.Counter(
        (row['listing_id'] for row in reader if datetime.datetime.fromisoformat(row['date']).date() >= cutoff_date))

with open('../resources/listings.csv') as listings_file, open('../out/listing_review_counts_3.csv', 'w',
                                                              newline='') as out_file:
    reader = csv.DictReader(listings_file)
    listings_ids = (row['id'] for row in reader)

    writer = csv.writer(out_file)
    writer.writerow(('id', 'review_count'))
    writer.writerows(((curr_id, review_listing_counts[curr_id]) for curr_id in listings_ids))

Le temps d'exécution est d'environ 1 s, ce qui signifie que j'ai battu mon objectif de 5 secondes ou moins. Yay :)

2.

Cette méthode utilise un dictionnaire pour compter les avis, et le module csv standard. Gardez à l'esprit que cela générera une erreur si un avis concerne une liste qui ne figure pas dans listings.csv.

import csv
import datetime

with open('../resources/listings.csv') as listings_file:
    reader = csv.DictReader(listings_file)
    listing_review_counts = dict.fromkeys((row['id'] for row in reader), 0)

cutoff_date = datetime.date(2019, 1, 1)

with open('../resources/reviews.csv') as reviews_file:
    reader = csv.DictReader(reviews_file)
    for row in reader:
        rev_date = datetime.datetime.fromisoformat(row['date']).date()
        if rev_date >= cutoff_date:
            listing_review_counts[row['listing_id']] += 1

with open('../out/listing_review_counts_2.csv', 'w', newline='') as out_file:
    writer = csv.writer(out_file)
    writer.writerow(('id', 'review_count'))
    writer.writerows(listing_review_counts.items())

3. h3>

Cette méthode utilise collections.Counter code> et le module csv standard.

import numpy as np
import pandas as pd

listings_df = pd.read_csv('../resources/listings.csv', header=0, usecols=['id'], dtype={'id': str})

reviews_df = pd.read_csv('../resources/reviews.csv', header=0, parse_dates=['date'], dtype={'listing_id': str})

valid_reviews = reviews_df[reviews_df['date'] >= pd.Timestamp(year=2019, month=1, day=1)]

review_id_counts = valid_reviews['listing_id'].value_counts()

counts_res: pd.DataFrame = pd.merge(listings_df, review_id_counts, left_on='id', right_index=True, how='left').rename(columns={'listing_id': 'review_count'})
counts_res['review_count'] = counts_res['review_count'].fillna(0).astype(np.int64)

counts_res.to_csv(path_or_buf='../out/listing_review_counts.csv', index=False)

Faites-moi savoir si vous avez des questions, si je dois inclure des explications, etc. :)