J'ai un gros fichier CSV, que j'aimerais diviser dans plusieurs fichiers à l'aide d'une condition.
Ceci est l'extrait du fichier: quoi Je dois faire est de créer plusieurs fichiers avec, chacun ayant un seul type de "zones" comme suit: un fichier CSV: Un autre fichier CSV: navigation via la bande que je n'ai trouvé que la division de fichiers volumineux basés sur le nombre de lignes / lignes dans différents morceaux ... tels que le code ci-dessous:
3 Réponses :
Si vous voulez le faire en utilisant pandas , thread thread Sélectionner des lignes d'un fichier de données basé sur des valeurs dans une colonne de Pandas doit être utile pour vous, en particulier nonutbu réponse, qui Expliquez l'utilisation de .loc méthode de pandas.dataframe .
Merci pour le lien, La réponse de Unubtu '' est vraiment utile
Vous pouvez utiliser un collections.defaultdict pour regrouper les lignes par Zones :
avec Miller ( http://johnkerl.org/miller/doc ), une bonne commande utilitaire de ligne, est très facile à partir de (onglet séparé) vous avez
Quelle est la taille du fichier? Est-ce que cela correspond à la mémoire?
Puisque vous utilisez des pandas, avez-vous essayé
Dataframe.groupby ()@Noufalibrahaim oui il convient à la mémoire, ce n'est pas trop gros ..