Changer le fichier python en place

Si vous êtes sous Linux / UNIX, pourquoi ne pas utiliser la commande Split comme Ce gars fait? XXX

EDIT: Ensuite, utilisez CSplit .

Si le temps n'est pas un facteur important (ou une usure de votre lecteur de disque):

1. Ouvrir la poignée pour déposer
2. Lire jusqu'à la taille de votre partition / point de rupture logique (en raison du XML)
3. Enregistrez le reste de votre fichier sur le disque (pas sûr de la manière dont Python gère cela aussi loin que l'utilisation directe du fichier ou de la mémoire)
4. Écrivez la partition sur le disque
5. GOTO 1

   Si Python ne vous donne pas ce niveau de contrôle, vous devrez peut-être plonger dans c.

Vous pouvez toujours analyser le fichier XML et écrire dire tous les 10000 éléments à son propre fichier. Regardez la section d'analyse progressive de ce lien. http://effbot.org/zone/element-iterparse.htm

Disons que vous voulez diviser le fichier en n morceaux, puis commencez simplement à lire à l'arrière du fichier (plus ou moins) et appelez à plusieurs reprises tronquage :

tronquer la taille du fichier. Si l'argument de taille optionnelle est présent, le fichier est tronqué (au plus) de cette taille. La taille correspond à la position actuelle. La position du fichier actuel n'est pas modifiée. ... p> BlockQuote>

import os
import stat

BUF_SIZE = 4096
size = os.stat("large_file")[stat.ST_SIZE]
chunk_size = size // N 
# or simply set a fixed chunk size based on your free disk space
c = 0

in_ = open("large_file", "r+")

while size > 0:
    in_.seek(-min(size, chunk_size), 2)
    # now you have to find a safe place to split the file at somehow
    # just read forward until you found one
    ...
    old_pos = in_.tell()
    with open("small_chunk%2d" % (c, ), "w") as out:
        b = in_.read(BUF_SIZE)
        while len(b) > 0:
            out.write(b)
            b = in_.read(BUF_SIZE)
    in_.truncate(old_pos)
    size = old_pos
    c += 1

C'est un temps d'acheter un nouveau disque dur!

Vous pouvez faire une sauvegarde avant d'essayer toutes les autres réponses et n'atteignez pas les données perdues :)

Voici mon script ...

import string
import os
from ftplib import FTP

# make ftp connection
ftp = FTP('server')
ftp.login('user', 'pwd')
ftp.cwd('/dir')

f1 = open('large_file.xml', 'r')

size = 0
split = False
count = 0

for line in f1:
  if not split:
    file = 'split_'+str(count)+'.xml'
    f2 = open(file, 'w')
    if count > 0:
      f2.write('<?xml version="1.0"?>\n')
      f2.write('<StartTag xmlns="http://www.blah/1.2.0">\n')
    size = 0
    count += 1 
    split = True    
  if size < 1073741824:
      f2.write(line)
      size += len(line)
  elif str(line) == '</EndTag>\n':
      f2.write(line)
      f2.write('</EndEndTag>\n')
      print('completed file %s' %str(count))
      f2.close()
      f2 = open(file, 'r')
      print("ftp'ing file...")
      ftp.storbinary('STOR ' + file, f2)
      print('ftp done.')
      split = False
      f2.close()
      os.remove(file)
  else:
    f2.write(line)
    size += len(line)