Comment résoudre une fuite de mémoire Python lorsque vous utilisez Urllib2?

Cela semble être une solution de contournement (très!) hacky, mais un peu de googling a trouvé ce commentaire sur le problème:

Apparemment ajouter f.fin (1) code> arrêtera la fuite! p>

import urllib2
f = urllib2.urlopen('http://www.google.com')
f.read(1)
f.close()

envisagez d'utiliser le niveau bas API de socket (associé HOWTO ) au lieu de URLLIB2.

HOST = 'daring.cwi.nl'    # The remote host
PORT = 50007              # The same port as used by the server
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect((HOST, PORT))
s.send('GET /path/to/file/index.html HTTP/1.0\n\n')

 # you'll need to figure out how much data to read and read that exactly
 # or wait for read() to return data of zero length (I think!)
DATA_SZ = 1024
data    = s.recv(DATA_SZ)
s.close()
print 'Received', repr(data)

Utilisation du code de test suggéré par votre lien, j'ai testé mon installation Python et a confirmé qu'il fuit en effet. Mais, si, comme @Russell suggéra, je mettais chaque urlopen code> dans son propre processus, le système d'exploitation devrait em> nettoyer les fuites de mémoire. Dans mes tests, mes tests, mes objets inaccessibles et des fichiers ouverts restent plus ou moins constants. J'ai divisé le code en deux fichiers:

Connection.py h3>

###launcher.py
import subprocess, cPickle

#code from your link to check the number of unreachable objects

def print_unreachable_len():
    # check memory on memory leaks
    import gc
    gc.set_debug(gc.DEBUG_SAVEALL)
    gc.collect()
    unreachableL = []

    for it in gc.garbage:
        unreachableL.append(it)
    return len(str(unreachableL))

    #my code
    if __name__ == '__main__':        
        print 'Before running a single process:', print_unreachable_len()
        return_value_list = []
        for i, value in enumerate(values): #where values is a list or a generator containing (or yielding) the parameters to pass to the URL
             subprocess.call(['python', 'connection.py', str(value)])
             print 'after running', i, 'processes:', print_unreachable_len()
             infile = open('sometempfile', 'rb')
             return_value_list.append(cPickle.load(infile))
             infile.close()

Cela ne vous fuit pas avec Python 2.6.1 sur un Mac. Quelle version utilisez-vous?

BTW, votre programme ne fonctionne pas en raison de quelques fautes de frappe. Voici celui qui fonctionne: P>

import urllib2, httplib, gc
value = "foo"
count = 0
while(True):
    url = "http://192.168.1.1/?parameter=" + value 
    f = urllib2.urlopen(url)
    f.read(1)
    f.fp._sock.recv=None # hacky avoidance
    f.close()
    del f
    print "count=",count
    count += 1

Selon la version Plate-forme et Python, Python pourrait ne pas libérer la mémoire à OS. Voir ce fil Stackoverflow . Cela dit, Python ne doit pas consommer sans fin de la mémoire. Juger du code que vous utilisez, il semble être un bogue dans Python Runtime sauf si , urllib / sockets utilise des globaux que je ne crois pas que cela ne le fait pas - le blâmer sur Python sur S60!

Avez-vous considéré que d'autres sources de fuites de mémoire? Fichier de journal sans fin ouvert, augmentation de la matrice ou smth de l'argent comme ça? Si c'est vraiment un bogue dans l'interface des sockets, votre seule option consiste à utiliser l'approche de sous-processus.