Manipuler une chaîne de 30 millions de caractères

NB:

"Fondamentalement, si vous ouvrez un fichier avec fopen, fcerez-le, puis dissimulez-le, ça fonctionne bien. Mais si entre fopen et fclose, vous donnez la poignée du fichier Pour courbonner pour faire de l'écriture dans le fichier, le dissimulez-vous échoue. Pourquoi Cela se passe est au-delà de moi. Je pense que cela peut être lié au bogue # 48676 "

http: //bugs.php.net/bug.php?id=49517

Soyez donc prudent si vous êtes sur une ancienne version de php. Il y a une solution simple sur cette page à doubler -Close la ressource de fichier: xxx

Darren Cook Commentaire à Pascal Martin La réponse est vraiment intéressante. Dans les versions modernes PHP + CURL, l'option CURLOPT_WRITEFunction CODE> peut être définie afin que CURL invoque un rappel pour chaque "morceau" reçu de données. Plus précisément, le "appelable" recevra deux paramètres, le premier avec l'objet d'invocation de CURL, et le second avec le morceau de données. Le fonctionnement doit revenir strallen ($ data) code> pour que CURL puis continue à envoyer plus de données.

Callables peut être des méthodes dans PHP. En utilisant tout cela, j'ai développé une solution possible que je trouve plus lisible que le précédent (bien que Pascal Martin, la réponse soit vraiment excellente, les choses ont changé depuis). J'ai utilisé des attributs publics pour la simplicité, mais je suis sûr que les lecteurs pourraient adapter et améliorer le code. Vous pouvez même avorter la demande de courbure lorsque plusieurs lignes (ou octets) ont été atteintes. J'espère que cela serait utile pour les autres. P>

<?
class SplitCurlByLines {

    public function curlCallback($curl, $data) {

        $this->currentLine .= $data;
        $lines = explode("\n", $this->currentLine);
        // The last line could be unfinished. We should not
        // proccess it yet.
        $numLines = count($lines) - 1;
        $this->currentLine = $lines[$numLines]; // Save for the next callback.

        for ($i = 0; $i < $numLines; ++$i) {
            $this->processLine($lines[$i]); // Do whatever you want
            ++$this->totalLineCount; // Statistics.
            $this->totalLength += strlen($lines[$i]) + 1;
        }
        return strlen($data); // Ask curl for more data (!= value will stop).

    }

    public function processLine($str) {
        // Do what ever you want (split CSV, ...).
        echo $str . "\n";
    }

    public $currentLine = '';
    public $totalLineCount = 0;
    public $totalLength = 0;

} // SplitCurlByLines

// Just for testing, I will echo the content of Stackoverflow
// main page. To avoid artifacts, I will inform the browser about
// plain text MIME type, so the source code should be vissible.
Header('Content-type: text/plain');

$splitter = new SplitCurlByLines();

// Configuration of curl
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "http://stackoverflow.com/");
curl_setopt($ch, CURLOPT_WRITEFUNCTION, array($splitter, 'curlCallback'));

curl_exec($ch);

// Process the last line.
$splitter->processLine($splitter->currentLine);

curl_close($ch);

error_log($splitter->totalLineCount . " lines; " .
 $splitter->totalLength . " bytes.");
?>