Facebook and cawrawl-retard dans robots.txt?

Facebook utilise effectivement cet algorithme que vous pouvez vérifier vous-même ici:

http://developers.facebook.com/tools/debug

La durée de vie de la cache Facebook de ces données est variable, mais elle est entre 24 et 48 heures de mon expérience.

vous -Can- Cependant, faites le cache "Invalider" si vous ajoutez une partie à votre URL afin que les utilisateurs partagent le nouveau ou que vous puissiez fournir des liens bit.ly (et similaires) qui auront le même effet .

Étant donné que ce n'est pas effectivement rampant, vous ne pouvez pas forcer la force à retarder un grattage (et vous ne devriez pas, car cela créerait une mauvaise expérience utilisateur - ils attendraient un moment pour que le grattoir se termine et ils seraient fournis avec un lien partageable qui n'est pas jolie). Vous pouvez toutefois déclencher manuellement le raclage à des intervalles définis afin d'assurer une meilleure expérience utilisateur (ils n'attendraient pas que les données soient en cache) et l'équilibrage de la charge de serveur.

Non, ça ne respecte pas les robots.txt

Contrairement à d'autres réponses ici, FacebookeXternalHit se comporte comme le plus méchant des rampants. Si cela a obtenu les URL, il demande de ramper ou de partir comme des boutons comme cela n'a pas beaucoup d'importance lorsqu'il traverse chacun de ceux d'un taux insensé.

Nous obtenons parfois plusieurs centaines de hits par seconde, car il passe presque chaque URL sur notre site. Il tue nos serveurs à chaque fois. La chose amusante est que, lorsque cela se produit, nous pouvons voir que Googlebot ralentit et attend que les choses s'installent avant de ramener lentement la sauvegarde. FacebookeXternalLit, d'autre part, continue de battre nos serveurs, souvent plus difficile que le combat initial qui nous a tué.

Nous devons courir de nombreux serveurs plus bêtement que nous n'avons réellement besoin de notre trafic, juste à cause de FacebookeXternalHit. Nous avons fait des tonnes de recherche et je ne trouve pas un moyen de les ralentir.

Comment est-ce une bonne expérience utilisateur, Facebook?

pour une question similaire , j'ai proposé une solution technique qui Taux simplement limite la charge basée sur l'agent utilisateur.

Code répété ici pour plus de commodité: P>

Étant donné que l'on ne peut pas faire appel à leur hubris et laisser tomber leur bloc IP est joli draconien, voici mon Solution technique. p>

en PHP, exécutez le code suivant aussi rapidement que possible pour chaque demande. P>

define( 'FACEBOOK_REQUEST_THROTTLE', 2.0 ); // Number of seconds permitted between each hit from facebookexternalhit

if( !empty( $_SERVER['HTTP_USER_AGENT'] ) && preg_match( '/^facebookexternalhit/', $_SERVER['HTTP_USER_AGENT'] ) ) {
    $fbTmpFile = sys_get_temp_dir().'/facebookexternalhit.txt';
    if( $fh = fopen( $fbTmpFile, 'c+' ) ) {
        $lastTime = fread( $fh, 100 );
        $microTime = microtime( TRUE );
        // check current microtime with microtime of last access
        if( $microTime - $lastTime < FACEBOOK_REQUEST_THROTTLE ) {
            // bail if requests are coming too quickly with http 503 Service Unavailable
            header( $_SERVER["SERVER_PROTOCOL"].' 503' );
            die;
        } else {
            // write out the microsecond time of last access
            rewind( $fh );
            fwrite( $fh, $microTime );
        }
        fclose( $fh );
    } else {
        header( $_SERVER["SERVER_PROTOCOL"].' 503' );
        die;
    }
}

Si vous exécutez sur Ubuntu Server et que vous utilisez un pare-feu UFW, vous voudrez peut-être essayer

UFW Limit Proto TCP du 31.13.24.0/21 Port 80 à tout

Pour toutes ces adresses IP: 31.13.24.0/21 31.13.64.0/18 66.220.144.0/20 69.63.176.0/20 69.171.224.0/19 74.119.76.0/22 103.4.96.0/22 173.252.64.0/18 204.15.20.0/22 ​​

Comme indiqué ici: Quelle est la gamme d'adresses IP du robot de graphique ouvert de Facebook? < / a>