Je gère un site avec beaucoup de contenu, mais peu de trafic, sur un serveur dédié au milieu de la route.
occasionnellement, GoogleBot nous éliminera, entraînant Apache Maxing Sa mémoire et que le serveur se bloque.
Comment puis-je éviter cela?
6 Réponses :
Vous pouvez configurer la vitesse de rampage dans les outils Webmaster de Google.
Enregistrez votre site à l'aide des outils Google Webmaster, ce qui vous permet de définir la fréquence et le nombre de demandes par seconde Googlebot devrait essayer d'indexer votre site. Google Webmaster Tools peut également vous aider à créer un fichier robots.txt pour réduire la charge sur votre site
Vous pouvez définir la manière dont votre site est rampé à l'aide de Google Webmaster Tools. Jetez un coup d'œil à cette page: Changer le taux d'analyse de Google
Vous pouvez également restreindre les pages que les recherches Google Botes à l'aide d'un fichier robots.txt. Il existe un paramètre disponible pour Crawl-Delay , mais il apparaît qu'il est
J'ai ajouté une condition dans nginx.conf Ajout également robots.txt Agent pour Googlebot utilisateur-agent: Ahrefsbot interdit: / mais cela a gagné; t Travailler pour cet autre bot est exclu
Notez que vous pouvez définir la vitesse d'analyse via Google Webmaster Tools (sous Paramètres du site), mais ils ne respectent que le réglage de six mois! Donc, vous devez vous connecter tous les six mois pour la remettre à nouveau.
Ce paramètre a été modifié dans Google. Le réglage n'est enregistré que pendant 90 jours maintenant (3 mois, pas 6).
Pour limiter le débit d'analyse:
sur la page d'accueil de la console de recherche, cliquez sur le site que vous souhaitez.
Cliquez sur les paramètres de l'icône de vitesse, puis sur Paramètres du site.
Dans la section Taux d'analyse, sélectionnez l'option souhaitée, puis limitez le taux d'analyse comme vous le souhaitez.
Le nouveau taux d'analyse sera valide pendant 90 jours.
Cela pourrait ne pas être google du tout. Identifiez l'adresse IP (ES) des bots incriminés et faites la recherche inversée. Vérifiez si cela résout le domaine de Google. J'ai vu des robots très agressifs qui ont utilisé Googlebot User-Agent.