Comment réparer Crawled (403)

Si vous l'ouvrez dans votre navigateur, il affiche Remplir CAPTCHA pour continuer. Donc, pour un trafic élevé d'un ordinateur, il demandera une authentification supplémentaire.

Par conséquent, vous voyez 403

headers = {
    'authority': 'www.urban.com.au',
    'cache-control': 'max-age=0',
    'upgrade-insecure-requests': '1',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
    'sec-fetch-mode': 'navigate',
    'sec-fetch-user': '?1',
    'dnt': '1',
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
    'sec-fetch-site': 'none',
    'accept-encoding': 'gzip, deflate, br',
    'accept-language': 'en-US,en;q=0.9',

}

Request('https://www.urban.com.au/projects/melbourne-square-93-119-kavanagh-street-southbank', headers=headers)
You need to mimic exact same header as a real browser does

Erreur 403 - Parce que le site Web montrant un CAPTCHA.
Si vous résolvez le CAPTCHA et extrayez le cookie, il fonctionnera.
Exemple avec demandes pour débogage: xxx