Je suis en train de gratter une page Web à l'aide de scrapy qui contient plusieurs pages d'informations et j'ai besoin que le programme clique sur le bouton suivant, puis racle la page suivante et continue à le faire jusqu'à ce que toutes les pages aient été supprimées. Mais je ne comprends pas comment faire cela, je ne peux que gratter la première page.
from scrapy_splash import SplashRequest from ..items import GameItem class MySpider(Spider): name = 'splash_spider' # Name of Spider start_urls = ['http://www.starcitygames.com/catalog/category/10th%20Edition'] # url(s) def start_requests(self): for url in self.start_urls: yield SplashRequest(url=url, callback=self.parse, args={"wait": 3}) #Scraping def parse(self, response): item = GameItem() for game in response.css("tr"): # Card Name item["Name"] = game.css("a.card_popup::text").extract_first() # Price item["Price"] = game.css("td.deckdbbody.search_results_9::text").extract_first() yield item
3 Réponses :
La La documentation est assez explicite à ce sujet:
from scrapy_splash import SplashRequest from ..items import GameItem class MySpider(Spider): name = 'splash_spider' # Name of Spider start_urls = ['http://www.starcitygames.com/catalog/category/10th%20Edition'] # url(s) def start_requests(self): for url in self.start_urls: yield SplashRequest(url=url, callback=self.parse, args={"wait": 3}) #Scraping def parse(self, response): item = GameItem() for game in response.css("tr"): # Card Name item["Name"] = game.css("a.card_popup::text").extract_first() # Price item["Price"] = game.css("td.deckdbbody.search_results_9::text").extract_first() yield item next_page = response.css(<your css selector to find next page>).get() if next_page is not None: yield response.follow(next_page, self.parse)
Vous pouvez utiliser le sélecteur css pour cibler le bouton suivant
a:nth-child(8)
avec nth-child
a:nth-of-type(7)
Vous pouvez le faire fonctionner comme ci-dessous:
import scrapy class GameSpider(scrapy.Spider): name = 'game_spider' start_urls = ['http://www.starcitygames.com/catalog/category/10th%20Edition'] def parse(self, response): for game in response.css("tr.deckdbbody_row"): yield { 'name': game.css("a.card_popup::text").get(), 'price': game.css(".search_results_9::text").get(), } next_page_url = response.css('table+ div a:nth-child(8)::attr(href)').get() if next_page_url is not None: yield response.follow(next_page_url, self.parse)
Pourquoi utilisez-vous Splash? Avez-vous jeté un œil à stackoverflow.com/q/8550114/939364 ?