scrapy获取html中所有的a链接,使用scrapy获取URL列表,然后在这些URL中抓取内容

763次阅读
没有评论
scrapy获取html中所有的a链接,使用scrapy获取URL列表,然后在这些URL中抓取内容

我需要一个Scrapy Spider来为每个URL(30个产品,所以30个URL)抓取以下页面(https://www.phidgets.com/?tier=1&catid=64&pcid=57),然后通过该URL进入每个产品并抓取其中的数据。

我的第二部分完全按照我的意愿工作:

import scrapy

class ProductsSpider(scrapy.Spider):

name = "products"

start_urls = [

'https://www.phidgets.com/?tier=1&catid=64&pcid=57',

]

def parse(self, response):

for info in response.css('div.ph-product-container'):

yield {

'product_name': info.css('h2.ph-product-name::text').extract_first(),

'product_image': info.css('div.ph-product-img-ctn a').xpath('@href').extract(),

'sku': info.css('span.ph-pid').xpath('@prod-sku').extract_first(),

'short_description': info.css('div.ph-product-summary::text').extract_first(),

'price': info.css('h2.ph-product-price > span.price::text').extract_first(),

'long_description': info.css('div#product_tab_1').extract_first(),

'specs': info.css('div#product_tab_2').extract_first(),

}

# next_page = response.css('div.ph-summary-entry-ctn a::attr("href")').extract_first()

# if next_page is not None:

# yield response.follow(next_page, self.parse)

但是我不知道如何做第一部分。如你所见,我将主页(https://www.phidgets.com/?tier=1&catid=64&pcid=57)设置为start_url。但是,如何获取我需要抓取的所有30个网址填充到start_urls列表中呢?

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-25发表,共计1287字。
新手QQ群:570568346,欢迎进群讨论 Python51学习