创建scrapy文件的步骤和之前一样:
scrapy genspider 爬虫文件的名字
生成文件如图
不难发现,start_url这个链接是无法访问的,原因是它是一个POST请求,POST请求必须依赖参数才能执行。
start_url没有意义了,导致parse方法也没用了
我们必须重新定义一个函数,然后用scrapy的POST请求方法,也就是scrapy.FormRequest去请求这个url,并且传入参数。之后回调parse_second函数来获取内容。
总结
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试