Python爬虫编程思想(151):使用Scrapy抓取数据,用ItemLoader保存单条抓取的数据

421次阅读
没有评论
Python爬虫编程思想(151):使用Scrapy抓取数据,用ItemLoader保存单条抓取的数据

        在前面的文字中通过parse方法返回一个MyscrapyItem对象的方式将抓取的数据保存到指定的文件中,本文会介绍另外一种保存数据的方式:ItemLoader。

本质上,ItemLoader对象也是通过返回一个item的方式保存数据的,只不过ItemLoader对象将item和response(用于从服务端获取响应数据的对象)进行了封装。

ItemLoader类的构造方法常用的参数有2个:item和response,其中item用于指定Item对象(如本例的MyscrapyItem对象),response用于指定从服务的获取数据的对象(本例是response,也是parse方法的第2个参数)。

        下面的例子会通过一个ItemLoader对象以及XPath截取文章列表的第一篇文章的标题、摘要和Url。它们分别保存在title、abstract和href三个属性中。最后在运行网络爬虫时会通过“-o”命令行参数指定保存的文件类型(通过扩展名确定文件类型),成功运行后,就会将抓取到的数据保存到指定的文件中。

import scrapy from scr

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-25发表,共计488字。
新手QQ群:570568346,欢迎进群讨论 Python51学习