框架是为了解决特定的业务场景而开发的一套高质量代码,通过框架避免了重复造轮子的低效模式,可以更加专注于具体业务相关的代码。在python中,scrapy就是一个主流的爬虫框架,可以通过如下方式进行安装
pip install scrapy
scrapy框架的架构如下
核心是Scrapy引擎,其他各部分的功能如下
1. Spiders,主要有两个功能,提供需要解析的url链接,即Requests, 同时负责解析html页面,从其中提取需要的信息,提取出来的标准化信息称之为Item;
2. Scheduler,称之为调度器,负责对多个Requests任务进行调度
3. Downloader Middlewares, 下载中间件,可以对Requests请求进行封装,典型的应用是添加User-Agent信息,
4. Downloader,负责下载,下载对应的Requests,从服务器获取响应信息,即Responses
5. Item PIpeline,Spiders将提取出标准的Item信息,交给Item PIpeline进行处理,比如去重复等操作
下面通过一个小的实例来看下该框架的使用,通过如下代码可以新建一个爬虫项目
python -m scrapy startproject hello_world
在hello_world目录下,包含了如下以及文件
其中的setting.py 文件保存了爬虫相关的设置信息,最常见的用法是对以下选项进行设置
ROBOTSTXT_OBEY = False
这样爬虫就可以无视网站的roborts.txt文件,继续爬取。项目启动之后,我们首先要做的就是在spiders目录下,新建一个文件,编写我们的爬虫代码,文件的名字自己定义,内容示例如下
import scrapy
from hello_world.items import HelloWorldItem
class MirSpider(scrapy.Spider):
name = “MirSpider”
start_urls = [“http://mirtarbase.cuhk.edu.cn/php/search.php?opt=species&org=hsa&sort=id&order=asc&page={}”.format(i) for i in range(1, 100)]
def parse(self, response):
for row in response.xpath(‘//table/tr’):
item = HelloWorldItem()
res = []
for col in (row.xpath(‘td/text()’)):
res.append(col.extract())
if res[0] != ‘Homo sapiens’:
continue
item[‘species’] = res[0]
item[‘miRNA’] = res[2]
item[‘target’] = res[3]
item[‘total’] = res[4]
item[‘papers’] = res[5]
yield item
在该代码中,start_urls提供了需要爬取的页面,parse方法提供了从网页中提取信息的具体方式,对于提取信息的标准化,在items.py文件中进行定义,示例如下
import scrapy
class HelloWorldItem(scrapy.Item):
species = scrapy.Field()
miRNA = scrapy.Field()
target = scrapy.Field()
total = scrapy.Field()
papers = scrapy.Field()
通过以上两个文件的简单代码,就定义了一个最基本的爬虫,功能是从miRTarBase数据库中提取human miRNA的靶基因信息。在命令行中输入以下命令,可以启动该爬虫
python -m scrapy crawl MirSpider -o test.csv
直接将结果输出为标准的csv格式,由于采用了异步io的下载模式,爬取速度非常的快。
通过这个简单的示例,可以看出框架对于开发的便利性,我们只需要专注于编写从网页提取信息的核心代码就可以了,大大提高了开发效率,而且由于框架本身的优越性能,开发出的爬虫执行效率也很高。
·end·
一个只分享干货的
生信公众号
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试