Scrapy框架提供了一个scrapy命令用来建立Scrapy工程,可以使用下面的命令建立一个名为myscrapy是Scrapy工程。
scrapy startproject myscrapy
执行上面的命令后,会在当前目录下创建一个myscrapy子目录。在myscrapy目录中还有一个myscrapy子目录,在该目录中有一堆子目录和文件,这些目录和文件就对应了图19-1所示的各部分。例如,spiders目录就对应了网络爬虫,其他的目录和文件先不用管。因为使用Scrapy框架编写网络爬虫的主要工作就是编写Spider。所有的Spider脚本文件都要放到spiders目录中。
下面的例子会在spiders目录中建立一个firstSpider.py脚本文件,这是一个Spider程序,在该程序中会指定要抓取的Web资源的Url。
import scrapy class Test1Spider(scrapy.Spider): # Spider的名称,需要该名称启动Scrapy name = ‘FirstSpider’ # 指定要抓取的Web资源的Url start_urls = [ ‘京
神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试