Python爬虫编程思想(146):创建和使用Scrapy工程

406次阅读
没有评论
Python爬虫编程思想(146):创建和使用Scrapy工程

        Scrapy框架提供了一个scrapy命令用来建立Scrapy工程,可以使用下面的命令建立一个名为myscrapy是Scrapy工程。

scrapy startproject myscrapy

        执行上面的命令后,会在当前目录下创建一个myscrapy子目录。在myscrapy目录中还有一个myscrapy子目录,在该目录中有一堆子目录和文件,这些目录和文件就对应了图19-1所示的各部分。例如,spiders目录就对应了网络爬虫,其他的目录和文件先不用管。因为使用Scrapy框架编写网络爬虫的主要工作就是编写Spider。所有的Spider脚本文件都要放到spiders目录中。

        下面的例子会在spiders目录中建立一个firstSpider.py脚本文件,这是一个Spider程序,在该程序中会指定要抓取的Web资源的Url。

import scrapy class Test1Spider(scrapy.Spider): # Spider的名称,需要该名称启动Scrapy name = ‘FirstSpider’ # 指定要抓取的Web资源的Url start_urls = [ ‘京

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-25发表,共计502字。
新手QQ群:570568346,欢迎进群讨论 Python51学习