Python爬虫编程思想(147):在PyCharm中使用Scrapy

407次阅读
没有评论
Python爬虫编程思想(147):在PyCharm中使用Scrapy

        前面的例子是通过文本编辑器编写的,但在实际的开发中不可能用文本编辑器编写整个网络爬虫,所以需要选择一个IDE。我推荐目前最流行的PyCharm作为Python IDE。

        PyCharm不支持建立Scrapy工程,所以要先使用上一节介绍的方法通过命令行方式创建一个工程,然后再使用PyCharm创建一个普通的Python工程,将包含spiders子目录的myscrapy目录和scrapy.cfg文件复制到新建立的Python工程中。为了能直接在Python工程中运行网络爬虫,需要在myscrapy目录中建立一个execute.py脚本文件(文件名可以任意起),然后输入下面的代码。

from scrapy import cmdline # 通过代码运行基于Scrapy框架的网络爬虫 cmdline.execute(‘scrapy crawl FirstSpider’.split())

        如果要运行其他的网络爬虫,只需要修改上面代码中字符串里面的命令即可。

        使用scrapy命令创建的工程包含两个myscrapy目录࿰

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-25发表,共计479字。
新手QQ群:570568346,欢迎进群讨论 Python51学习