scrapyd在python爬虫里怎么用

428次阅读
没有评论
scrapyd在python爬虫里怎么用

如果大家比较关注于python的爬虫数据分析挖掘,那就一定要跟着小编学习了解下scrapyd,其本身优点非常的多,比如我们可以实现远程启动、停止或者删除,也可以规避爬虫源码,因为也被很多人称之为是专门用来发布scrapy爬虫的工具,好啦,下面就一起来详细了解下使用过程吧。

安装服务器:

pip install scrapyd

安装客户端:

pip install scrapyd-client

测试服务器开启:

浏览访问服务:

修改scrapy项目目录下的scrapy.cfg文件:

[deploy:JD_Spider]    #加上target   :name
url = http://localhost:6800/   #将前面的#删除
project = JD

上面就是scrapyd在爬虫中的简单使用,感兴趣的小伙伴可以跟着小编学习掌握,希望可以帮助到大家哦~

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:wuyou2021-05-09发表,共计375字。
新手QQ群:570568346,欢迎进群讨论 Python51学习