爬虫——scrapy框架核心组件流程

348次阅读
没有评论

爬虫——scrapy框架核心组件流程
流程:

  • 引擎检测起始列表的url,调用start_request方法对列表里的url发起请求
    start_urls = [‘https://www.qiushibaike.com/text/’]
  • Spiders(爬虫)将需要发送请求的url(requests)经ScrapyEngine(引擎)交给Scheduler(调度器)。
  • Scheduler(排序,入队)处理后,经ScrapyEngine,DownloaderMiddlewares(可选,主要有User_Agent,
    Proxy代理)交给Downloader。
  • Downloader向互联网发送请求,并接收下载响应(response)。将响应(response)经ScrapyEngine,SpiderMiddlewares(可选)交给Spiders。
  • Spiders处理response,提取数据并将数据经ScrapyEngine交给ItemPipeline保存(可以是本地,可以是数据库)。
  • 提取url重新经ScrapyEngine交给Scheduler进行下一个循环。直到无Url请求程序停止结束。

https://blog.csdn.net/miner_zhu/article/details/81094077

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-25发表,共计528字。
新手QQ群:570568346,欢迎进群讨论 Python51学习