Python 爬虫学习笔记(十(5))scrapy的POST请求

829次阅读
没有评论

创建scrapy文件的步骤和之前一样:

  • 创建项目 scrapy startproject 项目的名字
  • 跳转到scrapy文件夹的目录下
  • 创建爬虫文件
    scrapy genspider 爬虫文件的名字
  • 生成文件如图
    Python
    不难发现,start_url这个链接是无法访问的,原因是它是一个POST请求,POST请求必须依赖参数才能执行。

    start_url没有意义了,导致parse方法也没用了

    我们必须重新定义一个函数,然后用scrapy的POST请求方法,也就是scrapy.FormRequest去请求这个url,并且传入参数。之后回调parse_second函数来获取内容。

    Python


    总结

  • scrapy的POST请求中start_url没有意义,因为POST请求必须依赖于参数。
  • 需自定义函数,使用scrapy.FormRequest来传参数进行POST请求。
  • 可以指定callback来对相应内容进行操作。
  • 神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

    相关文章:

    版权声明:Python教程2022-10-25发表,共计382字。
    新手QQ群:570568346,欢迎进群讨论 Python51学习