爬虫中数据提取

467次阅读
没有评论

每日分享: 

每个人的成长就是你的能力和你想要获取的东西不断匹配的过程

目标

  • 了解jsonpath模块的使用场景
  • 掌握jsonpath模块的使用

一、jsonpath模块的使用场景

如果有一个多层嵌套的复杂字典,想要根据key和下标来批量提取value,这是比较困难的。

jsonpath模块可以很好地解决这个问题。

jsonpath可以按照key对pathon字典进行批量数据提取

二、jsonpath模块的使用

2.1 jsonpath模块的安装

在终端中输入:

pip install jsonpath

2.2 jsonpath模块提取数据的方法(作用对象为字典)

from jsonpath import jsonpath
ret = jsonpath(a, 'jsonpath语法规则的字符串')

例:(jsonpath提取出来的是列表,加上索引即可提取出列表内数据)

from jsonpath import jsonpath
a = {'key1': {'key2': {'key3': {'key4': {'key5': 'python'}}}}}
print(jsonpath(a, '$.key1.key2.key3.key4.key5')[0])
ret = jsonpath(a, '$..key5')[0]
print(ret)

结果:

爬虫中数据提取

2.3 语法规则(牢记红色部分即可)

jsonpath 描述
$ 根节点
@ 现行节点
. or [ ] 取子节点
. . 不管位置,选择所有符合条件的
* 匹配所有元素节点
[ ] 迭代器标示(可以在里边做简单的迭代操作,如数组下标,根据内容选值)
[, ] 支持迭代器中做多选
?() 支持过滤操作
() 支持表达式计算

2.4 jsonpath使用案例

from jsonpath import jsonpath
import json
# book_dict模拟requests得到的json字符串,需要中json转换为json字典
book_dict = '''{ 
  "store": {
    "book": [ 
      { "category": "reference",
        "author": "Nigel Rees",
        "title": "Sayings of the Century",
        "price": 8.95
      },
      { "category": "fiction",
        "author": "Evelyn Waugh",
        "title": "Sword of Honour",
        "price": 12.99
      },
      { "category": "fiction",
        "author": "Herman Melville",
        "title": "Moby Dick",
        "isbn": "0-553-21311-3",
        "price": 8.99
      },
      { "category": "fiction",
        "author": "J. R. R. Tolkien",
        "title": "The Lord of the Rings",
        "isbn": "0-395-19395-8",
        "price": 22.99
      }
    ],
    "bicycle": {
      "color": "red",
      "price": 19.95
    }
  }
}'''
data = json.loads(book_dict)
print(jsonpath(data, '$..color'))
print(jsonpath(data, '$..price'))

结果:

爬虫中数据提取

三、jsonpath练习

import json
from jsonpath import jsonpath
import requests
url = 'https://www.lagou.com/lbs/getAllCitySearchLabels.json'
headers = {
    'user-agent': '替换为你的user-agent'
}
response = requests.get(url=url, headers=headers)
data_dict = json.loads(response.content)
# 找到所有B开头的城市的名字
data = jsonpath(data_dict, '$..B..name')
print(data)

结果:

爬虫中数据提取

神龙|纯净稳定代理IP免费测试>>>>>>>>天启|企业级代理IP免费测试>>>>>>>>IPIPGO|全球住宅代理IP免费测试

相关文章:

版权声明:Python教程2022-10-19发表,共计1817字。
新手QQ群:570568346,欢迎进群讨论 Python51学习