JSONPath 解析 JSON 內容詳解（翻譯自 github）：https://blog.csdn.net/freeking101/article/details/103048514

JSONPath Online Evaluator：http://jsonpath.com

Python 處理 JSON 我選擇 ujson 和 orjson：https://blog.csdn.net/weixin_40247412/article/details/109302522

一、jsonpath

1. jsonpath介紹

用來解析多層嵌套的 json 數據；JsonPath 是一種信息抽取類庫，是從 JSON 文檔中抽取指定信息的工具，提供多種語言實現版本，包括：Javascript, Python， PHP 和 Java。

使用方法：

import jsonpathres=jsonpath.jsonpath(dic_name,'$..key_name') # 嵌套 n 層也能取到所有 key_name 信息， # 其中：“$”表示最外層的{}， # “..”表示模糊匹配，當傳入不存在的 key_name時，程序會返回false

2. JsonPath 對于 JSON 來說，相當于 XPath 對于 XML

jsonpath 安裝：pip install jsonpath
官方文檔：http://goessner.net/articles/JsonPath

jsonpath-rw：JSONPath 的一個健壯且顯著擴展的Python實現，帶有一個明確的AST用于元編程。
jsonpath-rw 介紹：https://pypi.org/project/jsonpath-rw/
jsonpath-rw 安裝：pip install?jsonpath-rw

3. JsonPath 與 XPath 語法對比：

Json 結構清晰，可讀性高，復雜度低，非常容易匹配，下表中對應了XPath 的用法。

對比：

Python 使用示例：

# 使用格式： jsonpath.jsonpath(匹配的字典,'jsonpath表達式')# 找 d字典下面所有的name對應的值，返回一個列表 res2 = jsonpath.jsonpath(d,'$..name')

示例：

import jsonpathdef learn_json_path():book_store = {"store": {"book": [{"category": "reference","author": "Nigel Rees","title": "Sayings of the Century","price": 8.95},{"category": "fiction","author": "Evelyn Waugh","title": "Sword of Honour","price": 12.99},{"category": "fiction","author": "Herman Melville","title": "Moby Dick","isbn": "0-553-21311-3","price": 8.99},{"category": "fiction","author": "J. R. R. Tolkien","title": "The Lord of the Rings","isbn": "0-395-19395-8","price": 22.99}],"bicycle": {"color": "red","price": 19.95}},"expensive": 10}# print(type(book_store))# 查詢store下的所有元素print(jsonpath.jsonpath(book_store, '$.store.*'))# 獲取json中store下book下的所有author值print(jsonpath.jsonpath(book_store, '$.store.book[*].author'))# 獲取所有json中所有author的值print(jsonpath.jsonpath(book_store, '$..author'))# 獲取json中store下所有price的值print(jsonpath.jsonpath(book_store, '$.store..price'))# 獲取json中book數組的第3個值print(jsonpath.jsonpath(book_store, '$.store.book[2]'))# 獲取所有書print(jsonpath.jsonpath(book_store, '$..book[0:1]'))# 獲取json中book數組中包含isbn的所有值print(jsonpath.jsonpath(book_store, '$..book[?(@.isbn)]'))# 獲取json中book數組中price<10的所有值print(jsonpath.jsonpath(book_store, '$..book[?(@.price<10)]'))if __name__ == '__main__':learn_json_path()

4. 使用實例

示例代碼 1：

d={"error_code": 0,"stu_info": [{"id": 2059,"name": "小白","sex": "男","age": 28,"addr": "河南省濟源市北海大道32號","grade": "天蝎座","phone": "18378309272","gold": 10896,"info":{"card":434345432,"bank_name":'中國銀行'}},{"id": 2067,"name": "小黑","sex": "男","age": 28,"addr": "河南省濟源市北海大道32號","grade": "天蝎座","phone": "12345678915","gold": 100}] }res= d["stu_info"][1]['name'] #取某個學生姓名的原始方法:通過查找字典中的key以及list方法中的下標索引 print(res) #輸出結果是：小黑import jsonpath res1=jsonpath.jsonpath(d,'$..name') #嵌套n層也能取到所有學生姓名信息,$表示最外層的{}，..表示模糊匹配 print(res1) #輸出結果是list：['小白', '小黑']res2= jsonpath.jsonpath(d,'$..bank_name') print(res2) #輸出結果是list：['中國銀行']res3=jsonpath.jsonpath(d,'$..name123') #當傳入不存在的key(name)時,返回False print(res3) #輸出結果是：False

示例代碼 2：

以拉勾網城市 JSON 文件?http://www.lagou.com/lbs/getAllCitySearchLabels.json 為例，獲取所有城市。

import json import jsonpath import requestsurl = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json'custom_headers = {"Accept": "*/*","Accept-Encoding": "gzip, deflate, br","Accept-Language": "zh-CN,zh;q=0.9","Cache-Control": "max-age=0","Connection": "keep-alive","Host": "www.lagou.com","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ""(KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36" }response = requests.get(url, headers=custom_headers) json_obj = json.loads(response.text) print(json_obj)# 從根節點開始，匹配name節點 city_list = jsonpath.jsonpath(json_obj, '$..name') print(city_list) print(type(city_list))# A 下面的節點 jp = jsonpath.jsonpath(json_obj, '$..A.*') print(jp)# A 下面節點的name jp = jsonpath.jsonpath(json_obj, '$..A.*.name') print(jp)# C 下面節點的name jp = jsonpath.jsonpath(json_obj, '$..C..name') print(jp)# C 下面節點的第二個 jp = jsonpath.jsonpath(json_obj, '$..C[1]') print(jp)# C 下面節點的第二個的name jp = jsonpath.jsonpath(json_obj, '$..C[1].name') print(jp)# C 下面節點的2到5的name jp = jsonpath.jsonpath(json_obj, '$..C[1:5].name') print(jp)# C 下面節點最后一個的name jp = jsonpath.jsonpath(json_obj, '$..C[(@.length-1)].name') print(jp)with open('city.json', 'w', encoding='utf-8') as f:content = json.dumps(city_list, ensure_ascii=False, indent=4)print(content)f.write(content)

注意事項：

json.loads() 是把 Json 格式字符串解碼轉換成 Python 對象，如果在 json.loads 的時候出錯，要注意被解碼的 Json 字符的編碼。
如果傳入的字符串的編碼不是 UTF-8 的話，需要制定字符編碼的參數：encoding

dataDict = json.loads(jsonStrGBK);

dataJsonStr 是 JSON 字符串，假設其編碼本身是非 UTF-8 的話而是 GBK 的，那么上述代碼會導致出錯，改為對應的。

dataDict = json.loads(jsonStrGBK, encoding="GBK")

如果 dataJsonStr 通過 encoding 指定了合適的編碼，但是其中又包含了其它編碼的字符，則需要先去將 dataJsonStr 轉換為Unicode，然后再指定編碼格式調用 json.loads()

dataJsonStrUni = data.JsonStr.decode("GB2312") dataDict = json.loads(dataJsontrUni, encoding="GB2312")

字符串編碼轉換

其實編碼問題很好搞定，只要記住一點：任何平臺的任何編碼，都能和Unicode互相轉換。UTF-8 與 GBK 互相轉換，那就先把 UTF-8 轉換成 Unicode，再從 Unicode 轉換成 GBK，反之同理。

# 這是一個 UTF-8 編碼的字符串 utf8Str = "你好地球"# 1. 將 UTF-8 編碼的字符串 轉換成 Unicode 編碼 unicodeStr = utf8Str.decode("UTF-8")# 2. 再將 Unicode 編碼格式字符串 轉換成 GBK 編碼 gbkData = unicodeStr.encode("GBK")# 1. 再將 GBK 編碼格式字符串 轉化成 Unicode unicodeStr = gbkData.decode("gbk")# 2. 再將 Unicode 編碼格式字符串轉換成 UTF-8 utf8Str = unicodeStr.encode("UTF-8")

• decode： 的作用是將其它編碼的字符串轉換成 Unicode 編碼
• encode ：的作用是將 Unicode 編碼轉換成其他編碼的字符串
• 一句話：UTF-8 是對 Unicode 字符集記性編碼的一種編碼格式

二、Python 序列化之 json、pickle、msgpack 之 dumps、loads 區別于用法

Python 之 Json 模塊

json 類型特征

• json 是一種通用的數據類型，一般情況下接口返回的數據類型都是json
• 長得像 Python 字典，形式也是?k-v
• 其實 json 是字符串
• 字符串不能用 key、value 來取值，所以要先轉換為 Python 的字典才可以

示例：

import jsontest_str = ''' {"noticeLoginFlag": "1","ticket_id": "gh_45679b88e7a","pgv_si": "s29623456176","pgv_pvi": "1328457192" } '''data_dict = json.loads(test_str) print(data_dict) # 打印字典 print(type(data_dict)) # 打印 data_dict 類型 print(list(data_dict.keys())) # 打印字典的所有keydata_string = json.dumps(data_dict, indent=4, ensure_ascii=False) print(type(data_string)) print(data_string)

Python 之 simplejson 模塊

simplejson 更輕量級，使用方法完全與 json 相同

Python 之 pickle 模塊

pickle 類型特征

• pickle 模塊用于實現 序列化 和 反序列化。
• 序列化 dumps 可以將 list、dict 等數據結構轉化為二進制
• 反序列化 loads 可以將字符串轉化為 list、dict

數據結構(可以是列表、字典等)轉成字符串：dumps()方法：將一個數據結構編碼為二進制數據

import pickledata_dict = {'name': 'king', 'age': '100'} data_dict_list = [{'name': 'king', 'age': '100'},{'name': 'king', 'age': '100'} ]data_string_1 = pickle.dumps(data_dict) print(type(data_string_1)) print(data_string_1)data_string_2 = pickle.dumps(data_dict) print(type(data_string_2)) print(data_string_2)temp = pickle.loads(data_string_2) print(type(temp)) print(temp)

Python 之 msgpack 模塊

安裝?msgpack ：pip install msgpack

msgpack 類型特征

• msgpack 是一種有效的二進制序列化格式。它使您可以在多種語言（如JSON）之間交換數據。但是它更快，更小。
• 序列化 packb 可以將 list、dict 等數據結構轉化為二進制 ( packb 別名為 dumps )
• 反序列化 loads 可以將字符串轉化為 list、dict ( unpackb 別名為 loads )

import msgpackdata_dict = {'name': 'king', 'age': '100'} data_dict_list = [{'name': 'king', 'age': '100'},{'name': 'king', 'age': '100'} ]data_string_1 = msgpack.dumps(data_dict, use_bin_type=True) print(type(data_string_1)) print(data_string_1)temp_1 = msgpack.loads(data_string_1, use_list=False) print(temp_1)data_string_2 = msgpack.dumps(data_dict_list) print(type(data_string_2)) print(data_string_2)

示例：

import datetime import msgpackuseful_dict = {"id": 1,"created": datetime.datetime.now(), }def decode_datetime(obj):if b'__datetime__' in obj:obj = datetime.datetime.strptime(obj["as_str"], "%Y%m%dT%H:%M:%S.%f")return objdef encode_datetime(obj):if isinstance(obj, datetime.datetime):return {'__datetime__': True, 'as_str': obj.strftime("%Y%m%dT%H:%M:%S.%f")}return objpacked_dict = msgpack.packb(useful_dict, default=encode_datetime, use_bin_type=True) this_dict_again = msgpack.unpackb(packed_dict, object_hook=decode_datetime, raw=False)print(packed_dict) print(this_dict_again)

總結

以上是生活随笔為你收集整理的Python 中使用 jsonpath的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。