python3 循环写入一对多键值对_为什么Python 3.6以后字典有序并且效率更高?
在Python 3.5(含)以前,字典是不能保證順序的,鍵值對A先插入字典,鍵值對B后插入字典,但是當你打印字典的Keys列表時,你會發現B可能在A的前面。
但是從Python 3.6開始,字典是變成有順序的了。你先插入鍵值對A,后插入鍵值對B,那么當你打印Keys列表的時候,你就會發現B在A的后面。
不僅如此,從Python 3.6開始,下面的三種遍歷操作,效率要高于Python 3.5之前:
for key in 字典 for value in 字典.values() for key, value in 字典.items()從Python 3.6開始,字典占用內存空間的大小,視字典里面鍵值對的個數,只有原來的30%~95%。
Python 3.6到底對字典做了什么優化呢?為了說明這個問題,我們需要先來說一說,在Python 3.5(含)之前,字典的底層原理。
當我們初始化一個空字典的時候,CPython的底層會初始化一個二維數組,這個數組有8行,3列,如下面的示意圖所示:
my_dict = {} ''' 此時的內存示意圖 [[---, ---, ---], [---, ---, ---], [---, ---, ---], [---, ---, ---], [---, ---, ---], [---, ---, ---], [---, ---, ---], [---, ---, ---]] '''現在,我們往字典里面添加一個數據:
my_dict['name'] = 'kingname' ''' 此時的內存示意圖 [[---, ---, ---], [---, ---, ---], [---, ---, ---], [---, ---, ---], [---, ---, ---], [1278649844881305901, 指向name的指針, 指向kingname的指針], [---, ---, ---], [---, ---, ---]] '''這里解釋一下,為什么添加了一個鍵值對以后,內存變成了這個樣子:
首先我們調用Python 的 hash 函數,計算 name 這個字符串在 當前運行時 的hash值:
>>> hash('name') 1278649844881305901特別注意,我這里強調了『當前運行時』,這是因為,Python自帶的這個 hash 函數,和我們傳統上認為的Hash函數是不一樣的。Python自帶的這個 hash 函數計算出來的值,只能保證在每一個運行時的時候不變,但是當你關閉Python再重新打開,那么它的值就可能會改變,如下圖所示:
假設在某一個運行時里面, hash('name') 的值為 1278649844881305901 。現在我們要把這個數對8取余數:
Python資源共享群:484031800
>>> 1278649844881305901 % 8 5余數為5,那么就把它放在剛剛初始化的二維數組中,下標為5的這一行。由于 name 和 kingname 是兩個字符串,所以底層C語言會使用兩個字符串變量存放這兩個值,然后得到他們對應的指針。于是,我們這個二維數組下標為5的這一行,第一個值為 name 的hash值,第二個值為 name 這個字符串所在的內存的地址(指針就是內存地址),第三個值為 kingname 這個字符串所在的內存的地址。
現在,我們再來插入兩個鍵值對:
my_dict['age'] = 26 my_dict['salary'] = 999999 ''' 此時的內存示意圖 [[-4234469173262486640, 指向salary的指針, 指向999999的指針], [1545085610920597121, 執行age的指針, 指向26的指針], [---, ---, ---], [---, ---, ---], [---, ---, ---], [1278649844881305901, 指向name的指針, 指向kingname的指針], [---, ---, ---], [---, ---, ---]] '''那么字典怎么讀取數據呢?首先假設我們要讀取 age 對應的值。
此時,Python先計算在當前運行時下面, age 對應的Hash值是多少:
>>> hash('age') 1545085610920597121現在這個hash值對8取余數:
>>> 1545085610920597121 % 8 1余數為1,那么二維數組里面,下標為1的這一行就是需要的鍵值對。直接返回這一行第三個指針對應的內存中的值,就是 age 對應的值 26 。
當你要循環遍歷字典的Key的時候,Python底層會遍歷這個二維數組,如果當前行有數據,那么就返回Key指針對應的內存里面的值。如果當前行沒有數據,那么就跳過。所以總是會遍歷整個二位數組的每一行。
每一行有三列,每一列占用8byte的內存空間,所以每一行會占用24byte的內存空間。
由于Hash值取余數以后,余數可大可小,所以字典的Key并不是按照插入的順序存放的。
注意,這里我省略了與本文沒有太大關系的兩個點:
開放尋址在Python 3.6以后,字典的底層數據結構發生了變化,現在當你初始化一個空的字典以后,它在底層是這樣的:
my_dict = {} ''' 此時的內存示意圖 indices = [None, None, None, None, None, None, None, None] entries = [] '''當你初始化一個字典以后,Python單獨生成了一個長度為8的一維數組。然后又生成了一個空的二維數組。
現在,我們往字典里面添加一個鍵值對:
my_dict['name'] = 'kingname' ''' 此時的內存示意圖 indices = [None, 0, None, None, None, None, None, None] entries = [[-5954193068542476671, 指向name的指針, 執行kingname的指針]] '''為什么內存會變成這個樣子呢?我們來一步一步地看:
在當前運行時, name 這個字符串的hash值為 -5954193068542476671 ,這個值對8取余數是1:
>>> hash('name') -5954193068542476671 >>> hash('name') % 8 1所以,我們把 indices 這個一維數組里面,下標為1的位置修改為0。
這里的0是什么意思呢?0是二位數組 entries 的索引。現在 entries 里面只有一行,就是我們剛剛添加的這個鍵值對的三個數據: name 的hash值、指向 name 的指針和指向 kinganme 的指針。所以 indices 里面填寫的數字0,就是剛剛我們插入的這個鍵值對的數據在二位數組里面的行索引。
好,現在我們再來插入兩條數據:
my_dict['address'] = 'xxx' my_dict['salary'] = 999999 ''' 此時的內存示意圖 indices = [1, 0, None, None, None, None, 2, None] entries = [[-5954193068542476671, 指向name的指針, 執行kingname的指針],[9043074951938101872, 指向address的指針,指向xxx的指針],[7324055671294268046, 指向salary的指針, 指向999999的指針]] '''現在如果我要讀取數據怎么辦呢?假如我要讀取 salary 的值,那么首先計算 salary 的hash值,以及這個值對8的余數:
>>> hash('salary') 7324055671294268046 >>> hash('salary') % 8 6那么我就去讀 indices 下標為6的這個值。這個值為2.
然后再去讀entries里面,下標為2的這一行的數據,也就是salary對應的數據了。
新的這種方式,當我要插入新的數據的時候,始終只是往 entries 的后面添加數據,這樣就能保證插入的順序。當我們要遍歷字典的Keys和Values的時候,直接遍歷 entries 即可,里面每一行都是有用的數據,不存在跳過的情況,減少了遍歷的個數。
老的方式,當二維數組有8行的時候,即使有效數據只有3行,但它占用的內存空間還是 8 * 24 = 192 byte。但使用新的方式,如果只有三行有效數據,那么 entries 也就只有3行,占用的空間為3 * 24 =72 byte,而 indices 由于只是一個一維的數組,只占用8 byte,所以一共占用 80 byte。內存占用只有原來的41%。
總結
以上是生活随笔為你收集整理的python3 循环写入一对多键值对_为什么Python 3.6以后字典有序并且效率更高?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: html button 隐藏_java
- 下一篇: python image 转成字节_(推