pythonslice_shift_Pandas 解决dataframe的一列进行向下顺移问题
最近做比賽,有時候需要造出新的特征,而這次遇到的問題是將一列數據往下順移一位。同時將開頭缺失的那一個數據用其他方式填充。
df['feature'].shift(1)向下順移一位,這時第一位會置為nan,需要填充。
----------------------歷史分割線-----------------
錯誤方案:
當時首先想到的是用loc來直接進行替換,也就是
i = len(dt)
dt_new = pd.DataFrame()
dt_new.loc[0, 'test'] = 0
dt_new.loc[1 : i - 1, 'test'] = dt.loc[0 : i - 2, 'data'] #這里會報錯
愿望很美好,現實很殘酷,這種方法會報錯。
不太好的方案:
于是打算用循環的辦法一個一個替換
dt_new = pd.DataFrame()
dt_new.loc[0, 'test'] = 0
for i in range(len(dt) - 1):
dt_new.loc[i + 1, 'test'] = dt.loc[i, 'data']
然而這個僅僅O(n)算法復雜度的東西,實際檢驗當用在幾萬行數據真的可以給你算好久好久,所以這個辦法也棄用了。
正確方案:
pandas的dataframe,每一行是有序號的,直接進行替換的話,有時它會將相同序號的進行替換,這個是dataFrame的特性,有時會忽略從你選擇的那一行開始替換,而直接從0開始。所以如果想用pandas來進行順位移動的話,目前沒有在API中找到便捷的方法。
最后終于想到了另外一個辦法,就是轉化為Numpy數組進行移動后,再轉回dataFrame。
dt_v = dt['data'].values
dt_v = dt_v.flatten()
i = len(dt)
dt_new_v = np.zeros(i)
dt_new_v[0] = 0
dt_new_v[1 : i] = dt_v[0 : i - 1] #這里要注意Numpy數組截取[1, i]實際截取的是[1, i - 1]行!
dt_new = pd.DataFrame()
dt_new['test'] = dt_new_v
要注意Numpy數組截取[1, i]實際截取的是第[1, i - 1]行!
以上這篇Pandas 解決dataframe的一列進行向下順移問題就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持我們。
本文標題: Pandas 解決dataframe的一列進行向下順移問題
本文地址: http://www.cppcns.com/jiaoben/python/295718.html
總結
以上是生活随笔為你收集整理的pythonslice_shift_Pandas 解决dataframe的一列进行向下顺移问题的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: perl 远程 mysql_写的一个pe
- 下一篇: jpa连接mysql报错_Spring