我正在寫(xiě)一個(gè)模塊來(lái)訓(xùn)練一個(gè)大型數(shù)據(jù)集上的ML模型——它包括0.6米的數(shù)據(jù)點(diǎn)，每個(gè)數(shù)據(jù)點(diǎn)的維度都是0.15米。我在加載數(shù)據(jù)集本身時(shí)遇到了問(wèn)題。(全是numpy數(shù)組)

下面是一個(gè)代碼片段(它復(fù)制了實(shí)際代碼的主要行為)：import numpy

import psutil

FV_length = 150000

X_List = []

Y_List = []

for i in range(0,600000):

feature_vector = numpy.zeros((FV_length),dtype=numpy.int)

# using db data, mark the features to activated

class_label = 0

X_List.append(feature_vector)

Y_List.append(class_label)

if (i%100 == 0):

print(i)

print("Virtual mem %s" %(psutil.virtual_memory().percent))

print("CPU usage %s" %psutil.cpu_percent())

X_Data = np.asarray(X_List)

Y_Data = np.asarray(Y_List)

這些代碼會(huì)導(dǎo)致內(nèi)存分配不斷增加，直到被殺死。有沒(méi)有辦法減少不斷增加的內(nèi)存分配？在

我試過(guò)用gc.收集()但它始終返回0。我把variables=None顯式地設(shè)置為，不再有用。在

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的python 会增加内存吗,Python+不断增加的内存分配的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。