發(fā)信人: finallyliuyu (領(lǐng)頭驢), 信區(qū): NLP
標(biāo) ?題: 求weka JVM outofMemory問題的解決方案
發(fā)信站: 水木社區(qū) (Sun Feb 20 10:36:12 2011), 站內(nèi)

正在用weka做文本分類的實(shí)驗(yàn)（主要側(cè)重點(diǎn)在于衡量特征詞選擇算法的優(yōu)劣）。
語料庫： Reteurs21578
featurewords 100
訓(xùn)練集規(guī)模：6950
測試集規(guī)模:2676
（采用稀疏數(shù)據(jù)儲存模式）生成的arff文件大小：trainCorpus.arff(538k),testCorpus.arff(208k)分類器采用SMO
結(jié)果報錯run outof memory。
參照一位同學(xué)的方法把runWeka.ini中的maxheap=2048m,依然無效。。
請教版內(nèi)的各位大神還有別的解決方案嗎？
看到網(wǎng)絡(luò)上有一些改JVM大小的方法，可是我對java不太熟悉哈，不知道如何修改。求詳細(xì)步驟。
--
NLP業(yè)余愛好者一枚

※ 來源:·水木社區(qū) http://newsmth.net/·[FROM: 159.226.20.*]

[本篇全文] [回復(fù)文章] [本篇作者：finallyliuyu] [回信給作者] [進(jìn)入討論區(qū)] [返回頂部][分享到 搜狐微博] 2 發(fā)信人: finallyliuyu (領(lǐng)頭驢), 信區(qū): NLP
標(biāo) ?題: Re: 求weka JVM outofMemory問題的解決方案
發(fā)信站: 水木社區(qū) (Sun Feb 20 10:47:05 2011), 站內(nèi)

我把我自己的數(shù)據(jù)上傳了，求助電腦上裝有weka的童鞋幫忙跑下，不勝感激。另外我疑心我自己的weka安裝有問題。 weka官方網(wǎng)上有兩種weka,一種是自帶jvm的，一種是不帶jvm的。由于我電腦上以前裝過java SDK,所以我選的是不帶jvm的，這樣安裝后的java在快捷菜單項(xiàng)上無法啟動

【 在 finallyliuyu (領(lǐng)頭驢) 的大作中提到: 】
: 正在用weka做文本分類的實(shí)驗(yàn)（主要側(cè)重點(diǎn)在于衡量特征詞選擇算法的優(yōu)劣）。
: 語料庫： Reteurs21578
: featurewords 100
: ...................

--
NLP業(yè)余愛好者一枚

※ 來源:·水木社區(qū) http://newsmth.net/·[FROM: 159.226.20.*]


附件: trainCorpus.arff (538KB)

附件: testCorpus.arff (207KB)

[本篇全文] [回復(fù)文章] [本篇作者：xwild] [回信給作者] [進(jìn)入討論區(qū)] [返回頂部][分享到 搜狐微博] 3 發(fā)信人: xwild (xwild), 信區(qū): NLP
標(biāo) ?題: Re: 求weka JVM outofMemory問題的解決方案
發(fā)信站: 水木社區(qū) (Sun Feb 20 10:53:01 2011), 站內(nèi)

可以試一下weka的命令行，可以設(shè)置最大內(nèi)存
【 在 finallyliuyu (領(lǐng)頭驢) 的大作中提到: 】
: 正在用weka做文本分類的實(shí)驗(yàn)（主要側(cè)重點(diǎn)在于衡量特征詞選擇算法的優(yōu)劣）。
: 語料庫： Reteurs21578
: featurewords 100
: ...................

--

※ 來源:·水木社區(qū) http://newsmth.net/·[FROM: 211.87.234.*]

[本篇全文] [回復(fù)文章] [本篇作者：finallyliuyu] [回信給作者] [進(jìn)入討論區(qū)] [返回頂部][分享到 搜狐微博] 4 發(fā)信人: finallyliuyu (領(lǐng)頭驢), 信區(qū): NLP
標(biāo) ?題: Re: 求weka JVM outofMemory問題的解決方案
發(fā)信站: 水木社區(qū) (Sun Feb 20 11:28:23 2011), 站內(nèi)

我這邊按照wekadoc里面調(diào)用weka命令行的方法進(jìn)行調(diào)用，沒有反應(yīng)哈，不出分類過程。
【 在 xwild (xwild) 的大作中提到: 】
: 可以試一下weka的命令行，可以設(shè)置最大內(nèi)存

--
NLP業(yè)余愛好者一枚

※ 來源:·水木社區(qū) http://newsmth.net/·[FROM: 159.226.20.*]


此主題相關(guān)圖片如下：wekaSimpleCLI調(diào)用.jpg (11KB)

[本篇全文] [回復(fù)文章] [本篇作者：xphan] [回信給作者] [進(jìn)入討論區(qū)] [返回頂部][分享到 搜狐微博] 5 發(fā)信人: xphan (DBlue), 信區(qū): NLP
標(biāo) ?題: Re: 求weka JVM outofMemory問題的解決方案
發(fā)信站: 水木社區(qū) (Sun Feb 20 16:43:30 2011), 站內(nèi)

java 在命令行下可以用 -Xms 和-Xmx來設(shè)置最小最大內(nèi)存，比如
java -Xms256m -Xmx5g ...
不過在windows下運(yùn)行的話，系統(tǒng)對內(nèi)存也有限制


【 在 finallyliuyu (領(lǐng)頭驢) 的大作中提到: 】
: 正在用weka做文本分類的實(shí)驗(yàn)（主要側(cè)重點(diǎn)在于衡量特征詞選擇算法的優(yōu)劣）。
: 語料庫： Reteurs21578
: featurewords 100
: ...................

--

※ 來源:·水木社區(qū) http://newsmth.net/·[FROM: 125.39.171.*]

[本篇全文] [回復(fù)文章] [本篇作者：fancyerii] [回信給作者] [進(jìn)入討論區(qū)] [返回頂部][分享到 搜狐微博] 6 發(fā)信人: fancyerii (喵了個咪的), 信區(qū): NLP
標(biāo) ?題: Re: 求weka JVM outofMemory問題的解決方案
發(fā)信站: 水木社區(qū) (Sun Feb 20 18:14:10 2011), 站內(nèi)

這樣的問題要么自己調(diào)試代碼，要么發(fā)到他們的maillist比較好。
【 在 finallyliuyu (領(lǐng)頭驢) 的大作中提到: 】
: 正在用weka做文本分類的實(shí)驗(yàn)（主要側(cè)重點(diǎn)在于衡量特征詞選擇算法的優(yōu)劣）。
: 語料庫： Reteurs21578
: featurewords 100
: ...................

--

※ 來源:·水木社區(qū) http://newsmth.net/·[FROM: 162.105.200.*]

[本篇全文] [回復(fù)文章] [本篇作者：finallyliuyu] [回信給作者] [進(jìn)入討論區(qū)] [返回頂部][分享到 搜狐微博] 7 發(fā)信人: finallyliuyu (領(lǐng)頭驢), 信區(qū): NLP
標(biāo) ?題: Re: 求weka JVM outofMemory問題的解決方案
發(fā)信站: 水木社區(qū) (Mon Feb 21 21:14:03 2011), 站內(nèi)

多謝xwild,這個問題目前已經(jīng)解決。 方案如下：
在weka SimpleCLI窗口依次輸入
java -Xmx 1024m
java weka.classifiers.lazy.IBk -K 5 -t data/trainCorpus.arff -T data/testCorpus.arff -i
此處以knn為例來說明如何利用控制臺解決weka內(nèi)存限制的問題。
參考資料 weka自帶的WekaManual 第一章 第一節(jié)A command line primer
?Morgan.Kaufmann data mining ? 第十三章第一節(jié) "The command line interface"

【 在 xwild (xwild) 的大作中提到: 】
: 可以試一下weka的命令行，可以設(shè)置最大內(nèi)存

--
NLP業(yè)余愛好者一枚

※ 來源:·水木社區(qū) http://newsmth.net/·[FROM: 159.226.20.*]

總結(jié)

以上是生活随笔為你收集整理的zz 标 题: 求weka JVM outofMemory问题的解决方案【已解决】的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。