源自一次未完成的實(shí)驗(yàn)，因?yàn)槿罩纠锩娌樵冊~實(shí)在太少了。

word2vec下載地址:http://download.csdn.net/detail/hortond/8095703
解壓之后執(zhí)行make。


下載點(diǎn)評頭條內(nèi)容,contents.txt文件
內(nèi)容進(jìn)行分詞,需要安裝jieba分詞:pip install jieba
#! /usr/bin/env python
#coding=utf-8


import jieba
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )


f = open('contents.txt', 'rb')
line = f.readline()
no = 1
while line:
? seg_list = jieba.cut(line, cut_all=False)
? print '\t'.join(seg_list)
? line = f.readline()
? no += 1
f.close()


生成contents_cut.txt文件
生成
使用python gensim模塊加載對應(yīng)的詞向量,首先pip install gensim,然后:
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
from gensim.models import KeyedVectors
model = KeyedVectors.load_word2vec_format("vectors.bin", binary=True, unicode_errors="ignore")
然后就可以看到對應(yīng)的詞向量和相似度了:
model[u"男人"]
model.similarity(u"男人",u"女人")
可以算出詞向量并非單位向量，并且長度不是固定值


詞向量按單位向量進(jìn)行歸一，然后完整查詢進(jìn)行分詞，每個(gè)詞按照idf加權(quán)向量疊加，最后再按單位向量進(jìn)行歸一。

為什么歸一為單位向量，因?yàn)檫@時(shí)余弦相似度和歐幾里得距離是相關(guān)的了。

最后用kd樹取近鄰法，取出top k,再取更進(jìn)一步的特征做精排，出相關(guān)搜索的詞。

總結(jié)

以上是生活随笔為你收集整理的相关搜索词的一种粗排方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。