2019獨角獸企業重金招聘Python工程師標準>>>

敏感詞過濾是我朝程序員必須具備的一種特殊技能，隨著敏感詞越來越多，是時候寫個擴展來快速的進行敏感詞檢測了
使用說明

1. 安裝 libdatrie
tar zxf libdatrie-0.2.4.tar.gz
cd libdatrie-0.2.4
./configure --prefix=/usr/local
make
make install

2. 安裝 trie_filter 擴展
tar zxf trie_filter-1.0.0.tar.gz
cd trie_filter-1.0.0
/usr/local/php/bin/phpize

./configure? --with-php-config=/usr/local/php/bin/php-config
make
make install
記得修改你的 php.ini 文件，啟用 trie_filter 擴展。extension=trie_filter.so

?

3. 生成詞典預處理工具（dpp.c 在 trie_filter-1.0.0 里面）
gcc -o dpp dpp.c -ldatrie

4. 生成敏感詞詞典
首先你需要把需要檢測的敏感詞寫入到一個文本文件中（如：minganci.txt），每行一個敏感詞，然后使用上一步生成的 dpp 程序處理這個文本文件來生成詞典
./dpp txt_file_path dict_file_path?????

?(例：./dpp? /home/like/software/minganci.txt? minganci.dic

出現如下錯誤：

./dpp: error while loading shared libraries: libdatrie.so.1: cannot open shared object file: No such file or directory

解決方法：

#vi /etc/ld.so.conf? 在里面加入：/usr/local/lib
然后運行：#/sbin/ldconfig，即解決

最后再：./dpp? /home/like/software/minganci.txt? minganci? )

?

5. 使用擴展
擴展接口很簡單，只有兩個函數：
1) trie_filter_load($path_to_dict)
用來載入詞典，成功返回一個 Trie_Filter 資源句柄，失敗返回 NULL
2) trie_filter_search($trie, $text)
用來檢測一段文本中是否含有詞典中定義的敏感詞，$trie 是上一個函數返回的 Trie Filter 句柄，$text 是欲檢測的文本
如果檢測到敏感詞則返回一個數組，數組第一個元素指出檢測到的敏感詞在 $text 中的偏移量，第二個元素指出該敏感詞的長度(bytes)
如果沒有檢測到敏感詞，則返回一個空數組

擴展的速度怎么樣

一個字，很快！擴展的檢測算法基于 Double Array Trie Tree，查找單一關鍵字的時間復雜度為 O(1)，查找整段文本的時間復雜度為 O(n)，n 為文本的長度，而且檢測的速度不會因為敏感詞的增加而降低。

注意事項

1. 擴展把詞典和要檢測的文本都當做平凡的字節流處理，因此可以無視字符集的問題。但需要注意的是詞典的編碼需要和檢測文本的編碼一致（我曾經犯過這樣的錯誤：詞典編碼和文本編碼不一樣，生成的詞典用不了），例如詞典為 UTF-8 編碼而你需要檢測的文本為 GBK 編碼，這就要求你在調用 trie_filter_search() 函數之前通過 iconv 或者 mb_xxx 函數轉換一下編碼
2. 目前只在 linux + php-5.2 環境下測試通過，不支持 windows，也沒有支持的計劃

trie_filter-1.0.0.tar

libdatrie-0.2.4.tar

轉載于:https://my.oschina.net/mickelfeng/blog/133349

總結

以上是生活随笔為你收集整理的用于检测敏感词的 PHP 扩展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。