【Python入门】一个有意思还有用的Python包-汉字转换拼音
一、應用概述
最近做一個項目,發現很多場景,把漢字轉換成拼音,然后進行深度學習分類,能夠取得非常不錯的效果,在做內容識別,特別是涉及到同音字的時候,轉換成拼音就顯得特別重要。比如垃圾廣告識別:公眾號、工仲號、躬總號,公眾號、微信、威信、維伈.........,pypinyin是我用的一個比較好用的包是
給大家分享下,當然,在其他很多場景也是可以使用的,排序、檢索等等場合。
?
二、有關文檔
GitHub: https://github.com/mozillazg/python-pinyin
文 ? 檔:https://pypinyin.readthedocs.io/zh_CN/master/
PyPi ?:https://pypi.org/project/pypinyin/
三、關于安裝
#可以使用 pip 進行安裝 pip?install?pypinyin#easy_install 安裝 easy_install pypinyin#源碼安裝 python setup.py install四、核心函數
1、pypinyin.pinyin
語法:pypinyin.pinyin(hans,?style=Style.TONE,??heteronym=False,?errors='default',?strict=True)
功能:將漢字轉換為拼音,返回漢字的拼音列表。
參數:
hans (unicode 字符串或字符串列表) – 漢字字符串(?'你好嗎'?)或列表(?['你好', '嗎']?). 可以使用自己喜愛的分詞模塊對字符串進行分詞處理, 只需將經過分詞處理的字符串列表傳進來就可以了。
style – 指定拼音風格,默認是 TONE 風格。更多拼音風格詳見 Style
errors –指定如何處理沒有拼音的字符。詳見?處理不包含拼音的字符
heteronym?– 是否啟用多音字
strict?– 是否嚴格遵照《漢語拼音方案》來處理聲母和韻母,詳見?strict 參數的影響
2、pypinyin.lazy_pinyin
語法:pypinyin.lazy_pinyin(hans,?style=Style,?errors='default',?strict=True)
功能:將漢字轉換為拼音,返回不包含多音字結果的拼音列表,與?pinyin()?的區別是返回的拼音是個字符串, 并且每個字只包含一個讀音
參數:
hans?(unicode?or?list) – 漢字
style?– 指定拼音風格,默認是?NORMAL?風格。更多拼音風格詳見?Style。
errors?– 指定如何處理沒有拼音的字符,詳情請參考?pinyin()
strict?– 是否嚴格遵照《漢語拼音方案》來處理聲母和韻母,詳見?strict 參數的影響
3、pypinyin.slug
功能:將漢字轉換為拼音,然后生成 slug 字符串,簡單說就是自定義分隔符
語法:pypinyin.slug(hans ,?style=Style,?heteronym=False,?separator='-',?errors='default',?strict=True)
hans?(unicode?or?list) – 漢字
style?– 指定拼音風格,默認是?NORMAL?風格。更多拼音風格詳見?Style
heteronym?– 是否啟用多音字
separator?– 兩個拼音間的分隔符/連接符
errors?– 指定如何處理沒有拼音的字符,詳情請參考?pinyin()
strict?– 是否嚴格遵照《漢語拼音方案》來處理聲母和韻母,詳見?strict 參數的影響
?
4、 pypinyin.load_single_dict
功能:載入用戶自定義的單字拼音庫
語法: pypinyin.load_single_dict(pinyin_dict,?style='default')
參數:
pinyin_dict?(dict) – 單字拼音庫。比如:?{0x963F:?u"ā,ē"}
style?– pinyin_dict 參數值的拼音庫風格. 支持 ‘default’, ‘tone2’
?
?
5、 pypinyin.load_phrases_dict
功能:載入用戶自定義的詞語拼音庫
語法: pypinyin.load_phrases_dict(phrases_dict,?style='default')
參數:
phrases_dict?(dict) – 詞語拼音庫。比如:?{u"阿爸":?[[u"ā"],?[u"bà"]]}
style?– phrases_dict 參數值的拼音庫風格. 支持 ‘default’, ‘tone2’
?
五、一個案例
假如需要找出一個垃圾評價的相似樣本,用漢語相似性遠遠小于拼音,這個時候,拼音就能發揮很大的優勢。
當然轉換成拼音后,把每個音節當一個詞,進行深度學習,效果也是非常好的。
?
S1 = '加公眾號:小優惠,領券,便宜購買' S2 = '伽工仲號:小優惠,伶綣,便宜購買'#漢語相似 simi_1 = len(set(S1).interp(set(S2)))/len(set(S1).union(set(S2)))#相似不懂的可以看我前面集合的文章 simi_1 0.5 #轉換成拼音后顯示 S1 = lazy_pinyin(S1) S2 = lazy_pinyin(S2) simi_2 = len(set(S1).interp(set(S2)))/len(set(S1).union(set(S2))) simi_2 0.875?
往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯AI基礎下載(pdf更新到25集)機器學習的數學基礎專輯獲取一折本站知識星球優惠券,復制鏈接直接打開:https://t.zsxq.com/yFQV7am本站qq群1003271085,加入微信群請掃碼喜歡文章,點個在看 與50位技術專家面對面20年技術見證,附贈技術全景圖總結
以上是生活随笔為你收集整理的【Python入门】一个有意思还有用的Python包-汉字转换拼音的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【深度学习】PyTorch深度学习训练可
- 下一篇: 复现经典:《统计学习方法》第14章 聚类