SpeechIO TIOBE

ASR Benchmark

滾動測試報告?2021年10月

1、更新日志

最新更新日期:2021-10

• 2021年10月：

  • 場景：增加?[電臺節目:張震鬼故事]?[華語大學生辯論賽]?[同聲傳譯現場 時政]

  • 流程：TN模塊增加無意義 filler 詞?"呃，啊" 過濾

  • 測試：全廠商?× 全場景 滾動刷新測試

• 2021年7月：

  • 場景：增加?[短視頻-產品開箱]?[短視頻-農業種植]?[線下培訓-古希臘哲學]

  • 測試：全廠商?× 全場景 滾動刷新測試

• 2021年4月：

  • 發布：Leaderboard 項目

  • 場景：增加 [汽車之家-汽車評測]?[小艾大叔-豪宅帶看]

  • 測試：全廠商?× 全場景 滾動刷新測試

• 2021年1月:

  • 場景：增加[體育賽事解說-NBA] [紀錄片-籃球人物]

  • 廠商：得到"創業公司S"授權，身份公布為思必馳AISpeech，調用平臺為[思必馳開放平臺-一句話識別服務]

  • 測試：全廠商 × 全場景 滾動刷新測試

• 2020年12月:

  • 場景：增加 [少兒卡通 小豬佩奇&熊出沒]

  • 廠商：百度服務切換至極速版，詳見 [百度服務切換說明]

  • 測試：全廠商 × 全場景 滾動刷新測試

• 2020年11月：

  • 場景：增加 [評書 單田芳-白眉大俠]，[相聲 德云社]，[脫口秀 吐槽大會]

  • 測試：全廠商 × 全場景 滾動刷新測試

• 2020年10月：

  • 指標：增加?SOTA 數值?，詳見 [當我們談論SOTA時，我們在談論什么]

  • 場景：增加 [短視頻 電影剪輯 谷阿莫&牛叔說電影] [短視頻 美食&烹飪 瓊斯愛生活&貧窮料理]

  • 測試集發布：[新聞聯播] 測試集已公開發布，后續滾動測試不會每期都覆蓋該場景

  • 測試：全廠商 × 全場景 滾動刷新測試

• 2020年9月：

  • 場景：增加 [在線教育 羅翔 法考] [在線教育 張雪峰 考研]?? ?

  • 廠商：[阿里云+]已上線合并入公網版本[阿里云]，TIOBE 歷史數據記錄始終以公網版本為準。

  • 測試：全廠商 × 全場景 滾動刷新測試

• 2020年8月：

  • 場景：增加 [播客 創業內幕]

  • 測試：全廠商 × 全場景 滾動刷新測試

• 2020年7月：

• • 場景：增加 [播客 故事FM]

  • 重要修復：發現 [直播帶貨 李佳琪薇婭]?[直播王者榮耀 張大仙騷白]?[老羅語錄]?三個場景測試集標注錯誤，全面檢查&修正；作廢這三個測試集6月的測試結果，7月開始啟用修正后的測試集。詳情見本月已經發布的[更正說明文章]

  • 測試：全廠商 × 全場景 滾動刷新測試

• 2020年6月：

• • 場景：增加 [直播帶貨 李佳琪薇婭]?[直播王者榮耀 張大仙騷白] [老羅語錄]

  • 廠商：增加?阿里+?，為阿里云新算法的試用版;?測試中取消[谷歌], 因谷歌的中文識別性能沒有參考性，且費用超過其余各家之和。

  • 更名：原搜狗知音平臺?改名為?搜狗AI開放平臺

  • 測試：全廠商 × 全場景 滾動刷新測試

• 2020年5月：

• • 修復搜狗多句結果解析bug

  • 場景：增加 [天下足球-世界杯往事]?[羅振宇跨年演講]?[李永樂老師在線講堂]

  • 廠商：增加?創S

  • 測試：全廠商 × 全場景 滾動刷新測試

• 2020年4月：

• • 場景：增加 [魯豫有約大咖一日行]

  • 廠商：增加?微軟 Azure 認知服務?搜狗知音平臺

  • 測試：全廠商 × 全場景 滾動刷新測試

• 2020年3月：

  • 項目發布：[引篇] [測試規范]

• • 場景：增加 [新聞聯播]

  • 廠商：增加?阿里?百度?谷歌?訊飛?騰訊?創Y

2、滾動測試

已有測試集信息匯總

文章鏈接	場景	領域	難度(1-5)
新聞聯播	新聞播報	時政	★
魯豫有約一日行	訪談電視節目	名人工作、生活	★★☆
天下足球	專題電視節目	足球	★★☆
羅振宇跨年	會場演講	社會、人文、商業	★★
李永樂講堂	在線教育	科普	★★★
直播 王者榮耀	直播	游戲	★★★☆
直播 帶貨	直播	電商、美妝	★★★★☆
老羅語錄	線下培訓	段子，做人	★★★★☆
播客 故事FM	播客	人生故事、見聞	★★☆
播客 創業內幕	播客	創業、產品、投資	★★☆
羅翔 法考	在線教育	法律 法考	★★☆
張雪峰 考研	在線教育	考研 高校報考	★★★☆
谷阿莫&牛叔	短視頻	電影剪輯	★★★
瓊斯愛生活&貧窮料理	短視頻	美食、烹飪	★★★☆
單田芳-白眉大俠	評書	江湖、武俠	★★☆
德云社專場	相聲	包袱段子	★★★
吐槽大會	脫口秀	明星糗事	★★☆
小豬佩奇&熊出沒	少兒動畫	童話故事、日常	★☆
NBA現場轉播	體育賽事解說	籃球，NBA	★★★
籃球人物	紀錄片	籃球明星，成長	★★
汽車之家 汽車評測	短視頻	汽車品牌，車型，路測	★★★☆
小艾大叔 豪宅帶看	短視頻	房地產，豪宅	★★★☆
Zealer & 無聊開箱	短視頻	產品開箱	★★★
付老師種植技術	短視頻	農業種植	★★★☆
石國鵬線下課	線下培訓	古希臘哲學	★★☆
張震鬼故事	電臺節目	恐怖故事	★★★
華語大學生辯論賽	辯論賽	興趣，技能，成長	★★★
同聲傳譯	同聲傳譯現場	時政	★★★☆

最新滾動測試結果匯總

縱軸（字準確率%）繪制范圍為?[70, 100]

(注：訊飛被低估，原因詳見鏈接?[SOTA])

最新滾動測試詳細數據

3、簡評

• 本季度新加入 [張震鬼故事] [大學生辯論賽] [同聲傳譯現場] 場景測試。

• 本季度測試流程中的TN模塊加入了無意義 filler 詞 “呃，啊”的過濾，各廠商數字會因此有少許提升。

• 本次滾動測試，阿里的調用更新到公網最新版“拾音石”，在 SpeechIO 測試集上性能全面下滑。其它廠商服務無明顯變化。

• 自本期滾動測試開始，SpeechIO 在有精力的前提下盡量做到每期都全面更換調用賬號。

總結

以上是生活随笔為你收集整理的语音之家SOTA | TIOBE 滚动测试报 2021.10的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。