计算机学院五名学生开发手语app,大学生团队研发成功“聋人自然手语翻译器”APP...
把語音轉換成文字,再將文字翻譯成手語,在第25個“全國助殘日”到來之際,江蘇科技大學的一群平均年齡不到22歲的年輕創業者們,研發出了一款“聾人自然手語翻譯器”,為普通人與聾啞群體搭建溝通的橋梁。
拿起手機,點擊機器人圖標,說出你想對聾啞朋友說的話,只需幾秒鐘,一張張手語圖便跳了出來,實現普通人與聽障者的零距離溝通。
這原本只是一個簡單的概念設想,目前,一群平均年齡只有22歲的大學生做到了,讓不懂手語的人也能和聽障群體進行交流。
5月14日,江蘇科技大學計算機系的5名志愿者來到鎮江市特教中心,在沒有手語老師翻譯的情況下,通過一個手機APP——聾人自然手語翻譯器,與高一年級10位聾啞學生交流互動。
去年10月,TouchVoice創新團隊宣布,開始研發助聽障群體溝通的軟件,目前該團隊已擴容至9人。理工科背景加上對自然語言處理的核心優勢,幾人一拍即合,決定潛心研究一個惠及聾啞群體的手機軟件。把語音轉換成文字,再將文字翻譯成手語,為普通人與聾啞群體搭建溝通的橋梁。
設想勾畫完成之后,“三大庫”的建立至關重要:手語圖片庫、手語動畫庫、手語視頻庫。研發團隊核心成員吳琪在接受媒體采訪時表示,此外,為了該款軟件研發的順利推進,團隊成員分別負責3D人體骨骼動畫研究、安卓端的開發、算法研究、以及自然語言分析幾大塊工作。
“目前來看,我們已經完成最基礎的構想——手語圖片庫,并且取得了良好的用戶體驗,和同學們交流了40多分鐘,每句語音都被準確翻譯成了手語圖,他們都能看懂。” 吳琪介紹,幾經周折,團隊將“我愛手語網”列為最佳選擇對象,在計算機系老師編寫的“爬蟲”軟件支持下,目前已經成功收錄5234張手語識別圖片。
據介紹,為了呈現出動態手語,并將手語與文字翻譯互通,用動畫和視頻進行呈現。團隊購置了Leap Motion設備拍攝手語動畫,并加入了配備RealSense 3D攝像頭的筆記本配合圖像采集。
但是,研發也不是一帆風順,據團隊另一核心成員陳璟透露,團隊構思了各種手語識別算法,考慮平行關節、手指點、深度圖等問題,最終由于手指關節數據的誤差較大,產品研發優化在這方面的瓶頸尚待突破。
總結
以上是生活随笔為你收集整理的计算机学院五名学生开发手语app,大学生团队研发成功“聋人自然手语翻译器”APP...的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2017计算机基本配置检测表,2017整
- 下一篇: 玩ts要注意什么_番禺三维创意拍摄要注意