bert推理速度太慢如何解决
生活随笔
收集整理的這篇文章主要介紹了
bert推理速度太慢如何解决
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
問(wèn)題:
大家用Estimater.predict總是把模型重新load一遍,這樣工程業(yè)務(wù)根本沒(méi)法用。
下面的解決方案是為了解決這個(gè)問(wèn)題而產(chǎn)生的 為了使模型不要老是重新load
總結(jié)
以上是生活随笔為你收集整理的bert推理速度太慢如何解决的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。