Met内讧!大模型团队人员流失大半 算力紧缺竟成导火索
大家好!今天讓小編來大家介紹下關于Met內訌!大模型團隊人員流失大半 算力緊缺竟成導火索的問題,以下是小編對此問題的歸納整理,讓我們一起來看看吧。
《科創板日報》9月6日訊(編輯 邱思雨) 據The Information報道,消息人士表示,Meta參與LLaMA項目的人員大半都已辭職,原因是Meta另一研究團隊(OPT團隊)與LLaMA團隊就算力資源展開了一場內部斗爭。
LLaMA是Meta在今年2月發布的一款開源的人工智能大型語言模型。在今年7月,Meta發布了其最新版本LLaMA 2。相較上一代,LLaMA 2訓練所用的token翻了一倍至2萬億。
而在2月發布的初代LLaMA模型的14位核心原作者中,已有超過一半的人全部離職,包括Timothée Lacroix、Guillaume Lample、MarieAnne Lachaux、Gautier Izacard等。
論文地址:https://arxiv.org/pdf/2302.13971.pdf
另一OPT團隊則在2022年5月發布了開源大模型OPT175B,并在幾個月后著手開發與谷歌PaLM競爭的競品,準備開發出第二個更大的模型。
而LLaMA團隊開發的模型則比OPT要小。知情人士透露,LLaMA研究團隊認為較小的模型在推理時會高效。但由于LLaMA模型小,因此獲取的算力資源比OPT團隊要少,這或許讓LLaMA團隊的研究人員感受到不被重視。
Meta AI相關負責人Joelle Pineau也在采訪中承認,LLaMA和OPT團隊之間在算力分配上有些緊張。
另外,算力資源內斗不僅導致了LLaMA團隊半數研究人員的出走,OPT團隊同樣也面臨人員流失的問題。OPT模型的19位原作者中,也有半數已離職Meta。
論文地址:https://arxiv.org/pdf/2205.01068.pdf
原因主要系OPT團隊正在開發的與谷歌PaLM競爭的競品,已被Meta放棄。Pineau無奈地表示:“所有研究團隊都想升級自己的模型,這時要么選擇其中一個,要么讓他們合作?!盡eta AI的一些高管也表達過質疑稱,OPT和LLaMA兩個團隊項目的相似度過高,卻要競爭有限的算力資源。
最終,Meta AI的領導人決定進行團隊重組,將LLaMA和OPT團隊的部分研究成員聚集起來,成立了生成式AI團隊。
在AI算力競賽中,科技巨頭往往擁有比大多數公司更加充裕的算力資源。而Meta大模型研究人員因算力斗爭而相繼離職愈發印證了,目前業內算力緊缺程度比想象中還要嚴重,科技巨頭或許也不例外。
來源:財聯社
以上就是小編對于Met內訌!大模型團隊人員流失大半 算力緊缺竟成導火索問題和相關問題的解答了,Met內訌!大模型團隊人員流失大半 算力緊缺竟成導火索的問題希望對你有用!
總結
以上是生活随笔為你收集整理的Met内讧!大模型团队人员流失大半 算力紧缺竟成导火索的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 第十次上海合作组织成员国司法部长会议发表
- 下一篇: 东芯股份:MCP单价、容量在逐步提升 N