4 月 10 日消息，蘋果公司近日發布研究論文，展示了 Ferret-UI AI 系統，可以理解應用程序屏幕上的內容。

以 ChatGPT 為代表的 AI 大語言模型（LLMs），其訓練材料通常是文本內容。為了能夠讓 AI 模型能夠理解圖像、視頻和音頻等非文本內容，多模態大語言模型（MLLMs）因此孕育而生。

只是現階段 MLLMs 還無法有效理解移動應用程序，這主要有以下幾個原因：

1. 手機屏幕的寬高比，和大多數訓練圖像使用的屏幕寬高比不同。

2. MLLMs 需要識別出圖標和按鈕，但它們相對來說都比較小。

因此蘋果構想了名為 Ferret-UI 的 MLLM 系統解決了這些問題：

與自然圖像相比，用戶界面屏幕的長寬比通常更長，包含的關注對象（如圖標、文本）也更小，因此我們在 Ferret 的基礎上加入了 "任意分辨率"，以放大細節并利用增強的視覺功能。

我們精心收集了大量初級用戶界面任務的訓練樣本，如圖標識別、查找文本和小部件列表。這些樣本的格式都是按照帶有區域注釋的指令來設計的，以便于精確引用和接地。

為了增強模型的推理能力，我們進一步編制了高級任務數據集，包括詳細描述、感知 / 交互對話和功能推理。

蘋果在論文中表示相比較現有的 GPT-4V，以及其它 MLLMs 模型，Ferret-UI AI 模型更為優秀。

附上參考地址

• Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

投訴水文 我要糾錯

總結

以上是生活随笔為你收集整理的苹果介绍 Ferret-UI 多模态大语言模型：更充分理解手机屏幕内容的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。