Ferret-UI:苹果开发出能“看懂”手机屏幕上并能执行任务的多模态模型
它将移动UI的视觉元素和语言元素结合起来,不仅能“看懂”屏幕上的内容,还能理解用户的指令和问题,进而执行任务或提供信息。
Ferret-UI的能力不止于看和识别,它还能进行推理。
例如,它可以通过分析屏幕上的元素来推测一个应用的功能,或者理解和参与与屏幕内容相关的对话。
Ferret-UI在所有基础UI任务上均超过了GPT-4V和大多数其他开源UI MLLM
论文:https://t.co/SVFe3OZNKb
点击图片查看原图