(资料图片仅供参考)
编程客栈()8月8日 消息:加州大学伯克利分校研究人员推出了一种名为 Dynalang 的智能体,这是一种通过在线体验获取世界语言和视觉模型的智能体,并利用该模型来理解人类行为。
由于世界建模与动作不同,Dynalang 可以在单一模式(纯编程文本或纯视频数据)上进行预训练,而无需活动或任务奖励。此外,语言生成的框架可能是统一的:代理的感知可以影响其语言模型(即,其对未来标记的预测),从而允许其通过在动作空间中生成语言来交流环境。他们在具有不同语言环境的广泛领域中测试 Dynalang。Dynalang 学习利用有关未来观察、环境动态和纠正的语言线索,以便在多任务房屋清洁环境中更快地完成家务。
论文地址:https://arxiv.org/abs/2308.01399
Dynalang 通过使用未来预测来将语言与视觉体验相连接,能够理解各种形式的语言以完成不同的任务。它在多任务的家庭php清洁环境中学会使用语言提示来更快地完成任务,并且在 MessengedcHCxZBIr 基准测试中表现优于其他算编程法。Dynalang 还可以在视觉语言导航中接收复杂的指令,并展示了超越其他算法和任务特定架构的能力。