Agent AI: Surveying the Horizons of Multimodal Interaction
核心结论
- 定义 “Agent AI” 为一类能感知视觉刺激、语言输入和环境数据的交互系统，产生有意义的 embodied 动作。
- 提出跨现实（cross-reality）训练框架，利用生成式 AI 结合多数据源训练通用 Agent。
- 覆盖四大应用领域：游戏（VR/AR/MR）、机器人、医疗健康、多模态交互。
关键事实
- 来源：Stanford、Microsoft Research、UCLA、UW 联合，2024。
- 核心主张：通过在多模态环境中嵌入 Agent，可以减轻大模型的幻觉问题。
- 提出 Infinite Agent 概念：将通用大模型的知识迁移到新领域。
- 强调 Agent AI 需要伦理考量：偏见、包容性、安全对齐。
- 具身 AI（Embodied AI）方面：LLM 可生成机器人操作计划，VLM 可关联语言地标与视觉输入。
与现有 Wiki 的关系
后续问题
- 跨现实训练如何保证 sim-to-real 的迁移效果？
- Agent AI 在医疗等高风险场景的可靠性验证机制？