研究人员研发首个视觉、语言、音频和动作多模态模型 Unified-IO 2

据新智元 12 月 30 日报道，来自艾伦人工智能研究所、伊利诺伊大学厄巴纳 - 香槟分校、华盛顿大学的学者提出了 Unified-IO 2。据悉，Unified-IO 2 是首个具备理解和创造图像、文本、音频以及动作能力的自回归多模态模型。 Unified-IO 2 在 GRIT 基准测试中取得了 SOTA，在超过 30 个基准测试中展现出了卓越的性能，包括图像生成与理解、文本理解、视频和音频理解以及机器人操作等领域。研究人员会将这些模型开放给研究社区，共同推动科学研究的进展。