智源研究院发布 370 亿参数多模态大模型 Emu2

AI 新智界讯，12 月 21 日，北京智源研究院宣布发布具有 370 亿参数的多模态大模型 Emu2。 据介绍，Emu2 在少样本多模态理解任务上大幅超越 Flamingo-80B、IDEFICS-80B 等主流多模态预训练大模型，在包括 VQAv2、OKVQA、MSVD、MM-Vet、TouchStone 在内的多项少样本理解、视觉问答、主体驱动图像生成等任务上取得最优性能。 Emu2 表现出强大的多模态上下文学习能力，甚至可以解决需要即时推理的任务，例如视觉提示和基于对象的生成。基于 Emu2 微调的 Emu2-Chat 可以精准理解图文指令，实现更好的信息感知、意图理解和决策规划。Emu2-Gen 则可接受图像、文本、位置交错的序列作为输入，实现灵活、可控、高质量的图像和视频生成。研究团队还表示，Emu2 可以作为各种多模态任务的基础模型和通用接口。