微软发布 27 亿参数语言模型 Phi-2，性能可媲美或优于比它大 25 倍的模型

AI 新智界讯，12 月 13 日，微软发布 27 亿参数的语言模型—Phi-2。据介绍，由于在模型缩放和训练数据整理方面进行了创新，在复杂的基准测试中，Phi-2 的性能可媲美或优于比它大 25 倍的模型。 据悉，Phi-2 是一个基于 Transformer 的模型，在 1.4 T 的词块上进行了训练，这些词块来自 NLP 和编码的合成数据集和网络数据集。在 96 个 A100 GPU 上对 Phi-2 的训练耗时 14 天。Phi-2 是一个基础模型，没有通过人类反馈强化学习（RLHF）进行调整，也没有经过指导性微调。尽管如此，与经过对齐的现有开源模型相比，Phi-2 在毒性和偏差方面有更好的表现。 在各种综合基准测试中，Phi-2 超越了 Mistral 和 Llama-2 模型在 70 亿和 130 亿参数下的性能。值得注意的是，在多步骤推理任务（即编码和数学）上，Phi-2 的性能是 Llama-2-70 B 模型的 25 倍。此外，Phi-2 的性能与最近发布的 Google Gemini Nano 2 不相上下，甚至更胜一筹。