微软发布小语言模型对 Orca 2，性能可与 Llama-2 Chat-70B 等大语言模型媲美

据 VentureBeat 报道，11 月 21 日，微软研究部门发布小语言模型对 Orca 2。据悉，Orca 2 在零射频环境下的复杂推理任务测试中，其性能可与 Meta 的 Llama-2 Chat-70B 等大型语言模型媲美，甚至超过它们的五到十倍。Orca 2 有 70 亿和 130 亿参数两种大小，建立在最初的 13B Orca 模型的基础上，几个月前，该模型通过模仿更大、能力更强的模型的逐步推理轨迹，展示了强大的推理能力。 目前，微软已将这两个新模型开源，以便进一步研究如何开发和评估与大型模型性能相当的小型模型。