SuperCLUE 发布中文大模型基准测评 2023 年度报告：国内外差距依然明显

据北京商报报道，12 月 28 日，国内中文模型评测机构 SuperCLUE 发布中文大模型基准测评 2023 年度报告。根据报告，过去半年，国内领军大模型企业实现了大模型代际追赶的奇迹，从 7 月份与 GPT3.5 的 20 分差距，每个月都有稳定且巨大的提升，到 11 月份测评时已经完成总分上对 GPT3.5 的超越。 据介绍，本次测评数据选取了 SuperCLUE-12 月测评结果，模型选取了国内外有代表性的 26 个大模型在 12 月份的版本。测评结果显示，国内外差距依然明显。GPT4-Turbo 总分 90.63 分遥遥领先，高于其他国内大模型及国外大模型。其中国内最好模型文心一言 4.0 (API）总分 79.02 分，距离 GPT4-Turbo 有 11.61 分，距离 GPT4（网页）有 4.9 分的差距。 但过去 1 年国内大模型已经有了长足的进步。综合能力超过 GPT3.5 和 Gemini-Pro 的模型有 11 个，比如百度的文心一言 4.0、阿里云的通义千问 2.0 和 Qwen-72B-Chat、OPPO 的 AndesGPT、清华 智谱 AI 的智谱清言、字节跳动的云雀大模型等都有比较好的表现。另外国内开源模型在中文上表现要好于国外开源模型，如百川智能的 Baichuan2-13B-Chat、阿里云的 Qwen-72B、Yi-34B-Chat 均优于 Llama2-13B-Chat。