华为诺亚方舟实验室等联合推出新型大语言模型架构盘古 -π，同规模性能超 LLaMA

据量子位 1月 2 日报道，华为诺亚方舟实验室等联合推出新型大语言模型架构：盘古 -π。通过增强非线性，该架构在传统 Transformer 上做出改进，由此可以显著降低特征塌陷问题，模型输出表达能力更强。据悉，在使用相同数据训练的情况下，盘古 -π（7B）在多任务上超越 LLaMA 2 等同规模大模型，并能实现 10% 的推理加速。在 1B 规模上可达 SOTA。同时华为还基于这一架构炼出了一个金融法律大模型“云山”。该工作由 AI 大牛陶大程领衔。