高通推出 Cloud AI 100 Ultra 云推理卡，可运行千亿参数大模型

据 DoNews 11 月 15 日报道，高通发布云 AI 推理加速卡 Cloud AI 100 Ultra，专为生成式 AI 和大型语言模型而设计。 这款产品可提供相当于上一代产品四倍的性能，可以在单张 150 W 的卡上部署 100B 参数模型，在两张卡上部署 175B 参数，通过堆栈还可以支持更大尺寸的模型。高通表示，Cloud AI 100 平台在最新基准测试结果的所有加速卡中均处于领先地位。