中国投资网 快讯 Intel 研究人员提出新 AI 方法，更高效地在 CPU 上部署 LLM

Intel 研究人员提出新 AI 方法，更高效地在 CPU 上部署 LLM

作者: hao333 发布:2023-11-11 12:37:40 9557阅读 5288评论

据站长之家报道，大型语言模型（LLM）因在文本生成、语言理解和文本摘要等任务中的卓越表现而备受欢迎，但其庞大的模型参数却需要大量内存和专用硬件。为了降低推断所需的计算功率，Intel 的研究人员提出了一种有效的方法，支持自动的 INT-4 权重量化流程，可以在 CPU 上高效部署 LLM。此外，他们设计了一个特定的 LLM 运行时，具有高度优化的内核，可以加速 CPU 上的推断过程。

本文来自网络，不代表本站立场，转载请注明出处：https://news9.com.cn/n/a58803.html
打赏 1146赞

,Intel,研究人员提出新,AI,方法，更高效地在,CPU,上部署,LLM

中国投资网后续将为您提供丰富、全面的关于,Intel,研究人员提出新,AI,方法，更高效地在,CPU,上部署,LLM内容，让您第一时间了解到关于,Intel,研究人员提出新,AI,方法，更高效地在,CPU,上部署,LLM的热门信息。小编将持续从百度新闻、搜狗百科、微博热搜、知乎热门问答以及部分合作站点渠道收集和补充完善信息。

相关文章