中国投资网快讯蚂蚁开源大模型技术 Lookahead，将推理加速 2-6 倍

蚂蚁开源大模型技术 Lookahead，将推理加速 2-6 倍

作者: hao333 发布:2024-01-18 12:06:41 8415阅读 3743评论

据站长之家 1 月 18 日报道，蚂蚁开源大模型技术 Lookahead。Lookahead 是一个推理加速框架，可以大幅提升大模型的推理效率，可将推理加速 2-6 倍。通过采用多分支策略，Lookahead 能够在一次前向过程中生成更多的 Token，进一步压榨硬件性能。

本文来自网络，不代表本站立场，转载请注明出处：https://news9.com.cn/n/a97458.html

中国投资网后续将为您提供丰富、全面的关于蚂蚁开源大模型技术,Lookahead，将推理加速,2-6,倍内容，让您第一时间了解到关于蚂蚁开源大模型技术,Lookahead，将推理加速,2-6,倍的热门信息。小编将持续从百度新闻、搜狗百科、微博热搜、知乎热门问答以及部分合作站点渠道收集和补充完善信息。