中国电信申请基于 GPU 网络拓扑的大模型容量编排专利，

据金融界 1 月 13 日消息，据国家知识产权局公告，中国电信股份有限公司申请一项名为“基于 GPU 网络拓扑的大模型容量编排方法、系统及介质“，公开号 CN117391163 A，申请日期为 2023 年 10 月。 专利摘要显示，本发明公开了基于 GPU 网络拓扑的大模型容量编排方法、系统及介质，方法包括检测多个设备之间的网络带宽信息，设备包括 GPU 和第一设备，根据网络带宽信息，以 GPU 和第一设备作为节点，以连接两个设备的通道作为初始链路，以每条初始链路的网络带宽信息和类型作为边，构建设备网络拓扑；获取训练请求，根据设备网络拓扑选择与训练请求对应的训练网络拓扑；根据训练网络拓扑创建大模型容器，通过配置大模型容器执行与训练请求对应的训练任务。本发明通过设备网络拓扑能够发现 GPU 之间的网络带宽，使得容器的编排能够满足 GPU 之间的带宽需求，提高了大模型训练的训练性能和训练效率及训练资源的利用率。本发明应用于大模型训练技术领域。