上证报中国证券网讯 据科大讯飞4月18日消息,科大讯飞与华为昇腾联合团队通过多种优化手段提升“飞星一号”平台上MoE模型集群推理的性能上限,并在近期实现大规模专家并行集群推理性能翻番。
今年3月,科大讯飞携手华为在国产算力领域取得重大进展,双方联合团队率先突破国产算力集群上MoE模型(混合专家模型)的大规模跨节点专家并行集群推理。
在上一个版本算子和通信优化的基础上,联合团队升级了适配MoE模型的PD分离+大规模专家并行系统解决方案,进行了以下技术创新工作:适配MoE的PD分离部署,通过定制集合通信协议,消除集合通信流量冲突,性能提升20%以上;实现国产算力上MTP多token预测技术,降低MTP层计算耗时,整体性能提升30%以上;专家负载均衡算法再升级,实现卡间负载均衡差异小于8%,集群推理吞吐性能提升30%以上;创新性实现异步双发射技术,解决高并发下的高CPU负载问题,降低服务请求调度耗时,系统性能提升10%。
基于上述解决方案的迭代与升级,通过在“飞星一号”平台上对星火MoE模型、DeepSeekV3/R1进行实测,实现了推理性能比上一个版本提升1倍,已逼近国产算力上MoE集群推理的性能上限,也大大加速了讯飞星火大模型的训练。
针对以上技术创新,科大讯飞将于近期对相关技术实现进行深入解读。此外,深度推理大模型讯飞星火X1也即将全新升级。



