行情中心 沪深A股 上证指数 板块行情 股市异动 股圈 专题 涨跌情报站 盯盘 港股 研究所 直播 股票开户 智能选股
全球指数
数据中心 资金流向 龙虎榜 融资融券 沪深港通 比价数据 研报数据 公告掘金 新股申购 大宗交易 业绩速递 科技龙头指数

科大讯飞与华为昇腾联合团队实现大规模专家并行集群推理性能翻番

中国证券网 04-18 15:32

上证报中国证券网讯 据科大讯飞4月18日消息,科大讯飞与华为昇腾联合团队通过多种优化手段提升“飞星一号”平台上MoE模型集群推理的性能上限,并在近期实现大规模专家并行集群推理性能翻番。

今年3月,科大讯飞携手华为在国产算力领域取得重大进展,双方联合团队率先突破国产算力集群上MoE模型(混合专家模型)的大规模跨节点专家并行集群推理。

在上一个版本算子和通信优化的基础上,联合团队升级了适配MoE模型的PD分离+大规模专家并行系统解决方案,进行了以下技术创新工作:适配MoE的PD分离部署,通过定制集合通信协议,消除集合通信流量冲突,性能提升20%以上;实现国产算力上MTP多token预测技术,降低MTP层计算耗时,整体性能提升30%以上;专家负载均衡算法再升级,实现卡间负载均衡差异小于8%,集群推理吞吐性能提升30%以上;创新性实现异步双发射技术,解决高并发下的高CPU负载问题,降低服务请求调度耗时,系统性能提升10%。

基于上述解决方案的迭代与升级,通过在“飞星一号”平台上对星火MoE模型、DeepSeekV3/R1进行实测,实现了推理性能比上一个版本提升1倍,已逼近国产算力上MoE集群推理的性能上限,也大大加速了讯飞星火大模型的训练。

针对以上技术创新,科大讯飞将于近期对相关技术实现进行深入解读。此外,深度推理大模型讯飞星火X1也即将全新升级。

免责声明:本页所载内容来旨在分享更多信息,不代表九方智投观点,不构成投资建议。据此操作风险自担。投资有风险、入市需谨慎。

举报

相关股票

相关板块

  • 板块名称
  • 最新价
  • 涨跌幅

相关资讯

扫码下载

九方智投app

扫码关注

九方智投公众号

头条热搜

涨幅排行榜

  • 上证A股
  • 深证A股
  • 科创板
  • 排名
  • 股票名称
  • 最新价
  • 涨跌幅
  • 股圈