行情中心 沪深京A股 上证指数 板块行情 股市异动 股圈 专题 涨跌情报站 盯盘 港股 研究所 直播 股票开户 智能选股
全球指数
数据中心 资金流向 龙虎榜 融资融券 沪深港通 比价数据 研报数据 公告掘金 新股申购 大宗交易 业绩速递 科技龙头指数

腾讯混元AI Infra推开源生产级高性能LLM推理核心算子库HPC-Ops 推理吞吐提升三成

AASTOCKS新闻 02-05 09:53

腾讯(00700.HK)旗下大语言模型腾讯混元AI Infra团队宣布,推出开源生产级高性能LLM推理核心算子库HPC-Ops,基於生产环境痛点,采用CUDA和CuTe从零构建,通过抽象化工程架构、微架构深度适配及指令级极致优化等,降低底层算子开发门槛,将核心算子性能逼近硬件高峰,实现性能突破。

在真实场景下,基於HPC-Ops,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。同时,在单算子性能方面,HPC-Ops实现Attention相比FlashInfer / FlashAttention最高提升2.22 倍;GroupGEMM相比 DeepGEMM最高提升1.88倍;FusedMoE相比TensorRT-LLM最高提升1.49倍。

免责声明:用户发布的内容仅代表其个人观点,与九方智投无关,不作为投资建议,据此操作风险自担。请勿相信任何免费荐股、代客理财等内容,请勿添加发布内容用户的任何联系方式,谨防上当受骗。

举报

相关股票

相关板块

  • 板块名称
  • 最新价
  • 涨跌幅

相关资讯

扫码下载

九方智投app

扫码关注

九方智投公众号

头条热搜

涨幅排行榜

  • 上证A股
  • 深证A股
  • 科创板
  • 排名
  • 股票名称
  • 最新价
  • 涨跌幅
  • 股圈