行情中心 沪深京A股 上证指数 板块行情 股市异动 专题 涨跌情报站 盯盘 港股 研究所 直播 股票开户 智能选股
全球指数
数据中心 资金流向 龙虎榜 融资融券 沪深港通 比价数据 研报数据 公告掘金 新股申购 大宗交易 业绩速递

广发证券:MRDIMM和CXL增加AI服务器内存 建议关注产业链核心受益标的

来源:智通财经 2025-10-29 10:35
点赞
收藏

广发证券发布研报称,在高并发、长上下文的密集型推理中,MRDIMM与CXL形成“近端高带宽+远端大容量”的分层协同,以更低TCO增加AI服务器内存供给与弹性扩展。CXL 3.1对KVCache的性能提升尤为明显,特别适用于高并发、超长上下文的负载。建议关注产业链核心受益标的。

广发证券主要观点如下:

MRDIMM和CXL增加AI服务器内存

如何同时提升并平衡AI服务器的内存容量扩展与性能成为当前架构演进的核心难题。当前存在三个难题:(1)HBM成本高、容量受限;(2)不同应用与负载的内存需求差异明显,需避免内存不足/过度配置;(3)CPU插槽的内存可扩展容量成为瓶颈,需要新型存储与架构来拓展。MRDIMM与CXL形成“近端高带宽+远端大容量”的分层协同,以更低TCO增加AI服务器内存供给与弹性扩展。

MRDIMM为面向KVCache密集型推理的近端内存基座

MRDIMM在大模型推理的KVCache场景下提供确定性增益:并发更高、上下文更长、端到端时延更低,并显著优化CPU–GPU内存编排与资源利用。具体体现为:(1)带宽提升:根据Next-Gen AIApp Server Performance with CXL3.1 Tier Memory and MRDIMMGen2 solution报告,MRDIMMGen2最高支持12800 MT/s速率,在AI负载下相对DDR5 RDIMM带宽可提升2.3倍;更快的内存访问显著降低KVCache读/写时延,支撑高吞吐推理;(2)容量扩展:单条支持64/96/128GB容量,支持更长上下文与更多并行会话;(3)解耦式内存设计:MRDIMM的高带宽与大容量适配CPU侧KVCache卸载。Intel Xeon 6“Granite Rapids”搭载12通道内存控制器,可充分释放MRDIMM带宽潜力,有效缓解GPU显存压力,并利于多会话调度与跨会话KVCache复用,在延迟与成本间取得平衡。

CXL提供远端/池化拓展,在KVCache密集型推理中形成显著TCO优势

CXL 3.1对KVCache的性能提升尤为明显,特别适用于高并发、超长上下文的负载。具体体现为:(1)内存池化与扩展:在CPU/GPU/加速器间做内存池化,将部分KVCache从昂贵的GPU显存弹性卸载到CXL设备,在不增加GPU成本前提下扩大有效容量至TB级;(2)低时延访问:CXL访问时延可逼近CPUDRAM,使置于CXL的KVCache在高负载下亦能维持接近实时的解码性能;(3)解耦式KVCache架构:在字节跳动LLM服务栈中,将KVCache卸载至CXL可使batch size提高30%、GPU需求降低87%、prefill阶段GPU利用率提升7.5倍;(4)分层内存管理:CXL支持冷热分层,允许根据访问频率对KVCache进行动态放置。热点KV驻留GPU/CPUDRAM,温冷数据迁移至CXL池。以DeepSeek-1.73B量化模型为例,单路CPU(CPU0+128GB)+CXL扩展128GB较双路CPU(CPU0/CPU1各128GB)在提示与解码吞吐基本持平,但处理器数量更少,形成明显TCO优势。

风险提示

AI产业发展以及需求不及预期;AI服务器出货量不及预期,国产厂商技术和产品进展不及预期。

(来源:
智通财经)
原标题:
广发证券:MRDIMM和CXL增加AI服务器内存 建议关注产业链核心受益标的

免责声明:本页所载内容来旨在分享更多信息,不代表九方智投观点,不构成投资建议。据此操作风险自担。投资有风险、入市需谨慎。

举报

写评论

声明:用户发表的所有言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。《九方智投用户互动发言管理规定》

发布
0条评论

暂无评论

赶快抢个沙发吧

相关股票

相关板块

  • 板块名称
  • 最新价
  • 涨跌幅

相关资讯

扫码下载

九方智投app

扫码关注

九方智投公众号

头条热搜

涨幅排行榜

  • 上证A股
  • 深证A股
  • 科创板
  • 排名
  • 股票名称
  • 最新价
  • 涨跌幅
  • 股圈