解码三星CXL内存池化的AI推理能力

2026-11-21 0 3

容量扩展,性能兼顾
解码三星 CXL 内存池化的 AI 推理能力
以 CXL 内存池化应对 KV Cache 扩展挑战
随着生成式 AI 加速普及,AI 基础设施关注重点正逐步从单纯训练性能拓展至更广泛的系统能力。

对于在生产环境中部署大语言模型(LLM)的企业而言,推理效率与可扩展性已成为实现高响应、具成本效益 AI 服务的关键因素
其中,一个日益突出的挑战是 KV Cache(Key-Value Cache,键值缓存)需求的快速增长。

随着上下文长度不断增加、并发用户数量持续上升,KV Cache 所需的内存容量可能很快超过可用的 GPU 显存及系统 DRAM 资源,由此形成 AI 推理基础设施中的新瓶颈
为应对这一挑战,三星评估了基于 CXL 的内存池化方案用于 KV Cache 卸载,重点探索其能否在维持接近传统 DRAM 性能的同时,实现可扩展的内存容量扩展。

图1. 基于 KV Cache 的 LLM 推理流程
为什么 KV Cache 至关重要
在推理过程中,LLM 会利用 KV Cache 存储此前已计算得到的键向量(Key)和值向量(Value)。

通过复用这些数据,而无需在生成每一个新 Token 时重复计算,可显著降低推理时延和计算开销
然而,随着模型规模、上下文长度和用户并发量持续增长,KV Cache 的容量需求很容易达到数百 GB基于 S。

SD 或网络附加内存的传统卸载方式虽然可以缓解容量限制,但通常会引入额外的时延与带宽开销
CXL 内存池化带来的新机遇
Compute Express Link(CXL)正在成为下一代数据中心架构中的关键技术之一。

通过具备内存一致性的高带宽互连实现内存扩展,CXL 可帮助系统突破传统 DRAM 配置的物理限制
当 CXL 与 CXL 交换机结合使用时,可将多个内存设备聚合为共享内存池,从而实现灵活的内存资源分配,并显著提升可用内存容量。

三星 CMM-D(CXL Memory Module-DRAM)旨在支持此类内存扩展架构,为 AI 推理等内存密集型工作负载提供具有吸引力的解决方案
评估 CXL 内存
在 AI 推理场景中的表现。

本次评估环境由 NVIDIA RTX PRO 6000 Blackwell GPU、通过 CXL 交换机连接并配置为 1TB CXL 内存池的三星 CMM-D 模块、vLLM¹ 与 LMCache² 软件栈,以及基于三星相关技术方案的主机侧优化共同构成。

本次评估所要回答的核心问题十分明确:CXL 内存池能否在支持大规模 KV Cache 卸载的同时,维持与 DRAM 相当的性能?

解码三星CXL内存池化的AI推理能力

图2. 环境评估系统框图
在更大规模下实现接近 DRAM 的性能
评估结果表明,在 AI 推理工作负载中,CXL 内存池化能够同时提供接近 DRAM 的性能与显著的内存扩展能力
在单 GPU 配置下,当优化后的 CXL 内存池作为 LMCach 后端使用时,其性能可与 DRAM 相当。

在采用 8 张 GPU 的多 GPU 环境中,CXL 内存池在提供显著更大内存容量的同时,仍可维持约 92% 的 DRAM 性能
研究还在 KV Cache 需求持续增长的情况下,对 512GB DRAM 配置与 1TB CXL 内存池进行了比较。

当 KV Cache 需求超过可用 DRAM 容量后,由于产生 KV Cache 重新计算开销,系统性能开始下降相比之下,CXL 内存池能够容纳显著更大的 KV Cache 内存占用规模,并保持稳定性能。

面向 AI 基础设施的内存池化未来
三星的评估结果显示,对于 KV Cache 卸载工作负载,基于 CXL 的内存池化可在实现大幅内存扩展的同时,提供接近 DRAM 的性能
随着 CXL 生态系统不断成熟,内存池化架构预计将成为未来 AI 数据中心的重要基础构件,推动基础设施向更加灵活、可扩展且高效的方向演进。

[1] 白皮书:《Optimizing KV Cache Offloading to CMM-D in a CXL Switch-based Memory Pool》
https://downlo

ad.semiconductor.samsung.com/resources/white-paper/Optimizing_KV_Cache_Offloading_to_CMM-D_in_a_CXL_Switch-based_Memory_Pool.pdf

¹ vLLM 是一款开源 LLM 推理引擎,可通过高效利用 GPU 显存提升推理吞吐量
² LMCachе 是一个开源框架,可支持 KV Cache 在多个内存层级中进行存储与复用,包括 GPU 显存、。

CPU 内存、CXL 内存和 SSD。

声明: 本文部分内容及图片来源于网络,由本站编辑整理,仅用于学习交流,版权归原作者所有。如有侵权,请联系我们删除。联系邮箱:3454251265@qq.com

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

「米云软件」 AIGC 解码三星CXL内存池化的AI推理能力 https://www.miyunrj.com/aigc/1154.html

常见问题

相关文章

猜你喜欢
发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务