“这是整个系统里我个人最期待的部分之一。”在日前的Big Technology访谈中，OpenAI CEO山姆•奥尔特曼（Sam Altman）如此形容记忆功能。在他看来，AI的下一个重大飞跃并非是更敏锐的推理能力，而是更为根本的记忆。

ChatGPT问世三年多以来，聊天界面并没有出现大变动，但底层功能进步不少，其中就包括记忆功能。

在访谈中，当被问及“记忆功能究竟发展到什么程度”时，奥尔特曼表示，“其实我认为我们现在完全无法想象它最终能发展到什么程度。人类本身是有局限的：即使你拥有世界上最好的私人助理，他们也不可能记住你说过的每一句话，不可能读过你的每一封邮件，不可能看过你写的每一份文件，不可能每天观察你的所有工作并记住每一个细节，也不可能以那样的深度参与到你的生活中——没有任何人类拥有完美无限的记忆，但AI肯定可以做到这些。”

记忆功能是OpenAI内部经常讨论的一个问题。目前ChatGPT虽然迭代到了5.2，但记忆功能“依然非常粗糙、非常早期”，仍处于“GPT-2时代”。

一旦AI真的能记住你整个人生的每一个细节，并在此基础上加以个性化——不仅能记住事实，还能察觉、捕捉并利用那些连用户自己都没意识到未曾刻意表达过的小偏好，AI将变得极其强大。

“我觉得这是一个非常令人兴奋的方向。虽然说这是2026年（要考虑）的事，但它是整个系统中我个人最期待的部分之一。”奥尔特曼直言。

▌KV Cache重要性凸显

此前，OpenAI已于2024年2月启动记忆功能小范围测试，并于2025年4月升级为可参考全部历史对话的长期记忆系统，能跨对话保留用户偏好、工作内容与常用格式，在交互中持续调用，显著强化个性化服务与用户黏性。

可以看到，在奥尔特曼的描述远景中，拥有了成熟记忆能力的ChatGPT堪称“开了挂的超级个人AI Agent”。

根据《Heterogeneous Memory Opportunity with Agentic AI and Memory Centric Computing》（Jinin So），构建一个强大的“Agentic AI”，因为自注意力机制需要对序列中的每个元素（token）与序列中所有其他元素之间的关系进行建模，因此对内存和存储系统提出了前所未有的、多层次的需求和挑战。AI记忆系统可以被划分为工作记忆（处理当前任务）和长期记忆（知识、技能、经验）。

程序性记忆（模型本身）：随着大语言模型参数量的增长，其自身大小已达到TB级别；

语义记忆（外部知识库）：存储外部知识的向量数据库，其容量需求可达数十TB；

工作记忆（运行时缓存）：在高并发推理时，仅KV缓存（KV Cache）一项就能消耗上百TB的内存。

整个系统融合了大模型（如Gemini）、外部数据库（如Milvus）和高速缓存机制，并通过检索、学习等方式进行交互，这对数据流动的带宽和延迟提出了极高要求。

其中，“能记住用户说过的所有话、读完所有邮件和文档、深度全量参与用户生活”的AI，需要的正是“工作记忆”。广发证券指出，AI的“工作记忆”在技术上体现为大模型的“上下文窗口”，它是AI进行复杂、多步推理和决策的工作台与基础。它的核心功能是整合所有相关信息以支持连贯思考。通过将系统指令、历史对话、用户问题、外部知识（来自语义记忆）和模型的中间思路全部“尽收眼底”，大模型才能进行全面、有深度的推理，而不是孤立地看问题。

国金证券称，目前随着大模型应用的普及和上下文窗口的不断扩展，KV Cache技术的重要性将进一步凸显。无论是ChatGPT的流畅对话体验，还是Claude的长文档处理能力，都需要KV Cache的技术支撑。未来KV Cache将在智能化、硬件加速、边缘部署等方向持续演进，为更广泛的AI应用提供强有力的技术支撑。智能化与硬件化趋势明确，KV Cache有望在未来数年持续提升大模型推理效率并改善算力成本结构。

落实到具体方向上，东方证券认为，存储供不应求持续，同时海外存储巨头在通用存储方面的扩产进度可能有限，建议关注国内半导体设备企业中微公司、京仪装备、微导纳米、拓荆科技、北方华创等；布局端侧AI存储方案的兆易创新、北京君正等；受益存储技术迭代的澜起科技、联芸科技等；国产企业级SSD及存储方案厂商江波龙、德明利、佰维存储等。