权重住进内存：存内计算离 L1 还有多远
论文给 L1 内存中心基底下的判断是：权重与 KV 缓存应当常驻内存，由存内计算（PIM）就地服务，而不是经由总线被反复搬运。这是五条原则里对硬件要求最重的一条。实事求是地说：器件层面它已经不是科幻，真正的缺口在软件栈和生态。
国外：原型已跑通，等待杀手负载
三星 HBM-PIM（Aquabolt-XL）把可编程计算单元（PCU）造进了 HBM2 的每个内存银行旁。在与研究机构合作的 AI 气候模拟项目里，HBM-PIM 平台相比传统架构取得了 2.5 倍处理速度、能耗降低 60% 的实测结果——这正是论文「搬运能耗占主导」论断的器件级反证。三星在 Hot Chips 2023 还展示了面向移动端的 LPDDR-PIM（带宽 102.4 GB/s，功耗节省 72%），思路与 Noeton 的端侧降级模式天然契合。
SK 海力士 AiM 走 GDDR6 路线：在 4Gb 器件里集成 16 个 1GHz 处理单元，每个 bank 配独立 PU 实现全 bank 并行，内部带宽 512 GB/s——「带宽在内存里面，而不是在总线上」的直接示范。值得注意的是两家正在合作推动 LPDDR6-PIM 的标准化，SK 海力士的路线图把 PIM 与 CXL 第二代标准的结合排到了 2028 年前后。标准化是 PIM 从「展品」走向「商品」的分水岭。
法国 UPMEM 则早已出售商用 PIM-DIMM，证明这条路线在通用服务器上插得进去。
国内：存算一体在「小算力」赛道先落地
国内的存算一体公司选择了与三星不同的切入点：知存科技的模拟存内计算芯片已在语音/轻量视觉场景量产；后摩智能把存算一体推到智驾级算力。这些产品验证了存内计算的能效优势，但距离「驻留一个大模型」还差几个数量级的容量与精度通用性。更现实的国内路径是跟随 LPDDR6-PIM / HBM-PIM 标准化进程——长鑫存储等厂商在 DRAM 工艺上的追赶，决定了国产 PIM 的天花板。
卡点：PIM 没有自己的「CUDA」
所有玩家面对同一堵墙：编程模型。今天没有一个被广泛接受的 PIM 软件栈——算子怎么划分到 bank、与主机怎么同步、和现有推理框架（vLLM/SGLang）怎么衔接，全部要逐家适配。论文把 KV 缓存当作 L1 的一等公民，而现实是没有任何主流推理框架原生支持「attention 在内存里算」。
交互演示：同样三秒，两种物理
下面的演示把本文的核心论点变成一场赛跑：左边是冯·诺依曼架构——每做一次运算，数据都要先走一遍总线（每 64 位 ≈ 640 pJ）；右边是 PIM——运算在内存 bank 原位发生（每次 ≈ 4 pJ）。盯着两边的「每焦耳运算数」看。
论文精读
为这一层挑选的 6 篇关键文献——从原型芯片到编程模型批判，构成 L1 的完整证据链：
首次在量产 HBM2 工艺中为每对 bank 配备可编程计算单元（PCU），整堆栈提供 1.2 TFLOPS FP16 原位算力，软件无需修改即可作为普通 HBM 使用。HBM-PIM（Aquabolt-XL）的奠基论文。
→ 对 Noeton：证明 PIM 可以在不破坏现有内存接口的前提下渐进部署——L1 的「兼容式进场」路线可行。 ISSCC 2022 · SK 海力士A 1ynm 1.25V 8Gb GDDR6-based Accelerator-in-Memory（AiM）在 GDDR6 中为每个 bank 内置 1GHz 处理单元，支持 BF16 乘加，bank 级并行带来 512 GB/s 内部带宽——约为同代外部接口的 8 倍。明确瞄准推荐系统与 LLM 的 GEMV 负载。
→ 对 Noeton：解码阶段的矩阵-向量乘正是 AiM 的甜点区——L1 应优先卸载 decode 路径。 MICRO 2020 · SK 海力士Newton: A DRAM-maker's Accelerator-in-Memory Architecture从 DRAM 厂商的约束出发（面积、热、工艺限制）反推 AiM 应该长什么样：只加乘加树与缓冲、复用 DRAM 接口协议、宿主负责调度。与 Noeton 仅一字母之差的同路人。
→ 对 Noeton：器件侧的克制设计哲学——把复杂度留给 L3 运行时，而不是塞进内存。 IEEE Access 2022 · ETH ZürichBenchmarking a Real Processing-in-Memory Architecture（UPMEM PrIM）对全球首个商用 PIM 系统（UPMEM，2556 个 DPU）的系统性实测：16 类负载中，受内存带宽限制的负载平均获得显著加速，而计算密集与需要频繁主机同步的负载收益有限甚至为负。
→ 对 Noeton：用实测数据划清了 PIM 的能力边界——L1 是带宽受限负载的家，不是万能加速器。 综述 · ETH ZürichA Modern Primer on Processing in Memory（Mutlu 等）PIM 领域的标准综述：系统梳理 processing-near-memory 与 processing-using-memory 两大流派、五十年的失败史与这一轮复兴的根本差异（3D 堆叠工艺成熟 + 数据移动成本成为第一矛盾）。
→ 对 Noeton：历史上 PIM 死于「没有杀手负载」——LLM 解码正是这次不一样的理由。 Hot Chips 31 (2019) · UPMEMThe True Processing In Memory Accelerator商用 PIM-DIMM 的工程实录：标准 DDR4 接口、每条 DIMM 128 个 DPU、与普通内存条混插。证明 PIM 不需要专用主板就能进入数据中心。
→ 对 Noeton：L1 的部署形态可以是「内存条替换」级别的低摩擦升级。Noeton 的落地方案
我们认为 L1 应当分三步走，而不是等待完整的 PIM 整机：
- 近期（软件先行）：在 GPU 集群上实现「逻辑上的权重常驻」——权重与 KV 缓存的放置、迁移、预取由统一的内存管理器接管，对上层暴露与未来 PIM 一致的接口。这一步今天就能做，且与 Mooncake 类系统直接互补。
- 中期（attention 卸载）：选择 PIM 最擅长的 GEMV/attention 解码路径做硬件卸载试点——解码恰是带宽受限最严重、对 PIM 收益最大的负载（见我们的 roofline 实验），UPMEM 实测论文给出的边界条件正好用来圈定试点范围。
- 远期（标准接位）：押注 LPDDR6-PIM / CXL-PIM 标准化窗口，把第一步定义好的内存管理接口对接到标准器件上。
一句话：L1 的落地顺序是「先把接口当硬件造，再等硬件长成接口的样子」。
行业动态参考：三星 HBM-PIM 技术博客 · PIM 商业化进展（澎湃） · 三星与 SK 海力士的存内计算布局（芯智讯）