QUANTA · 推理系统专题
四个理论,四个可以亲手把玩的实验。
不读公式,先动手——滑杆、开关和动画会把论文讲给你听。
一次请求,两种物理。
双泳道动画对比单体与分离架构,拖动 prompt 长度,看首 token 延迟与吞吐如何分化。
进入实验室 ↗记忆,按温度分层。
实时模拟 KV 块的生命周期:流入上下文、沉入 PIM 热层、坠入冷层,再被一次召回点亮。
进入实验室 ↗请求,落在最便宜的层级。
发出四种请求看它们各自的归宿;拉下断网开关,亲手体验「降级模式」的设计取舍。
进入实验室 ↗用一条线,看穿一台机器。
活的 roofline 图:拉动带宽与算力滑杆,亲眼证明算力 ×10 对解码毫无作用。
进入实验室 ↗这些实验背后的完整论证,见 Noeton 论文第六章「分析」