完成 L7/L8、Lab3 与 HW1 后复制本模板填写。每个数值带单位,区分有效内容、分配容量、请求流量。所有命令从包含 course/ 的课程根目录 deepinfer/ 执行;填写真实结果,不预设通过。
姓名/日期: 本次独立尝试时长: 使用过的提示题号、级别或参考材料:
W1:从 IO 账本到 bound
画出 Q/K/V/S/P/O 的阶段箭头,并在每条箭头上标注读或写:
| 张量 | shape/元素数 | 读取次数 | 写入次数 | 每元素字节 | 总请求字节 |
|---|---|---|---|---|---|
| Q | |||||
| K | |||||
| V | |||||
| S | |||||
| P | |||||
| O |
| s | full FLOPs | 三阶段流量 | 读一次下界流量 | 两种 AI | 两种 bound |
|---|---|---|---|---|---|
| 128 | |||||
| 4096 |
Q tile=64 时 K/V 被重新读取几次?对应请求流量:
模型没有包含的设备行为:
AI 恰好等于拐点时,本题返回 compute,而 HW1 同时相等返回 memory;解释为何这是标签约定而非物理冲突:
W2 + Q11:逐请求分配
| 请求长度 | 页数 | slot 数 | waste | KV 分配字节 |
|---|---|---|---|---|
| 1 | ||||
| 16 | ||||
| 17 | ||||
| 合计 |
先把长度相加再分页会得到什么?为什么错误:
Q11 交换请求顺序后的检查:
Q11 等长输入与 Q9 batch 版本的交叉检查:
W3:共享的基线与 copy-on-write
现存副本数、新消费者数、前缀有效长度、完整页长度:
共享前后分别有多少份完整页?节省多少 slot 与字节:
对照第 5 周 HW5 的“n 条请求内部共享 1 份”,指出与本题“已有 1 份、n 个新消费者”何处不同:
纸上选做:画出两个请求共享尾页、其中一个 append 前后的块表,标记哪些保留、哪些复制。此图是隔离写入的设计,不代表 Lab3 已实现有限共享池或写时复制:
调试记录与 checkoff
| 题号/输入 | 原先预测 | 实际结果/异常 | 根因 | 修复后的检查 |
|---|---|---|---|---|
最终测试命令及通过数:
能否不看笔记分别解释容量、流量、有效 FLOPs 的含义:
明天重做哪一道题、为什么: