PerfLens:大模型推理性能自查台
帮应届生和转行者搞懂 prefill/decode、KV cache 等底层原理的互动沙盒
- 痛点
- 面试官发现很多应届生能背 QKV 八股,但被追问 KV cache 存什么、长上下文为什么慢、token 计费为什么不同时,就答不上来。学校教学和面试准备都依赖 AI 生成的表面答案,缺乏动手实验的环境。
- 方案
- 提供一个浏览器内的交互式沙盒,用可视化方式模拟 LLM 推理过程:展示 prefill 和 decode 阶段的计算差异,动态显示 KV cache 的增长,调整上下文长度和 batch size 并实时观察延迟和内存变化,附带解释和面试题卡片。
- 用户
- 准备大模型相关岗位面试的应届生、转行开发者,以及想深入理解推理原理的工程师
- MVP
- 基于小型开源模型的简化模拟器;可视化 prefill/decode 和 KV cache;提供几个预设场景和对应的面试问题;支持导出笔记。
- 变现
- 免费基础场景,订阅解锁更多模型配置、面试题库和笔记导出;或一次性买断。
- 为何现在
- 大模型岗位面试竞争激烈,但底层原理的教学工具稀缺;浏览器 WASM 和可视化库成熟,独立开发者可以低成本构建。
来源讨论 · 1
- V2EX[程序员] 最近秋招陆陆续续面了一堆应届生,说点感受0↑ 18