AI教育开发者工具可视化

PerfLens:大模型推理性能自查台

帮应届生和转行者搞懂 prefill/decode、KV cache 等底层原理的互动沙盒

痛点
面试官发现很多应届生能背 QKV 八股,但被追问 KV cache 存什么、长上下文为什么慢、token 计费为什么不同时,就答不上来。学校教学和面试准备都依赖 AI 生成的表面答案,缺乏动手实验的环境。
方案
提供一个浏览器内的交互式沙盒,用可视化方式模拟 LLM 推理过程:展示 prefill 和 decode 阶段的计算差异,动态显示 KV cache 的增长,调整上下文长度和 batch size 并实时观察延迟和内存变化,附带解释和面试题卡片。
用户
准备大模型相关岗位面试的应届生、转行开发者,以及想深入理解推理原理的工程师
MVP
基于小型开源模型的简化模拟器;可视化 prefill/decode 和 KV cache;提供几个预设场景和对应的面试问题;支持导出笔记。
变现
免费基础场景,订阅解锁更多模型配置、面试题库和笔记导出;或一次性买断。
为何现在
大模型岗位面试竞争激烈,但底层原理的教学工具稀缺;浏览器 WASM 和可视化库成熟,独立开发者可以低成本构建。

来源讨论 · 1

  1. V2EX[程序员] 最近秋招陆陆续续面了一堆应届生,说点感受0↑ 18
← 返回列表