PromptMeter — Prompt 工程师的能力体检
用可复现的对抗测试让开发者看清提示词在不同模型上的真实表现,而不是靠体感
- 痛点
- 开发者越来越依赖提示词驱动 Agent 写代码、做审查和排查,但对提示词质量只有模糊体感,不知道同一段提示词换成便宜的快速模型到底会差多少,也不知道哪些部分在跨模型时是承重的。
- 方案
- 做一个本地提示词评估台:用户粘贴一段提示词并选择两到三个模型,工具自动生成一组对抗性测试用例(边界条件、歧义指令、错误输入),分别跑出结果并给出差异报告,指出提示词中的薄弱环节和模型间的能力差异。
- 用户
- 使用多家模型的编码 Agent 开发者、正在从高端模型降级到便宜模型的独立开发者、以及需要给团队写可维护提示词的技术负责人。
- MVP
- 支持粘贴提示词和最多三个模型端点;内置十组常见对抗测试模板;输出模型间差异对比表;给出提示词修改建议;全部本地运行,密钥不离开用户机器。
- 变现
- 免费版限制每日测试次数,付费订阅解锁更多模型、测试模板和导出报告;也可按 API 调用量抽成。
- 为何现在
- 多模型混用和从 SOTA 模型降级已成普遍做法,但缺乏轻量的提示词质量评估工具,独立开发者可以快速切入这个空白。