RAG质量守门员
给RAG和Agent查询加一道离线质量检查,确保每次检索都完整准确
- 痛点
- Limma的开发者提到,很多公司部署RAG和Agent后,检索结果不可靠,关键信息经常被跳过,导致回答错误。而现有工具只关注检索速度,不检查检索质量。
- 方案
- 提供一个MCP服务器,在每次查询后自动评估检索结果是否覆盖了必要信息,并给出缺失提示。可以离线运行,无需额外API调用,结果以结构化评分返回,方便集成到现有Agent工作流。
- 用户
- 使用RAG/Agent的中小团队、独立开发者、AI应用开发者
- MVP
- 实现一个简单的MCP服务器,接收查询和检索结果,使用规则+轻量模型评估信息完整性;输出评分和缺失内容建议;提供本地命令行测试工具;支持与常见Agent框架集成
- 变现
- 开源核心,提供付费的托管版和高级评估模型,按月订阅
- 为何现在
- RAG和Agent应用爆发,但检索质量工具稀缺;MCP协议标准化,容易集成;独立开发者可以快速实现并验证