AIMCPRAG开发者工具

RAG质量守门员

给RAG和Agent查询加一道离线质量检查,确保每次检索都完整准确

痛点
Limma的开发者提到,很多公司部署RAG和Agent后,检索结果不可靠,关键信息经常被跳过,导致回答错误。而现有工具只关注检索速度,不检查检索质量。
方案
提供一个MCP服务器,在每次查询后自动评估检索结果是否覆盖了必要信息,并给出缺失提示。可以离线运行,无需额外API调用,结果以结构化评分返回,方便集成到现有Agent工作流。
用户
使用RAG/Agent的中小团队、独立开发者、AI应用开发者
MVP
实现一个简单的MCP服务器,接收查询和检索结果,使用规则+轻量模型评估信息完整性;输出评分和缺失内容建议;提供本地命令行测试工具;支持与常见Agent框架集成
变现
开源核心,提供付费的托管版和高级评估模型,按月订阅
为何现在
RAG和Agent应用爆发,但检索质量工具稀缺;MCP协议标准化,容易集成;独立开发者可以快速实现并验证

来源讨论 · 1

  1. Hacker NewsShow HN: Limma – MCP for total recall and precision in data retrieval for agents2↑ 0
← 返回列表