Agent 越权与失控防护层
给易失控的 AI 代理加一层确定性的权限与操作护栏
- 痛点
- 接入的工具越多,代理越容易越界:改写客户数据、发起退款、触发工作流,甚至被提示注入后泄露敏感数据。很多团队用「LLM 当裁判」这类非确定性护栏,一旦被注入就形同虚设。SaaS 创始人们也在公开讨论:传统角色权限管不了代理,团队到底该怎么处理代理授权,目前没有共识。
- 方案
- 做一个轻量的本地/边缘代理,插在代理与实际工具调用之间:用声明式规则(而非 LLM)定义每个代理能调用的工具、参数范围、频率上限与审批阈值;所有可疑或高影响调用默认拦截并送人工审批;全程记录可回溯的调用日志。规则可确定性复现,不受提示注入影响。
- 用户
- 正在把代理接入业务系统的 SaaS 团队、企业内部自动化负责人、独立构建企业级代理的开发者
- MVP
- 一个可嵌入的 SDK / 反向代理,兼容主流工具调用协议;声明式规则文件(工具白名单、参数约束、频率与金额上限);高风险调用拦截并进入审批队列;结构化审计日志与 Web 查看面板;一条 CLI 快速接入现有代理
- 变现
- 按调用量或代理数量订阅;开源核心规则引擎、商业版加团队审批流和审计看板;企业版提供 SSO 与合规导出
- 为何现在
- 代理正从演示走向真实业务操作,授权与安全仍是明显空白,且大厂不会很快覆盖长尾中小团队;确定性规则引擎技术成熟,独立开发者可在 4~6 周做出可演示的防护层