AI安全开发者工具SaaS

Agent 越权与失控防护层

给易失控的 AI 代理加一层确定性的权限与操作护栏

痛点
接入的工具越多,代理越容易越界:改写客户数据、发起退款、触发工作流,甚至被提示注入后泄露敏感数据。很多团队用「LLM 当裁判」这类非确定性护栏,一旦被注入就形同虚设。SaaS 创始人们也在公开讨论:传统角色权限管不了代理,团队到底该怎么处理代理授权,目前没有共识。
方案
做一个轻量的本地/边缘代理,插在代理与实际工具调用之间:用声明式规则(而非 LLM)定义每个代理能调用的工具、参数范围、频率上限与审批阈值;所有可疑或高影响调用默认拦截并送人工审批;全程记录可回溯的调用日志。规则可确定性复现,不受提示注入影响。
用户
正在把代理接入业务系统的 SaaS 团队、企业内部自动化负责人、独立构建企业级代理的开发者
MVP
一个可嵌入的 SDK / 反向代理,兼容主流工具调用协议;声明式规则文件(工具白名单、参数约束、频率与金额上限);高风险调用拦截并进入审批队列;结构化审计日志与 Web 查看面板;一条 CLI 快速接入现有代理
变现
按调用量或代理数量订阅;开源核心规则引擎、商业版加团队审批流和审计看板;企业版提供 SSO 与合规导出
为何现在
代理正从演示走向真实业务操作,授权与安全仍是明显空白,且大厂不会很快覆盖长尾中小团队;确定性规则引擎技术成熟,独立开发者可在 4~6 周做出可演示的防护层

来源讨论 · 2

  1. Hacker NewsShow HN: OpenAPPA – open-source deterministic guardrails that don't break agents21↑ 11
  2. Reddit[r/SaaS] I'm researching a problem around AI agents and would like the perspective of SaaS founders/operators.
← 返回列表