SandboxBench – 沙箱供应商中立基准
帮 AI agent 开发者快速比较不同代码沙箱的启动延迟与成本
- 痛点
- 每周都有新的代码沙箱供应商出现,但开发者无法客观比较它们的启动延迟、冷启动时间和单位成本。有人直接提问:是否存在一个第三方基准,明确说明不同沙箱的架构、延迟和费用?还有人对越来越多 Jev 替代品表示同样困惑,找不到统一评测列表。
- 方案
- 搭建一个持续运行的开源基准测试服务,对主流沙箱与运行时环境进行标准化任务测量,包括冷启动、启动延迟、吞吐和单位成本,输出可筛选的对比面板和公开 API。所有测试脚本开源,供应商可提交适配器参与评测。
- 用户
- AI agent 开发者、DevOps 工程师、需要选择代码执行环境的团队。
- MVP
- 选定 5~8 个主流沙箱(如 E2B、Modal、Daytona 等);设计一组标准测量任务并记录延迟与成本;提供可排序的公开对比网页;支持供应商提交适配器的简单 PR 流程;将测量结果以 JSON API 暴露。
- 变现
- 基础对比免费;付费提供历史趋势、自定义私有基准与 CI 集成;或按 API 调用量计费。
- 为何现在
- 沙箱赛道正在快速膨胀,缺乏中立第三方评测,开发者决策成本高,独立开发者可以靠持续自动化测量建立可信度。