数据转换演化检查器
给 dbt 项目装上「适应度函数」,在 CI 里自动拦住 DAG 违规、超大模型和重复逻辑
- 痛点
- 数据转换项目规模变大后,DAG 违规、单个模型膨胀到两千行、重复逻辑等问题会悄悄出现;团队知道项目该往什么方向演化,却没有自动化的规则在 CI 里持续检查,只能靠人工 review 发现。
- 方案
- 提供一组可配置的适应度函数(如模型行数上限、DAG 层级约束、重复 SQL 片段检测),以 CLI 和 GitHub Bot 形式接入 CI,每次 PR 自动检查并给出可读报告;规则文件随仓库版本化。
- 用户
- 使用 dbt 的数据团队、 analytics engineer、数据平台工程师
- MVP
- CLI 读取 dbt 项目元数据;内置 5–8 条常见规则(行数、DAG 层级、重复片段);GitHub Action 一键接入;PR 评论输出违规详情;规则配置文件
- 变现
- 开源 CLI 免费,GitHub Bot 与团队规则集按仓库订阅(如 $20–50/月);企业版做私有部署
- 为何现在
- dbt 已成为数据转换事实标准,团队规模上来后治理需求明确;独立开发者可基于 dbt 元数据快速做出规则引擎,无需海量数据
来源讨论 · 1
- Hacker NewsShow HN: Fitness Functions for Dbt Projects2↑ 0