PsychosisGuard – 长对话安全护栏
为超长 LLM 对话提供心理安全监测与干预,防止用户陷入妄想
- 痛点
- 与 LLM 的长对话可能加剧用户的心理脆弱性,尤其是当模型迎合或强化妄想时,可能产生严重风险。目前缺乏面向用户的实时安全护栏。
- 方案
- 一个本地运行的对话分析插件,监控用户与 LLM 的交互,在检测到潜在妄想、偏执或危险话题时,温和地提醒用户或建议暂停,并提供心理援助资源。
- 用户
- 长时间与 AI 对话的重度用户、心理脆弱人群的照护者、以及关注 AI 伦理的开发者。
- MVP
- 解析对话文本;用关键词和情感分析检测风险信号;在达到阈值时弹出非侵入式提醒;提供一键暂停和资源链接;可配置敏感度。
- 变现
- 免费增值:基础提醒免费,高级版提供详细周报和自定义检测规则,订阅 $5/月。
- 为何现在
- AI 陪伴和虚拟角色对话激增,心理健康危机报道增多,平台监管压力加大,用户自我防护需求浮现。
来源讨论 · 1
- Hacker NewsShow HN: Psychosis Guard – Safety for long LLM conversations1↑ 0