linyuhang
/
PMFlow
2
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
PMFlow/docs/PLAN3.md

8.3 KiB
Raw Permalink Blame History

PLAN3 实施终版：先落 Mounted Runtime，训练后置，90 分门槛验收

Summary

本期先完整落地 Mounted AI Runtime 的核心能力：唯一主脑、Topic Workspace、Context OS、Tool Runtime、Feishu 首验、前端可视化、旧主脑退役。
本期不做模型训练/微调上线，但必须一次建好训练闭环所需的样本资产化、回放评测、冻结验收集、错误归因链路。
验收不是“体感差不多”，而是：基于 Codex 教师样本库的冻结高标准评测集，综合分数低于 90 不予验收。

最终形态仍然对齐 PMFlow 本地路由层 / Codex CLI / Claude CLI：

  • 单主脑 + 多副脑
  • 独立长驻 Runtime
  • 多来源架构，Feishu 首验
  • 旧主脑直接退役
  • 默认确认写入，少数白名单低风险动作自动执行
  • 白名单生产启用，但架构本身按终局态建设

本期交付范围

1. Runtime 主体

  • 新建独立长驻 Mounted AI Runtime，成为唯一会话入口与唯一主脑。
  • 固定五态：chat / plan / clarify / draft_ready / execute。
  • 建立 TopicWorkspace / DraftWorkspace / ConversationRun / AgentTrace / ToolCapabilityPolicy。
  • 接管 Feishu 白名单群/租户；白名单范围内旧主脑彻底失效。

2. 上下文系统

  • 建立 SourceAdapter -> ContextMirror -> ContextAssembler -> TopicWorkspace 链路。
  • 统一读取： 当前消息、当前 thread、active topic、近 24 小时相关上下文、待确认草稿/work item、项目事实、能力图谱、知识图谱子图。
  • 知识图谱只做事实层，不做 thread 记忆。

3. Agent 编排

  • 唯一主脑：Conversation Orchestrator
  • 副脑：Plan Coach / Clarifier / Draft Synthesizer / Assignee Recommender / Executor / Reply Composer / Fact Providers
  • 副脑可并行，但不允许拥有模式解释权、topic 归属权、执行门禁权。

4. 工具与执行表面

  • 建立统一 Tool Runtime： PMFlow 原生工具、知识图谱、草稿、工作项、运营配置，以及通用 HTTP / Browser / SQL / Repo / Connector 能力。
  • 所有工具通过 ToolCapabilityPolicy 暴露。
  • 写操作默认确认，只有白名单低风险动作可自动执行。
  • 所有执行必须走统一 executor、统一审计、统一租户隔离。

5. 前端可视化

  • 将 SchedulerCenterPage.tsx 升级为 Mounted AI Console。
  • 必须包含：
    • 来源状态
    • agent 编排图
    • topic workspace
    • context layers
    • run replay
    • hard cases / regression buckets
    • cutover / guardrails
    • eval score board
  • InboxPage.tsx 保留为动作面板，只承接澄清、草稿待确认、负责人建议、执行确认与完成态。

6. 旧系统清退

  • 旧飞书主脑链降级为 adapter，不再拥有语义解释权。
  • legacy capture 退役。
  • consultant / ack / fallback 伪对话层退出主链路。
  • 重复 draft / project creation 脑全部收口。
  • 任何平行主脑残留入口全部关闭。

训练后置，但本期必须完成的训练底座

1. Codex 教师角色

Codex 在本期扮演“教师与评测官”，不把新模型直接推生产，但必须为后续训练准备完整教材、错题本、考试系统：

  • 读取仓库中的 Prompt、Operation Catalog、PMFlow 本地路由层 路由规则、知识图谱能力、执行边界
  • 结合你的业务形态提炼为教师规则、标签模板、禁止动作与验收标准
  • 基于真实对话与运行结果沉淀高标准样本

2. 教师样本库

由 Codex 建立高标准教师样本库，不是把仓库源码全文喂给模型。样本分四类：

  • golden conversation cases 高质量 thread 级样本，标注 mode、topic、clarify、draft readiness、allowed actions
  • hard cases 指代跳跃、追问误执行、范围不清、建议与执行混说、负责人推荐等高难样本
  • safety cases 必须确认、必须拒绝、不可误执行的高风险样本
  • reply quality cases 自然短回复、循循善诱、非模板式输出样本

3. 冻结验收集

教师样本必须分成两层：

  • teacher_dev_set 允许用于调 prompt、调 runtime、调策略
  • teacher_eval_frozen_set 冻结不动，只用于最终验收

验收只能看 teacher_eval_frozen_set，不能拿开发期样本刷分。

4. 回放评测系统

本期必须接好：

  • run replay
  • topic 误绑定回放
  • 模式误判回放
  • 误执行回放
  • draft readiness 过早 / 过晚回放
  • assignee recommendation 回放

5. 训练资产沉淀

虽然本期不训练模型，但必须完成这些资产化：

  • feedback -> quality asset
  • bad vs good -> preference pair
  • replay fail case -> hard case bucket
  • run trace -> eval record
  • prompt / policy change -> regression comparison

验收标准

1. 总体规则

  • 综合分数 < 90，不予验收
  • 任何严重误执行 > 0，不予验收
  • 白名单 Feishu 真流量下出现“追问被当执行”高危回归，不予验收

2. 评分方式

综合分数按冻结验收集计算，固定为：

  • mode accuracy 25%
  • topic binding 20%
  • clarify correctness 15%
  • draft readiness 15%
  • execution safety 15%
  • assignee recommendation 5%
  • reply quality 5%

3. 硬门槛

除综合分外，单项也必须过线：

  • mode accuracy >= 95
  • topic binding >= 93
  • clarify correctness >= 90
  • draft readiness >= 90
  • execution safety >= 99，且严重误执行为 0
  • assignee recommendation >= 90
  • reply quality >= 90

4. 验收样本标准

教师样本必须高标准，不允许水样本：

  • 每个样本都要带业务上下文，不是孤立单句
  • 每个样本都要有“期望模式、期望 topic、允许动作、禁止动作、成功回复形态”
  • 高风险样本比例必须足够高，不能只拿简单题刷分
  • Feishu thread 真实回放样本必须进入冻结集
  • 样本要覆盖你最在意的挂载 AI 行为，而不是普通问答

Feishu 首验场景

  • 群聊 @机器人 聊需求，连续多轮维持 plan，不甩模板
  • “这个/那个/按上面说的”正确接上 topic
  • 不确定时进入 clarify
  • readiness 达标后只提示可出草稿，确认后才落草稿
  • “分配给谁做比较合适”只走推荐，不误执行
  • 明确执行后才执行
  • 所有失败都能在 Console 回放到具体 run 和 agent trace
  • 白名单范围内旧主脑不再抢回复

关键接口与可观测性

新增接口

  • GET /mounted-ai/sources
  • GET /mounted-ai/source-activations
  • GET /mounted-ai/tool-policies
  • GET /mounted-ai/topics
  • GET /mounted-ai/runs
  • GET /mounted-ai/runs/{id}
  • GET /mounted-ai/cutover-status
  • GET /mounted-ai/eval-suites
  • GET /mounted-ai/eval-suites/{id}
  • GET /mounted-ai/training-ops
  • GET /mounted-ai/hard-cases
  • POST /mounted-ai/admin/source-activation
  • POST /mounted-ai/admin/tool-policy
  • POST /mounted-ai/admin/replay-run

扩展返回字段

  • topic_id
  • conversation_mode
  • readiness_score
  • active_agent
  • context_layers_hit
  • trigger_reason
  • agent_trace_summary
  • replacement_origin
  • eval_bucket
  • acceptance_score_breakdown

测试计划

后端

  • SourceEnvelope 归一化测试
  • TopicWorkspace 绑定 / 切换 / 继承测试
  • 五态判定测试
  • 执行门禁测试
  • replay / eval 记录测试
  • feedback -> quality asset 资产化测试
  • run trace / score board 聚合测试

前端

  • npm run build
  • tsc --noEmit
  • Console 8 个面板正确渲染
  • Inbox 与 Console 状态联动正确

验收回放

  • 需求聊天
  • 指代接续
  • 澄清触发
  • 草稿提示与确认
  • 负责人推荐
  • 执行确认
  • 高危误执行拒绝
  • 历史 hard cases 回归

Assumptions

  • 本期先做 Runtime 与终局架构，不做模型训练上线。
  • 训练不是取消，而是后置；但训练底座、教师样本、冻结验收集、本期必须完成。
  • Codex 在本期扮演“教师与评测官”，负责建立高标准样本与验收体系，不在本期把新模型直接推生产。
  • 若实施过程中再次出现“保留旧主脑兜底”“多脑共判”“用开发样本刷验收分”“把训练底座后置”四类情况，视为偏离本计划，不予验收。