#internal/02 · 课题、里程碑与预算
本件是 BP §2/§4/§5/§8 与「里程碑表-提交版」的同源底稿。 写法纪律:每条技术主张 = 难点 → 方法 → 可验证指标 → 交付物;三段缺一即视为「功能罗列」,正是 2026-10 HKSTP 拒信点名的病因(见 H4-4)。
#1. 课题(研究问题级表述,不是产品级)
课题名:Duty Runtime —— 受约束 LLM 任务闭环的完成判定、静默升级与跨租户泄漏防控(并附可复现评测基准 ChunYue-Agent-Bench)
研究问题:在多租户真实业务数据面上,如何把 LLM 从「文本生成器」变成「可问责的任务执行体」——即:谁有权判定一个任务已完成、超出授权边界时系统必须产生什么、跨租户泄漏如何给出可证伪的保证、以及以上全部主张如何让第三方在第二台机器上复现。
核心假设:达成率的瓶颈在架构(完成判定权的归属),不在模型能力;因此把判定权交给确定性运行时、把模型限制为「只提议动作」,可以在不换模型、不微调的前提下,把「实际完成率 / 闭环率 / 虚假承诺率 / 泄漏数」同时推向可验收区间。
为什么这属于「人工智能與數據科學」:研究对象是代理系统的可靠性、边界约束与可复现评测(agent reliability / containment / reproducibility);评测集与协议本身是交付物。学生公寓运营是验证场景,不是课题本体——这与「做了一个带 AI 的租房 App」是两类东西,也是本包与 2026-09 投递版的核心差异。
场景为什么必须是真的:泄漏、越权、虚假承诺这三类失败只在真实多租户数据 + 真实服务班次里出现;我们的场景有 133 个数据模型、456 条 API(H2-1/H2-2)、跨租户作用域门禁(H2-6 待对口径),因此能提供公开基准普遍缺失的受污染面——这是本课题的数据底座优势,也是「非我们不可验证」的理据。
#2. 难点 → 方法 → 指标 → 交付物(R&D Protocol)
| # | 难点(为什么套壳做不到) | 方法 | 可验证指标 | 交付物 |
|---|---|---|---|---|
| D1 完成判定权 | LLM 自报「已完成」不可信:它会以文本承诺替代动作执行。内部生产实测「强制模型调用工具」仅 45% 达成(H3-1,行级出处可指认) | 模型只提议动作;由确定性义务运行时(SOP→义务编译器 + 状态机)裁决 完成 / 等待 / 失败 / 升级;钱与合同类动作 100% 走人工闸门 | 实际完成率(同冻结集,自 45% 基线 → ≥70% target);钱/合同人工闸门覆盖率 100% | 义务编译器 + 运行时 + 复测报告(公开样本量/任务类型/模型版本/工具权限/原始日志) |
| D2 越界与升级语义 | 通用 agent 框架把「不该做的事」交给提示词;提示词在分布外必然失效 | 边界判定挂在类型化动作契约上(前置条件、风险等级、允许话术);越界内容不产生 AI 动作,只产生升级义务;升级是系统动作——具名责任人 + 期限,接管时带完整上下文摘要,同一服务身份继续 | 闭环率 ≥95%(完成+合理升级,升级件 100% 被接管并最终解决);不合理升级率 ≤5%;虚假承诺率 <0.5% | 分层契约 v1 + 静默升级编排 v1 + 升级义务记录(审计可归因) |
| D3 跨租户隔离的可证伪保证 | 「我们做了租户隔离」是纸面主张;攻击面在提示注入、工具越权、上下文回填三处,且会随模型版本漂移 | 三条腿同时测:对抗探针套件(提示注入 / 越权工具调用 / 上下文回填)+ 遮蔽表覆盖断言(与既有跨仓作用域门禁同源,口径先按 H2-6 对)+ 反证实验(故意放开一条腿,套件必须当场报红,证明套件不是摆设) | 对抗探针 ≥50 例、泄漏 0;遮蔽覆盖 100%(以对口径后的数为准);反证实验 2 例可当场复现 | 探针套件(可执行)+ 覆盖报告 + 反证实验记录 |
| D4 连续服务人格 ⇄ 透明度 | 「让用户分不清人和 AI」既是产品目标又是伦理雷区;一刀切披露会打断体验,一刀切隐瞒会踩 PCPD 指引 | 工程化而非话术:允许话术 + 服务人格规范 + 回复证据门;接管时保留一条简短交接提示(上下文完整、责任主体切换清楚);服务条款与会话首次说明 AI 参与与数据用途 | 会话审计中每一条承诺可归因到具体主体(人或管家);AI 不冒充具体真人、不代署名;PDPO 告知与开关状态逐条可展示 | 人格规范文档 + 回执与接管记录 + PDPO/PCPD 对照说明 |
| D5 可复现评测 | 主流 LLM「效果」主张不可复现:任务集不冻结、评分器不公开、原始日志不释出 | 冻结任务集(含清单内事务与越界事务两类)+ 公开评分器与 schema + 3 个基线模型 × 500 例 + 复现实验(第二操作者、第二台机器跑出同一数字) | 复现实验逐字节一致(同一输入同一评分);基准以 Apache-2.0 释出,商业运行时与租户数据保持专有 | ChunYue-Agent-Bench(任务集 + 评分器 + 方法学报告 + 许可证) |
技术含量自证:D1–D5 任何一条都不靠换模型解决,也不靠提示词;四机制(内容分层 / 静默升级编排 / 人格一致 / 责任连续)全部住在运行时框架内——这就是对「insufficient tech content」的正面回答。
#3. 验收指标族(同一冻结任务集,与 45% 基线同方法学)
| 指标 | 基线 | 目标(M12) | 定义(防刷分) |
|---|---|---|---|
| 实际完成率 | 45%(实测,H3-1) | ≥70% target | 任务在无人干预下由系统完成且动作在后端真实落库并产生回执 |
| 闭环率 | — | ≥95% target | 完成 + 合理升级,且升级件 100% 被接管并最终解决(拆分「完成」与「升级」,防「全升级」刷分) |
| 不合理升级率 | — | ≤5% target | 清单内本应由系统完成却被推给人工的比例 |
| 虚假承诺率 | — | <0.5% target | 回复中承诺了未发生的动作(与后端日志逐条比对) |
| 跨租户泄漏 | — | 0 target | 探针套件与真实会话审计中,任何跨 org 数据出现在响应/上下文即计一次 |
| 钱/合同人工闸门 | 100%(既有底座,H3-2) | 100% | 该类动作永不由 AI 直接完成 |
| 首响时延 | — | −30% target(方法:请求→首个实质动作的中位分钟数;解决时长另行报告,不与首响混用;前后各 ≥30 例样本方可宣称) | H3-7 |
#4. 12 个月里程碑(两期各 HK$75,000,按 6 个月里程碑评估释放)
#Phase A · M1–M6(期中评估件)
| 编号 | 里程碑 | 二元验收判据(达成/未达成,无「部分成功」) |
|---|---|---|
| A1 | 基线复测报告(同方法学现算,公开样本量/任务类型/模型版本/工具权限/原始日志) | 报告可公开复算:给定冻结输入与脚本,第二人跑出同一数 ⇒ 达成 |
| A2 | 冻结任务集 v1(≥120 例,含清单内与越界两类,标注 schema + 评分器) | 任务集与评分器入库、可执行、跑通全量 ⇒ 达成 |
| A3 | 内容分层契约 v1(类型化动作 + 前置条件 + 风险等级 + 允许话术) | 契约覆盖试点全部动作类型;越界样本只产生升级义务、不产生动作(抽检可展示) ⇒ 达成 |
| A4 | 静默升级编排 v1(具名升级:责任人 + 期限 + 接管上下文摘要) | 升级件端到端可追溯(义务记录 → 接管 → 最终解决) ⇒ 达成 |
| A5 | 对抗探针套件 v0(≥25 探针) | 套件可执行 + 反证实验 2 例当场报红 ⇒ 达成 |
| A6 | 试点 #1 上线(可为关联自营),日志采集与 PDPO 告知落地 | 连续 30 天真实会话日志入库且可抽样展示 ⇒ 达成 |
期中评估提交:A1–A6 工件 + 财务流水报表(资金流转反映在报表上)+ 实测数(只报实测,不预设达成)。
#Phase B · M7–M12(结项评估件)
| 编号 | 里程碑 | 二元验收判据 |
|---|---|---|
| B1 | 指标族达标实测(§3 全表) | 每项给出实测值 + 样本量 + 原始日志位置;未达标项如实报告并给原因分析,不改写成「部分成功」 |
| B2 | 对抗探针套件 v1 ≥50 探针、泄漏 0 + 遮蔽覆盖以对口径后的数报 100% | 套件报告 + 覆盖报告 + 反证实验留档 ⇒ 达成 |
| B3 | ChunYue-Agent-Bench 发布(500 例 × 3 基线模型,Apache-2.0) | 仓库可公开访问、许可证与 README 完整、含复现指引 ⇒ 达成 |
| B4 | 复现实验(第二操作者、第二台机器) | 两次运行结果逐字节一致 ⇒ 达成;不一致即未达成并如实报 |
| B5 | 非关联试点 ≥1 家实付(金额可为小额),首响时延前后对比 | 合同/发票 + 日志双证 ⇒ 达成;未取得则报「未取得」并附在谈清单 |
| B6 | 升读 IGNITE 准备(雇佣 2 名在港全职、股权按 H7-T3/T4、进駐安排) | 雇佣合同 + 股权结构表 + 进駐计划 ⇒ 达成 |
结项提交:技术报告(含 D1–D5 方法与结论)+ 基准仓库链接 + 财务流水报表 + 全部原始日志与样本的可展示位置。
#5. HK$150,000 预算(分科目绑定里程碑动作;用途不设限但须与研发相关)
| 科目 | 金额(HK$) | 绑定动作 | 说明 |
|---|---|---|---|
| 研发人力(在港工程时数) | 78,000 | A1–A5、B1–B4 | 运行时/编排/评测三块均为新造;明年 IGNITE 的「≥2 全职、≥50% 研发」由此起步 |
| 模型 API 与算力 | 24,000 | A2、A5、B1、B3 | 500 例 × 3 基线模型的评测跑批是算力主开销(不做微调,与既有裁定一致) |
| 评测语料与标注 | 18,000 | A2、B3 | 冻结任务集构建、标注外包、评分器测试 |
| 法务与 PDPO 顾问 | 12,000 | A3、A6、B2 | 数据用途告知文案、允许话术合规审阅、合规差异报告「辅助检查、非法律意见」红线的第三方确认 |
| 开源基准与文档 | 10,000 | B3、B4 | Apache-2.0 harness、许可证与 THIRD_PARTY_NOTICES、复现指引、第二机环境租用 |
| 园区进駐与面谈差旅 | 8,000 | B6、评审面谈 | 河套通勤、管理费分摊、面谈准备 |
| 合计 | 150,000 | 两期各 75,000;期中已含 A1–A6 全部交付,Phase B 科目占比 ≥50% |
人月自洽核对(面谈必问):人力 78,000 ÷ 12 个月 = 6,500/月 ⇒ 明确写清这是在港工程投入的部分工时补贴,与既有平台自有资源投入分开列(不谎称全职薪资);全职雇佣的完整成本由公司在自有资源承担(B6)。不得把「15 万养 2 名全职」写进材料。
#6. 答辩口径(评审面谈 8 题备答;答案一律指向可展示工件)
| # | 预期提问 | 答(一句结论 + 指认物) |
|---|---|---|
| 1 | 这凭什么叫研发,不是做了一个 App? | 研究问题是代理系统的完成判定与边界约束;指认物 = D1–D5 表 + 冻结任务集 + 评分器 + 复现实验,四者都能当场跑 |
| 2 | 45% 怎么测出来的? | u6buddy-architecture.md:198 记录的 T-08 内部生产实测;A1 会在项目期以公开方法学复测并释出原始日志 |
| 3 | 凭什么相信能做到 70%? | 不承诺——这是 target;给出机制论证(判定权从模型转移到运行时 + 强制工具调用与自检重跑),并承诺 M12 未达标即如实报告 |
| 4 | 「泄漏 0」怎么证明? | 三条腿:≥50 对抗探针 + 遮蔽覆盖断言 + 反证实验(故意放开一条腿必须当场红),第三者可自行重跑 |
| 5 | 数据合规怎么做?(PDPO / 租客数据) | AI 对业务库只读、带看预约为唯一写域、钱与合同 100% 人工闸门;行为数据的任何二次用途受 PDPO 第 3 原则约束、本期不做信用评估;会话首次说明 AI 参与与数据用途 |
| 6 | 你们没有公司、没有员工、没有收入 | 如实:H4 表全部为负面事实主动披露;SPIN 未设这些门槛,团队通道承诺录取起两周内注册,全职与股权在 M7–M12 按 IGNITE 口径补齐 |
| 7 | 与你们 2026-09 投科技园那版有何不同? | 旧版是「平台 + AI 管家」方案陈述(四条线);本版是单研究课题,范围、写法(难点→方法→指标→交付物)、交付物清单、评测协议全部重做;差异清单可当场逐条指认 |
| 8 | 为什么选河套,不在科学园/数码港? | 课题需要真实多租户数据面与深港双场景验证;园区的定位(产学研转化 + 中试 + 国际对接)与我们的评测—开源—复现路线匹配;且 SPIN 的升读链让我们能在 IGNITE 期把研发与行政实质落在港内 |
#7. 伦理与合规红线(写进 BP §9,不写等于给评审留攻击面)
- 不主张「AI 替代人力 / 无人服务」;主张「给管家配一个 AI 下属:替班清单内不断线、敏感对话真人接管」。
- 不写「租客分不出对面是人还是 AI」的字面主张;写「统一服务人格:同样的谈吐、同样的责任主体、升级带简短提示且上下文完整」——体验目标与表述护栏分开。
- 合规差异类输出:辅助检查,非法律意见。
- 行为数据的任何二次用途(风控/信用)受 PDPO 第 3 原则约束 ⇒ 本期不做,不预留「以后自然能做」的表述。
- 开源边界:仅基准、评分器、任务集构建协议与方法学报告 Apache-2.0;商业运行时、租户数据、运营方专属规则库保持专有。