.79 · 报告快照
来源:reports/20261112-huanxi-0.8.14.79-framework-tools-t1/comparisons/analysis-20261112-huanxi-0.8.14.77-81.md
# .77–.81 版本工具评测与 .69 环境锚点(2026-11-12)
| 产品/版本与环境 | 完成输入 | 内容复核 | 回复耗时合计/秒 | 模型响应/工具 | 输入/输出 token |
|---|---:|---|---:|---:|---:|
| codex 0.165.0 / 历史 | 14/14 | 9通过+1歧义 | 629.480 | 68/72 | 878288/60474 |
| openclaw 2026.11.1 / 历史 | 14/14 | 9通过+1歧义 | 767.627 | 125/120 | 119323/68965 |
| huanxi 0.8.14.68 / 历史 | 14/14 | 9通过+1歧义 | 1060.384 | 105/100 | 2016918/73016 |
| huanxi 0.8.14.69 / 历史 | 14/14 | 8通过+1失败+1歧义 | 927.925 | 97/85 | 1825359/67358 |
| huanxi 0.8.14.69 / v2锚点 | 14/14 | 9通过+1歧义 | 804.152 | 85/74 | 1522891/56484 |
| huanxi 0.8.14.77 / v2 | 14/14 | 9通过+1歧义 | 1018.205 | 98/88 | 1823589/74511 |
| huanxi 0.8.14.78 / v2 | 14/14 | 9通过+1歧义 | 902.855 | 85/72 | 1428494/68237 |
| huanxi 0.8.14.79 / v2 | 14/14 | 9通过+1歧义 | 868.411 | 85/76 | 1428943/62448 |
| huanxi 0.8.14.80 / v2 | 14/14 | 9通过+1歧义 | 873.528 | 85/72 | 1361863/58115 |
| huanxi 0.8.14.81 / v2 | 14/14 | 9通过+1歧义 | 948.268 | 90/77 | 1556006/65680 |
以上是固定题集各自一次试次的描述性结果,不是统计排名。主对比为同一 teams-work-v2 上的 .69 → .77–.81;.68/.69 的 v1 历史值仅供参考。Codex/OpenClaw 沿用固定归档,未重跑。回复耗时合计是 14 个输入各自提交到原生对应回复的时间之和,不是 campaign 墙钟。
## 条件与可比边界
六台独立 PPIO 4C/8G、Debian13.6、同一 teams-work-v2(ysrdkx39luihowata69x:default);各版使用正式 GitHub Release fresh 安装,source/version/schema 均前后回读。冻结 Eval 28db1d8f21815927e27f501bc14e504b1e57b2f9;framework-tools-v1 的10题、14条逐字输入,每题n=1,同题两轮使用同一Session。四类模型均为 liqian deepseek/deepseek-v4.1-flash-1017,fallback为空。
六版同时开始;.80/.81 的 C01 因观察器契约不兼容暂停观察,恢复后继续,因此后续实际运行窗口并不完全重合。模型随机性、跨日期、模板差异和并发供应商负载未受控;.69 v2锚点改善了比较条件,但不能单独识别模板或版本的因果作用。逻辑模型响应和可见token不代表全部物理请求、重试或账单。
## C06:逐版复核字段契约
| 版本 | C06复核 | schedule.json 顶层字段 |
|---|---|---|
| huanxi 0.8.14.69 / v2锚点 | PASS | tasks, makespan, critical_path |
| huanxi 0.8.14.77 / v2 | PASS | tasks, makespan, critical_path |
| huanxi 0.8.14.78 / v2 | PASS | unit, model, tasks, makespan, critical_path, slack |
| huanxi 0.8.14.79 / v2 | PASS | makespan, critical_path, tasks |
| huanxi 0.8.14.80 / v2 | PASS | tasks, makespan, critical_path, unit |
| huanxi 0.8.14.81 / v2 | PASS | tasks, makespan, critical_path |
历史 .69 的 `schedule` 代替题面 `tasks` 失败原件保持不变。本轮同版本 .69 也重新取样,不能把新结果归因于版本修复。复核直接采用冻结原 checker,检查 tasks、id/start/end、makespan 和 critical_path;不使用模型自检代替外部验收。
## C09 第二轮与恢复事件
| 版本 | 原生回复延迟/秒 | 模型响应/工具 | 模型区间合计/秒 | 输出token | 全轮恢复事件数 |
|---|---:|---:|---:|---:|---:|
| huanxi 0.8.14.69 / v2锚点 | 95.685 | 8/7 | 89.887 | 5601 | 0 |
| huanxi 0.8.14.77 / v2 | 187.458 | 18/17 | 156.838 | 12870 | 0 |
| huanxi 0.8.14.78 / v2 | 95.449 | 9/8 | 81.584 | 7752 | 0 |
| huanxi 0.8.14.79 / v2 | 117.515 | 13/12 | 105.720 | 9225 | 0 |
| huanxi 0.8.14.80 / v2 | 73.939 | 7/6 | 62.638 | 6060 | 0 |
| huanxi 0.8.14.81 / v2 | 104.027 | 9/8 | 91.511 | 8469 | 0 |
.77 的 C09/2 为187.458秒,对照同环境.69的95.685秒,增加91.773秒;逻辑模型/工具从8/7增为18/17。原始轨迹包含重复读取、兼容性修正和多次测试日志重写(model_turn 13–16),不能仅凭总时长归因于网络或模型恢复。必要的纠错和回归应保留;减少重复工作需在保持交付契约的前提下另行验证。
.80 C09/2 的73.939秒低于同环境.69的95.685秒,单次差值为−21.746秒;.81为104.027秒,高8.342秒。六个新run均未观察到公开model_fallback/model_escalation事件,这与历史.69的一次可见事件不同,但不能证明物理层无重试。
本轮五个新版本的回复合计均高于同环境.69锚点,且没有随版本递增呈现一致改善趋势;内容可判定的9题均通过。较快的局部输入和较慢的输入并存,应按下表定位而不是将总和解释为版本优劣或归因到某次提交。
模型区间之和仅用于定位轨迹,不作为可加的墙钟拆账。恢复事件按公开事件计数;未观测到事件不证明底层没有重试。逐响应、逐工具与原始事件见各run的 normalized 和 raw。
## 同环境逐输入变化(相对 .69 v2)
| 输入 | .69 v2/秒 | .77 Δ秒 | .78 Δ秒 | .79 Δ秒 | .80 Δ秒 | .81 Δ秒 |
|---|---:|---:|---:|---:|---:|---:|
| C01/1 | 40.973 | +5.853 | -0.027 | -2.950 | +1.657 | -3.245 |
| C02/1 | 100.868 | +2.405 | -19.826 | -32.089 | -42.828 | -20.030 |
| C03/1 | 46.165 | +16.667 | -1.912 | -16.307 | -11.326 | +7.215 |
| C04/1 | 69.131 | -17.420 | -5.266 | -3.090 | +29.156 | -13.410 |
| C05/1 | 92.029 | +20.121 | +51.118 | -13.742 | +5.547 | +66.140 |
| C06/1 | 53.709 | +7.696 | +0.713 | +3.235 | -6.793 | -6.471 |
| C07/1 | 40.845 | -4.497 | -1.785 | -5.716 | +16.300 | +1.623 |
| C07/2 | 45.779 | +11.257 | -9.854 | +9.092 | +27.291 | +50.786 |
| C08/1 | 27.666 | +6.950 | -3.142 | +6.802 | +6.099 | +12.195 |
| C08/2 | 44.680 | +25.894 | +1.186 | +14.081 | +25.184 | +14.099 |
| C09/1 | 49.215 | +25.448 | +2.684 | +15.192 | +2.060 | +7.362 |
| C09/2 | 95.685 | +91.773 | -0.236 | +21.830 | -21.746 | +8.342 |
| C10/1 | 52.198 | -2.067 | +14.254 | +6.930 | +4.289 | +12.964 |
| C10/2 | 45.208 | +23.973 | +70.795 | +60.992 | +34.487 | +6.548 |
正差值表示这一次更慢,负差值表示这一次更快;必须与内容复核并读。C10有冻结题面歧义,保留时间但不据此排序优化优先级。
## 内容复核与公开读取
- huanxi 0.8.14.69 / v2锚点:分页首请求HTTP 503;参数availability={'available': 68, 'partial': 6};结果availability={'available': 74};显式/tmp命令=7。
- huanxi 0.8.14.77 / v2:分页首请求HTTP 200;参数availability={'available': 75, 'partial': 13};结果availability={'available': 88};显式/tmp命令=0。C08:原检查器仅搜索顶层;题面允许子目录,精确字节备份存在于 raw/sales-original.csv
- huanxi 0.8.14.78 / v2:分页首请求HTTP 200;参数availability={'available': 60, 'partial': 12};结果availability={'available': 71, 'partial': 1};显式/tmp命令=11。C08:原检查器仅搜索顶层;题面允许子目录,精确字节备份存在于 raw/sales.raw.csv
- huanxi 0.8.14.79 / v2:分页首请求HTTP 200;参数availability={'available': 68, 'partial': 8};结果availability={'available': 76};显式/tmp命令=9。C08:原检查器仅搜索顶层;题面允许子目录,精确字节备份存在于 raw/sales.csv
- huanxi 0.8.14.80 / v2:分页首请求HTTP 200;参数availability={'available': 65, 'partial': 7};结果availability={'available': 72};显式/tmp命令=2。C08:原检查器仅搜索顶层;题面允许子目录,精确字节备份存在于 raw/sales.csv
- huanxi 0.8.14.81 / v2:分页首请求HTTP 200;参数availability={'available': 71, 'partial': 6};结果availability={'available': 77};显式/tmp命令=1。C08:原检查器仅搜索顶层;题面允许子目录,精确字节备份存在于 raw/sales.csv
C08只在找到与原始CSV字节完全一致的子目录备份时,按冻结review-adjustments纠正顶层扫描误报。C10沿冻结规则标歧义,原checker结果保留。分页探测只读一个精确 fullResultRef 的首个结果页;HTTP200不代表已验证所有分页链。完整工具结果仍按普通公开详情证据判断,partial不升级为available。.78 C09/2/M4 的工具结果公开标记 product_content_truncated,保留一条partial和原call身份,不补造全文。显式/tmp命令只是字面观察,不是系统调用审计。
## .80/.81 C01 观察中断与恢复
旧Eval把公开schema并不要求的 upgrades 列表当必填;.80起TaskFlow投影退役(#3724)后不再输出该字段,两个C01已经原生完成,观察器仍报 chat_session_snapshot_unavailable。总控批准仅对.80/.81做窄response-only适配:验证公开conversationSnapshot schema、Session与冻结身份后,仅在字段缺省时补空列表;字段存在但异常仍按旧逻辑拒绝。.69/.77/.78/.79使用原适配字节。
在公开最终回复且Runtime idle的安全点,仅停止旧观察器,未停止OS或取消Run。resume从原intent/ACK/Session/command/operation只读恢复C01,后续题目才发送新输入。原始snapshot、缺口记录、适配diff/hash与恢复回执均归档。
| 版本 | C01原生回复UTC | C01回复延迟/秒 | 观察结束晚于原生回复/秒 |
|---|---|---:|---:|
| huanxi 0.8.14.80 / v2 | 2026-11-12T07:49:53.892528+00:00 | 42.631 | 628.786 |
| huanxi 0.8.14.81 / v2 | 2026-11-12T07:49:49.429950+00:00 | 37.728 | 633.182 |
这段额外观察时间未并入上方回复延迟。原生计时与恢复后的采集完整度分别报告。
## 版本与证据
| 版本 | source SHA | schema | manifest SHA256 |
|---|---|---|
| 0.8.14.69 | 408c787c51cf7539caf1464a719b88e5b93c079f | 0.8.2-runtime-tables.125 | 9be1fda05a58ead2825b5a4ced7b8dbf322c5cdc8778240e8e7b9af1c333fc38 |
| 0.8.14.77 | 641b2122379d59e81a6aaf6f7969251dee4ba377 | 0.8.2-runtime-tables.130 | af7620411a5a6b4e3d253072cf01ac0490594e2031fe6e61f82f3af69459446e |
| 0.8.14.78 | 05d22976ca7a6982b5ae097e72cd4359cff9a851 | 0.8.2-runtime-tables.131 | 13abc16ee7d142419768d6b1cf71f1e00803b6977c55ce173da0fa5301ad73f2 |
| 0.8.14.79 | f8bafd85bc75bdf046a9bc5f51a654ea6c09d5aa | 0.8.2-runtime-tables.131 | 68db0cf187f2e74e775a6dd6e36ada6c389e8e20fff46fc4998657b85cfc1503 |
| 0.8.14.80 | 82fffd679ff476b988368c9a5b2ded8f9b3d6162 | 0.8.2-runtime-tables.132 | b192032dbf167a41e72560d4760400efa9cc45d7a9bbff4bc3689bebce0ac167 |
| 0.8.14.81 | 75eaaf3427057de3e5a2d08ea5aa187afccf0eee | 0.8.2-runtime-tables.133 | e07ea5b76a2754bfe601cf7d5b3c55c5a9b4f3b1595f8030185249ac585a3b0d |
运行目录:
- `runs/20261112-huanxi-0.8.14.69-framework-tools-t1-v2env`
- `runs/20261112-huanxi-0.8.14.77-framework-tools-t1`
- `runs/20261112-huanxi-0.8.14.78-framework-tools-t1`
- `runs/20261112-huanxi-0.8.14.79-framework-tools-t1`
- `runs/20261112-huanxi-0.8.14.80-framework-tools-t1`
- `runs/20261112-huanxi-0.8.14.81-framework-tools-t1`
每run含raw归档、normalized逐输入/模型/工具/复核结果及manifest文件hash;报告快照位于 `reports/<run-id>/`。六台自有沙箱在证据取回核hash后正常停服并删除,独立GET确认provider404。模型凭据未进入资料库或报告。
未验收范围:渠道/群聊/附件、HRD、历史迁移、生产部署、物理模型尝试与账单;本轮未修改OS源码、未开OS PR、未发版。
口径与限制
n=1;并发争用、模型随机性、跨日基线未受控;不能据此作统计排名或因果结论。输入终态、内容判分、范围遵守与采集完整度分开呈现。
固定基线为2026-11-07 Codex0.165.0 / OpenClaw2026.11.1;欢喜OS各版本单独新增试次。相同10题、14用户输入,liqian deepseek/deepseek-v4.1-flash-1017。 每次报告明确区分:输入→原生终态延迟、CLI/观察收尾、模型响应、工具步骤、内容判分、范围遵守与证据缺测。跨日固定基线不是同时随机对照。
- Relative to historical .68/.69 (teams-work-v1), this run uses a different teams-work-v2 environment. Main comparison uses same-day .69 v2 environment anchor.
- Six versions execute concurrently in separate 4C/8G sandboxes; cross-version provider contention and model nondeterminism are uncontrolled. One trial per case; no statistical ranking or causal attribution.
内容复核口径(comparisons/latest.md):历史复核:C08 原检查器漏查子目录备份,原判保留、内容复核 PASS;C10 部署清单完整性与 JSON 层级题面有歧义,保留 INCONCLUSIVE。
主耗时不包含CLI终态后退出等待。模型/工具时间线允许重叠;不得相加当整体墙钟。单trial及跨日历史基线只支持探索性比较。