.68 · 报告快照

来源：reports/20261108-huanxi-0.8.14.68-framework-tools-t1/comparisons/latest.md

# 框架版本效果对比

生成于 2026-11-08T04:25:23.628266+00:00；只读已完成试次，计划不计作结果。

| 产品/版本 | 日期 | 用户turn完成/总数 | 内容复核 | 回复终态合计/秒 | 模型响应 | 工具调用 | 工具参数/结果缺测 |
|---|---|---:|---|---:|---:|---:|---:|
| codex 0.165.0 | 2026-11-07 | 14/14 | PASS=9, INCONCLUSIVE=1 | 629.48 | 68 | 72 | 0/0 |
| openclaw 2026.11.1 | 2026-11-07 | 14/14 | PASS=9, INCONCLUSIVE=1 | 767.63 | 125 | 120 | 0/0 |
| huanxi 0.8.14.67 | 2026-11-07 | 11/14 | PASS=9, INCONCLUSIVE=1 | 3019.01 | 301 | 281 | 23/23 |
| huanxi 0.8.14.68 | 2026-11-08 | 14/14 | PASS=9, INCONCLUSIVE=1 | 1060.38 | 105 | 100 | 0/0 |

## 准备、执行与收尾阶段

阶段表单列操作时间；正式试次阶段与用户回复计时重叠，不额外累加。缺测不补零。阶段PASS表示该操作完成，不代表所有题目内容通过。

| 产品/版本 | 阶段 | 秒 | 状态 |
|---|---|---:|---|
| codex 0.165.0 | 原归档未提供规范化阶段计时 | 缺测 | 未补测 |
| openclaw 2026.11.1 | 原归档未提供规范化阶段计时 | 缺测 | 未补测 |
| huanxi 0.8.14.67 | 原归档未提供规范化阶段计时 | 缺测 | 未补测 |
| huanxi 0.8.14.68 | sandbox_creation | 1.06 | PASS |
| huanxi 0.8.14.68 | python_and_release_download_integrity | 10.46 | PASS |
| huanxi 0.8.14.68 | base_dependencies_installation | 24.00 | PASS |
| huanxi 0.8.14.68 | eval_source_download_hash_check_and_dependencies | 91.29 | PASS |
| huanxi 0.8.14.68 | official_product_prepare_install_configure_fixture | 52.54 | PASS |
| huanxi 0.8.14.68 | model_configuration | 缺测 | PASS |
| huanxi 0.8.14.68 | case_material_seeding | 缺测 | PASS |
| huanxi 0.8.14.68 | health_version_models_schema_tools_preflight | 2.92 | PASS |
| huanxi 0.8.14.68 | serial_product_trial_and_per_case_observation | 1100.03 | PASS |
| huanxi 0.8.14.68 | native_result_readback | 0.08 | FAIL_CAPTURE |
| huanxi 0.8.14.68 | native_result_readback_v2 | 1.73 | PASS |
| huanxi 0.8.14.68 | original_artifact_grader | 0.14 | PASS |
| huanxi 0.8.14.68 | archive_pack_and_credential_scan | 4.17 | PASS |
| huanxi 0.8.14.68 | archive_transfer_and_local_hash_readback | 缺测 | PASS |
| huanxi 0.8.14.68 | stop_owned_services | 2.60 | PASS |
| huanxi 0.8.14.68 | sandbox_delete | 2.20 | PASS |
| huanxi 0.8.14.68 | sandbox_independent_absence_verification | 0.50 | PASS |

## 任务范围与模型观察

范围计数为可见命令中明确出现 /tmp 的次数，独立于内容 PASS；不是完整系统调用审计。

| 产品/版本 | /tmp 命令观察数 | 涉及题目 | 有范围观察的题数 | 模型ID缺测/不符 |
|---|---:|---|---:|---:|
| codex 0.165.0 | 4 | C04, C10 | 10 | 0/0 |
| openclaw 2026.11.1 | 5 | C04, C09 | 10 | 0/0 |
| huanxi 0.8.14.67 | 34 | C01, C03, C04, C06, C07, C09, C10 | 10 | 0/0 |
| huanxi 0.8.14.68 | 15 | C01, C02, C03, C04, C07, C09, C10 | 10 | 0/0 |

## 每题耗时与步骤

每格：用户输入→回复/失败终态秒数之和；模型响应数/工具调用数。

| Case | codex 0.165.0 | openclaw 2026.11.1 | huanxi 0.8.14.67 | huanxi 0.8.14.68 |
|---|---:|---:|---:|---:|
| C01 发票去重与对账 | 30.61；4/3 | 36.86；6/6 | 173.55；18/14 | 32.34；4/3 |
| C02 日志关联与事故时间线 | 46.81；4/8 | 51.20；8/9 | 306.24；35/34 | 76.11；8/8 |
| C03 多文件政策优先级 | 29.13；5/6 | 49.03；9/10 | 134.09；17/18 | 50.55；7/7 |
| C04 时区与稳定排序 | 52.27；8/9 | 78.99；11/11 | 384.39；38/34 | 100.43；8/9 |
| C05 小模块修复与回归 | 92.96；7/10 | 134.43；21/22 | 145.86；12/11 | 123.86；12/11 |
| C06 依赖图与关键路径 | 23.34；3/2 | 55.14；9/8 | 478.43；41/37 | 81.20；8/7 |
| C07 采购方案追加预算约束 | 73.86；6/5 | 111.12；17/16 | 114.22；10/8 | 135.77；15/13 |
| C08 销售汇总与增量更正 | 78.90；9/11 | 52.84；10/8 | 197.36；21/16 | 96.76；10/8 |
| C09 命令行工具连续迭代 | 153.57；15/13 | 91.57；15/13 | 510.96；50/48 | 187.25；17/18 |
| C10 发布判断与新证据修正 | 48.03；7/5 | 106.46；19/17 | 573.91；59/61 | 176.13；16/16 |

## OS版本变化（相邻已完成试次）

| 旧版→新版 | 回复合计差/秒 | 变化比例 | 完成turn数变化 | 模型/工具次数变化 |
|---|---:|---:|---:|---:|
| 0.8.14.67 → 0.8.14.68 | -1958.62 | -64.9% | +3 | -196/-181 |

### 最新两次OS逐输入变化

负值表示本次观察更少/更快；终态变化必须一起看，失败更快不能当作性能提升。

| 输入 | 原终态→现终态 | 原耗时→现耗时/秒 | 耗时差/秒 | 模型/工具次数差 |
|---|---|---:|---:|---:|
| C01/U1 | failed → completed | 173.55 → 32.34 | -141.21 | -14/-11 |
| C02/U1 | failed → completed | 306.24 → 76.11 | -230.13 | -27/-26 |
| C03/U1 | completed → completed | 134.09 → 50.55 | -83.54 | -10/-11 |
| C04/U1 | completed → completed | 384.39 → 100.43 | -283.97 | -30/-25 |
| C05/U1 | completed → completed | 145.86 → 123.86 | -22.00 | 0/0 |
| C06/U1 | completed → completed | 478.43 → 81.20 | -397.24 | -33/-30 |
| C07/U1 | completed → completed | 43.62 → 50.80 | 7.19 | 2/2 |
| C07/U2 | completed → completed | 70.60 → 84.97 | 14.37 | 3/3 |
| C08/U1 | failed → completed | 150.48 → 44.42 | -106.06 | -11/-8 |
| C08/U2 | completed → completed | 46.89 → 52.34 | 5.46 | 0/0 |
| C09/U1 | completed → completed | 169.36 → 68.61 | -100.74 | -13/-14 |
| C09/U2 | completed → completed | 341.60 → 118.64 | -222.97 | -20/-16 |
| C10/U1 | completed → completed | 268.30 → 70.76 | -197.54 | -23/-27 |
| C10/U2 | completed → completed | 305.61 → 105.37 | -200.24 | -20/-18 |

## 下一步优化定位

以下按最新已完成OS试次与同题最快固定基线的延迟差排序，仅用于选择需要查看的轨迹，不证明原因。

| Case | OS秒 | 固定基线最快秒 | 差值秒 | OS模型/工具 |
|---|---:|---:|---:|---:|
| C09 命令行工具连续迭代 | 187.25 | 91.57 | +95.68 | 17/18 |
| C07 采购方案追加预算约束 | 135.77 | 73.86 | +61.91 | 15/13 |
| C06 依赖图与关键路径 | 81.20 | 23.34 | +57.86 | 8/7 |
| C04 时区与稳定排序 | 100.43 | 52.27 | +48.16 | 8/9 |
| C08 销售汇总与增量更正 | 96.76 | 52.84 | +43.92 | 10/8 |

判分歧义题不进入优化排名；各题原始延迟仍全部保留。优化分析应沿这些case的user-turns/model-steps/tool-steps查看：延迟来自更多轮次、单轮更慢、工具等待还是观察缺口；由原始日志支持后才能列为已证实原因。

## 证据与可比边界

- codex 0.165.0：run `20261107-codex-0.165.0-t1`；逐工具缺测与截断见工具CSV，完整采集说明见私有manifest。
- openclaw 2026.11.1：run `20261107-openclaw-2026.11.1-t1`；逐工具缺测与截断见工具CSV，完整采集说明见私有manifest。
- huanxi 0.8.14.67：run `20261107-huanxi-0.8.14.67-t1`；逐工具缺测与截断见工具CSV，完整采集说明见私有manifest。
- huanxi 0.8.14.68：run `20261108-huanxi-0.8.14.68-framework-tools-t1`；逐工具缺测与截断见工具CSV，完整采集说明见私有manifest。

固定基线：`20261107-codex-0.165.0-t1`, `20261107-openclaw-2026.11.1-t1`

历史复核：C08 原检查器漏查子目录备份，原判保留、内容复核 PASS；C10 部署清单完整性与 JSON 层级题面有歧义，保留 INCONCLUSIVE。
历史采集：Codex CLI 终态后等待累计约147.30秒，另列；OpenClaw C01 CLI退出时间缺测。OS .67 C08/U2由只读恢复拿到46.885秒真实回复延迟，与C09/U1重叠约45.136秒。输入延迟合计不是campaign墙钟。

主耗时不包含CLI终态后退出等待。模型/工具时间线允许重叠；不得相加当整体墙钟。单trial及跨日历史基线只支持探索性比较。

## 版本计划状态

- 0.8.14.68: complete
- 0.8.14.69: waiting_for_deployment

[本版结果解读与优化依据](analysis-20261108-huanxi-0.8.14.68-framework-tools-t1.md)

数据：[网页JSON](../exports/web-data.json)、[用户turn CSV](../exports/user-turns.csv)、[模型步骤CSV](../exports/model-steps.csv)、[工具步骤CSV](../exports/tool-steps.csv)。

口径与限制

n=1；并发争用、模型随机性、跨日基线未受控；不能据此作统计排名或因果结论。输入终态、内容判分、范围遵守与采集完整度分开呈现。

固定基线为2026-11-07 Codex0.165.0 / OpenClaw2026.11.1；欢喜OS各版本单独新增试次。相同10题、14用户输入，liqian deepseek/deepseek-v4.1-flash-1017。每次报告明确区分：输入→原生终态延迟、CLI/观察收尾、模型响应、工具步骤、内容判分、范围遵守与证据缺测。跨日固定基线不是同时随机对照。

Relative to historical .68/.69 (teams-work-v1), this run uses a different teams-work-v2 environment. Main comparison uses same-day .69 v2 environment anchor.
Six versions execute concurrently in separate 4C/8G sandboxes; cross-version provider contention and model nondeterminism are uncontrolled. One trial per case; no statistical ranking or causal attribution.

内容复核口径（comparisons/latest.md）：历史复核：C08 原检查器漏查子目录备份，原判保留、内容复核 PASS；C10 部署清单完整性与 JSON 层级题面有歧义，保留 INCONCLUSIVE。

主耗时不包含CLI终态后退出等待。模型/工具时间线允许重叠；不得相加当整体墙钟。单trial及跨日历史基线只支持探索性比较。