.67 · 报告快照
来源:reports/20261107-huanxi-0.8.14.67-t1/comparisons/latest.md
# 框架版本效果对比 生成于 2026-11-08T03:52:54.450466+00:00;只读已完成试次,计划不计作结果。 | 产品/版本 | 日期 | 用户turn完成/总数 | 内容复核 | 回复终态合计/秒 | 模型响应 | 工具调用 | 工具参数/结果缺测 | |---|---|---:|---|---:|---:|---:|---:| | codex 0.165.0 | 2026-11-07 | 14/14 | PASS=9, INCONCLUSIVE=1 | 629.48 | 68 | 72 | 0/0 | | openclaw 2026.11.1 | 2026-11-07 | 14/14 | PASS=9, INCONCLUSIVE=1 | 767.63 | 125 | 120 | 0/0 | | huanxi 0.8.14.67 | 2026-11-07 | 11/14 | PASS=9, INCONCLUSIVE=1 | 3019.01 | 301 | 281 | 23/23 | ## 准备与收尾阶段 这些阶段不计入用户输入到回复的耗时;缺测不补零。阶段可能嵌套,不直接累加。 | 产品/版本 | 阶段 | 秒 | 状态 | |---|---|---:|---| | codex 0.165.0 | 原归档未提供规范化阶段计时 | 缺测 | 未补测 | | openclaw 2026.11.1 | 原归档未提供规范化阶段计时 | 缺测 | 未补测 | | huanxi 0.8.14.67 | 原归档未提供规范化阶段计时 | 缺测 | 未补测 | ## 任务范围与模型观察 范围计数为可见命令中明确出现 /tmp 的次数,独立于内容 PASS;不是完整系统调用审计。 | 产品/版本 | /tmp 命令观察数 | 涉及题目 | 有范围观察的题数 | 模型ID缺测/不符 | |---|---:|---|---:|---:| | codex 0.165.0 | 4 | C04, C10 | 10 | 0/0 | | openclaw 2026.11.1 | 5 | C04, C09 | 10 | 0/0 | | huanxi 0.8.14.67 | 34 | C01, C03, C04, C06, C07, C09, C10 | 10 | 0/0 | ## 每题耗时与步骤 每格:用户输入→回复/失败终态秒数之和;模型响应数/工具调用数。 | Case | codex 0.165.0 | openclaw 2026.11.1 | huanxi 0.8.14.67 | |---|---:|---:|---:| | C01 发票去重与对账 | 30.61;4/3 | 36.86;6/6 | 173.55;18/14 | | C02 日志关联与事故时间线 | 46.81;4/8 | 51.20;8/9 | 306.24;35/34 | | C03 多文件政策优先级 | 29.13;5/6 | 49.03;9/10 | 134.09;17/18 | | C04 时区与稳定排序 | 52.27;8/9 | 78.99;11/11 | 384.39;38/34 | | C05 小模块修复与回归 | 92.96;7/10 | 134.43;21/22 | 145.86;12/11 | | C06 依赖图与关键路径 | 23.34;3/2 | 55.14;9/8 | 478.43;41/37 | | C07 采购方案追加预算约束 | 73.86;6/5 | 111.12;17/16 | 114.22;10/8 | | C08 销售汇总与增量更正 | 78.90;9/11 | 52.84;10/8 | 197.36;21/16 | | C09 命令行工具连续迭代 | 153.57;15/13 | 91.57;15/13 | 510.96;50/48 | | C10 发布判断与新证据修正 | 48.03;7/5 | 106.46;19/17 | 573.91;59/61 | ## 下一步优化定位 以下按最新已完成OS试次与同题最快固定基线的延迟差排序,仅用于选择需要查看的轨迹,不证明原因。 | Case | OS秒 | 固定基线最快秒 | 差值秒 | OS模型/工具 | |---|---:|---:|---:|---:| | C06 依赖图与关键路径 | 478.43 | 23.34 | +455.10 | 41/37 | | C09 命令行工具连续迭代 | 510.96 | 91.57 | +419.39 | 50/48 | | C04 时区与稳定排序 | 384.39 | 52.27 | +332.13 | 38/34 | | C02 日志关联与事故时间线 | 306.24 | 46.81 | +259.42 | 35/34 | | C08 销售汇总与增量更正 | 197.36 | 52.84 | +144.52 | 21/16 | 判分歧义题不进入优化排名;各题原始延迟仍全部保留。优化分析应沿这些case的user-turns/model-steps/tool-steps查看:延迟来自更多轮次、单轮更慢、工具等待还是观察缺口;由原始日志支持后才能列为已证实原因。 ## 证据与可比边界 - codex 0.165.0:run `20261107-codex-0.165.0-t1`;逐工具缺测与截断见工具CSV,完整采集说明见私有manifest。 - openclaw 2026.11.1:run `20261107-openclaw-2026.11.1-t1`;逐工具缺测与截断见工具CSV,完整采集说明见私有manifest。 - huanxi 0.8.14.67:run `20261107-huanxi-0.8.14.67-t1`;逐工具缺测与截断见工具CSV,完整采集说明见私有manifest。 固定基线:`20261107-codex-0.165.0-t1`, `20261107-openclaw-2026.11.1-t1` 历史复核:C08 原检查器漏查子目录备份,原判保留、内容复核 PASS;C10 部署清单完整性与 JSON 层级题面有歧义,保留 INCONCLUSIVE。 历史采集:Codex CLI 终态后等待累计约147.30秒,另列;OpenClaw C01 CLI退出时间缺测。OS .67 C08/U2由只读恢复拿到46.885秒真实回复延迟,与C09/U1重叠约45.136秒。输入延迟合计不是campaign墙钟。 主耗时不包含CLI终态后退出等待。模型/工具时间线允许重叠;不得相加当整体墙钟。单trial及跨日历史基线只支持探索性比较。 ## 尚未执行的计划 - 0.8.14.68: preparing_isolated_trial - 0.8.14.69: waiting_for_deployment 数据:[网页JSON](../exports/web-data.json)、[用户turn CSV](../exports/user-turns.csv)、[模型步骤CSV](../exports/model-steps.csv)、[工具步骤CSV](../exports/tool-steps.csv)。
口径与限制
n=1;并发争用、模型随机性、跨日基线未受控;不能据此作统计排名或因果结论。输入终态、内容判分、范围遵守与采集完整度分开呈现。
固定基线为2026-11-07 Codex0.165.0 / OpenClaw2026.11.1;欢喜OS各版本单独新增试次。相同10题、14用户输入,liqian deepseek/deepseek-v4.1-flash-1017。 每次报告明确区分:输入→原生终态延迟、CLI/观察收尾、模型响应、工具步骤、内容判分、范围遵守与证据缺测。跨日固定基线不是同时随机对照。
- Relative to historical .68/.69 (teams-work-v1), this run uses a different teams-work-v2 environment. Main comparison uses same-day .69 v2 environment anchor.
- Six versions execute concurrently in separate 4C/8G sandboxes; cross-version provider contention and model nondeterminism are uncontrolled. One trial per case; no statistical ranking or causal attribution.
内容复核口径(comparisons/latest.md):历史复核:C08 原检查器漏查子目录备份,原判保留、内容复核 PASS;C10 部署清单完整性与 JSON 层级题面有歧义,保留 INCONCLUSIVE。
主耗时不包含CLI终态后退出等待。模型/工具时间线允许重叠;不得相加当整体墙钟。单trial及跨日历史基线只支持探索性比较。