Skip to content

Correct evaluator and canonical replay contracts - #3

Merged
lanyue-llk merged 17 commits into
lex-mainfrom
codex/harden-evaluator-contracts
Sep 29, 2026
Merged

lanyue-llk merged 17 commits into
lex-mainfrom
codex/harden-evaluator-contracts

Conversation

@lanyue-llk

@lanyue-llk lanyue-llk commented Sep 24, 2026 •

Copy link
Copy Markdown

变更

  • 修复动态 URL / POST 占位符、事件流顺序、显式 last_event_only 与数组类型的通用网络评测语义。
  • 修正 canonical WebArena 任务中错误的端点、请求体、导航模式、用户组集合、仓库路径和路线方向。
  • 将合法的空 HAR 解释为“观察到零个网络事件”,由官方 evaluator 正常给出失败,不再误判为另一种 trace 格式并抛异常。
  • 增加正反行为控制,覆盖尾随错误请求、动态字段变化、数组元素类型、路线正反方向和空 HAR。

这些修改属于所有执行器共用的评测器与 canonical dataset。浏览器轨迹、Rainbond 部署地址、运行证据和报告继续由 browser-eval 维护。

PR 关系

验证

  • evaluator、迁移、API、dataset integrity:此前完整聚焦套件 1,862 passed。
  • 本地可运行完整套件:此前 5,739 passed,6,391 skipped,2 deselected。
  • 最新空 HAR 修复的 evaluator / trace 聚焦测试:10 passed。
  • Ruff、ty 与 diff check 通过;最新空 HAR提交的 Ruff 与 diff check 通过。

需要 Docker、外部站点或 Hugging Face 数据的测试未计入本地可运行套件。

# Conflicts:
#	src/webarena_verified/core/evaluation/data_types/base.py
#	src/webarena_verified/core/evaluation/data_types/markdown_string.py
#	tests/api/test_corrected_task_contracts.py
#	tests/dataset/test_known_contract_corrections.py
@lanyue-llk lanyue-llk changed the title Fix dynamic network evaluation contracts Correct evaluator and canonical replay contracts Sep 24, 2026
@lanyue-llk

Copy link
Copy Markdown
Author

独立防作弊审查结论

已按“是否降低门槛、修改答案或为特定浏览器放行”重新审查最终 diff,并加入对抗用例。结论:最终 head 3f8e559 没有浏览器特判,没有降低评分阈值,也没有通过改答案让 Chromium/Moli 通过。

审查中确实发现并修复了三类会产生假阳性的共享问题:

  • 动态值曾可从不可信的实际请求自绑定,现改为只从声明的可信响应事件或允许值绑定;
  • 同一来源的多个字段曾可能跨两个物理响应拼接,现要求原子地来自同一事件;
  • last_event_only 曾可能只在局部候选流上取最后事件,现固定在完整事件流中确定最终来源,并要求来源严格早于消费事件。

另外纠正了 task 760 把 Allentown 机场当作市区起点的问题;这是评测数据错误修正,不是放宽条件。Browser Eval 的旧报告仍绑定旧评测版本,不会把旧轨迹结果冒充为新合同结果。

验证:目标测试 45 passed;核心、数据完整性与 API 2355 passed / 3 skipped;Ruff、ty、diff check 通过。

@lanyue-llk
lanyue-llk merged commit 7cd4b6f into lex-main Sep 29, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant