longds

[fluMatthews]

这个bench有一般模型非docker的跑法吗？另，这个bench是不是一般模型不太能跑？感觉效果极差

[xkw666]

感谢您对我们工作的关注！

1. 非 Docker 的运行方式

论文中的实验设置使用 DSGym。DSGym 框架本身提供隔离、干净的 Docker 环境，用于对数据集执行 Python 代码，从而保证执行环境尽量可控、可复现。

如果不想使用 Docker，目前仓库里也提供了几种非 Docker 的运行方式：

• runners/agent_agnostic/：让 agent 直接使用自己的 shell/code execution 工具，并按照 LongDS skill 运行。
• runners/codex/：直接使用 Codex CLI 跑 LongDS。
• runners/claude_code/：直接使用 Claude Code 跑 LongDS。

这些方式会先在本地创建 longds 虚拟环境，然后让 agent 在该环境下执行 Python 代码。不过，它们和论文中的 DSGym 设置在隔离性与可见性约束上并不完全一致。例如，Codex/Claude Code 这类 CLI agent 可能会搜索关键词、读取本地包含答案的文件，从而造成标签泄露；也可能修改运行环境或数据文件，进而影响后续任务。

如果希望集成到您自己的 agent 框架中，核心逻辑并不复杂：按 task 遍历 turns，在每一轮中只将当前 turn 的 question 以及先前turns 的输出/轨迹按顺序输入给 agent，然后记录该轮答案。示意伪代码如下：

for task in tasks:
    history = []
    for turn in task.turns:
        answer, trajectory = agent.run(
            question=turn.question,
            history=history,
        )
        save_answer(task.id, turn.id, answer)
        history.append({
            "question": turn.question,
            "trajectory": trajectory,
            "answer": answer,
        })

2. 一般模型效果

关于一般模型的效果，LongDS 本身设计为一个高难度 benchmark。它主要考察长程、多轮数据分析能力，后续问题往往依赖前面建立的筛选条件、中间变量、假设更新、rollback 和多状态组合。普通模型或者较弱的 agent 框架如果不能稳定执行代码、维护状态，效果确实会很差。同时，LongDS 中的错误具有明显的级联效应：如果前面的状态、代码或中间结果出错，后续多个 turn 往往都会受到影响，导致连续回答错误，因此最终分数可能较低。

此外，agent 的效果不仅取决于模型本身，也高度依赖 harness 的设计。对于一般模型，您可以尝试引入 memory、显式状态管理、代码执行缓存，或设计更强的 harness，以获得更好的效果。

[fluMatthews]

Qwen3-8B/32B 之类的模型 按照官方DSgym逻辑不断append前序turn内容到message当中 实际运行后期均为context溢出。请问是否符合官方跑法意图 谢谢

[xkw666]

您好，感谢反馈。
按照 LongDS 的设计，后续 turn 需要依赖前序 turn 中与任务相关的定义、状态和中间结果才能正确解答。不过，我们并不希望 因为无限制追加所有原始历史，导致上下文溢出而无法继续执行。
Qwen3-8B 和 Qwen3-32B 的原生上下文窗口为 32K。LongDS 中的一个 task 通常包含多个 turn，每个 turn 内又包含多步推理、代码执行和工具调用。随着任务推进，前序问题的执行轨迹会不断累积，超过模型的上下文窗口。
您可以考虑以下处理方式：

1. 更换上下文窗口更大的模型。
2. 对部分过长的 observation 和工具输出做合理截断，尤其是完整数据文件、长表格等内容。
3. 对前序turn内容截断，例如只append 最近3个turn的message
4. 使用 memory 或显式状态管理等方法，将前序 turn 的关键内容压缩保存，对于当前问题只添加检索到的关键信息