vllm deploy-是否支持gen-mode

[DAVID-Hown]

Claude给出的回答：gen_emb 需要 decode 循环（自回归生成 ......<gen_emb>），而 embedding 端点没有这个循环。两个端点是完全不同的代码路径。即使你把 gen_emb 的 prompt 发给 /v1/embeddings，vLLM 也只会做一次前向，直接对输入序列做 last-token pooling，取到的是 GEN_INSTRUCTION 末尾的 token，而不是经过推理后的 <gen_emb>。

[Nonoor]

您好，/v1/embeddings 应该没有生成过程。对于 gen_emb，需要使用 vLLM 的常规生成接口（如 /v1/completions）来获取。

最简单的方法是：

1. 先用 vllm做生成，拿到 <gen_emb>
2. 再对完整序列做一次 forward（ /v1/embeddings），提取 <gen_emb> 对应位置的 hidden state

或者可以尝试在解码过程中直接拿 <gen_emb> 的 hidden state，但最新 vLLM 是否支持还不确定，可能需要自己稍微改一下代码。