您好，感谢您的优秀的工作！ 我想问一下在模型推理的时候是使用原声transformers库来实现束约束的，但是如果要修改vllm推理的话似乎还不能很好的支持。我使用vllm推理并不能稳定的获取足够数量的结果。请问这个在部署的时候有什么更好的方案嘛
您好，感谢您的优秀的工作！
我想问一下在模型推理的时候是使用原声transformers库来实现束约束的，但是如果要修改vllm推理的话似乎还不能很好的支持。我使用vllm推理并不能稳定的获取足够数量的结果。请问这个在部署的时候有什么更好的方案嘛