A100机器跑，实时率超过1，回复很慢

[YuiGao]

我使用codex写了一个html页面，能正常连接服务，使用A100机器跑，实时率超过1，所以回复很慢，说话语音上传推理的速度大于模型推理的速度，所以导致我一段话说完了，模型还在推理上几秒的内容，导致反应很慢，这种应该怎么解决呢

[YuiGao]

实时率的问题我优化了一版，文字回复的速度比较正常了，但是语音为什么听起来卡卡的呢

[foggy-frost-forest]

hello, 能否发一下你部署的机器环境, 例如推理时候的GPU数、显存占用和利用率等信息，实时通话对算力的要求较高，语音卡顿可能是算力不足导致RTF>1的问题。

你可以部署我们的前端，其中包含针对实时推理波动的优化，并且有RTF的实时监控，方便更精准的问题定位。

[idealistxy]

如果可以能发一下后端的日志开头吗? 确认一下vllm有没有打开(启动vllm才能确保rft<1)

[idealistxy]

后端日志要显式打印出
[backend] mode=stable
[backend] backend=vllm (LYCHEEFD_USE_VLLM=1)
[backend] backend_arg_explicit=1
[backend] realtime_incremental_backend=auto

A100刚实际测试
rounds = 56
mean RTF = 0.771
p50 RTF = 0.742
p95 RTF = 0.891
max RTF = 1.569
RTF <= 1 = 98.2%
mean total_round = 308.5 ms

可以优先接入我们的前端进行测试

[YuiGao]

后端日志要显式打印出 [backend] mode=stable [backend] backend=vllm (LYCHEEFD_USE_VLLM=1) [backend] backend_arg_explicit=1 [backend] realtime_incremental_backend=auto

A100刚实际测试 rounds = 56 mean RTF = 0.771 p50 RTF = 0.742 p95 RTF = 0.891 max RTF = 1.569 RTF <= 1 = 98.2% mean total_round = 308.5 ms

可以优先接入我们的前端进行测试

嗯使用你们的页面正常测试了，但是感觉回复的稍微慢了一些，调整什么参数能让它回复响应的更及时呢，还有tts偶尔还是会在某个字上卡顿一下，以及我使用自己业务上的比较长的系统提示词后，回复的语音就完全不按照文字输出读了

[idealistxy]

回复慢的话可以试着调大start speaking factor就是开始说话因子，前端设置那里就可以修改(无明显噪声的环境，模型回复速度会相对更快一些)；
我们模型暂时不支持修改system prompt，涉及到训练对齐；
个别卡顿更多是计算速率波动问题(如先快后慢)，可以调整LYCHEEFD_TTS_VOCODER_HOP_SIZE参数(10->15/25)，累计更多speech token再token2wav, 平滑一下速率，但会引入额外首包的时延。

[YuiGao]

回复慢的话可以试着调大start speaking factor就是开始说话因子，前端设置那里就可以修改(无明显噪声的环境，模型回复速度会相对更快一些)； 我们模型暂时不支持修改system prompt，涉及到训练对齐； 个别卡顿更多是计算速率波动问题(如先快后慢)，可以调整LYCHEEFD_TTS_VOCODER_HOP_SIZE参数(10->15/25)，累计更多speech token再token2wav, 平滑一下速率，但会引入额外首包的时延。

好的，感谢我试试，不支持系统提示词的话，那提示词文本放到user里面可以吗