NPU显存占用问题

[DoubleEspresso-7]

感谢作者分享，我在昇腾910B 64GB显存的NPU上部署了ppocrv5的服务，但是随着调用请求次数的增多，显存会快速增长，峰值达到了30多GB，请问这是什么原因呢？有没有降低显存占用的方法？

[BytePioneer-AI]

这个没事的，大概率是因为并发 + 图片较大的原因，导致显存占用的上限增加。每次推理使用的显存不会主动进行释放，而是作为缓存保留，从而避免下次推理时的重复申请。
我在最初也发现了这个问题，经过多轮测试和查询资料下来，应该是这个原因，同时官方PaddleOCR库好像也是这样，显存不会主动释放。
之前写过显存占用过大时主动释放一部分（后来觉得没有必要），如果你在单卡需要部署多个模型，可以考虑实现一下显存释放的逻辑。
我这边运行数月到也一直很稳定没有挂，可以放心😄。

[DoubleEspresso-7]

感谢回复，现在就是想单卡部署多个模型，所以想限制下显存的占用。