关于stage1训练时的显存占用问题

您好，我在进行stage1的训练的时候出现了cuda out of memory的问题。我使用的是4*V100（32GB）的服务器，如果batchsize调成1的话那么每张显卡上会占用22.8GB的显存，如果调成2及以上就会cuda out of memory，因此我想知道您使用的24GB的显卡为什么在batchsize调成4的情况下依然能够不出现out of memory的问题。