显存不足

[ZHIZIHUABU]

我只有6G的显存，我使用resnet18替换wd_resnet50，并把batch_size调为4，输入是256，但是内存占用仍然过高，有什么办法可以训练吗

[xcyao00]

6G显存用于训练基于transformer的网络，确实有点小。建议batch_size设置为1，如果不行就只能使用更小的backbone，或者减少transformer的layer和head数。