fine-tune out of memory

[jiangix-paper]

请问使用这个参数fine-tune，显存占用大概多少？我这边16G的v100显示out of memory

请问如果单卡fine-tune显存不够用，有多卡的fine-tune代码吗

[joytianya]

可以调整batch size和max len等参数使用

[yzhzx]

batch size 调成4 占用不到11G显存可以完成训练 , 就是训练完成使用没有示例的效果 就不知道怎么调整了

[joytianya]

可以调小学习率，训练开始，训练一段测试一下，比如训练100步，如果有问题，训练10步看看，看看是不是训练中的问题还是推理的问题