请问是否支持多级多卡

[lainxx]

采用指令 torchrun --standalone --nnodes=4 --nproc-per-node=8 train_pretrain_stage0.py
报错：torch.distributed.elastic.rendezvous.api.RendezvousTimeoutError

[qibin0506]

使用ddp_train train_pretrain_stage0.py --standalone --nnodes=4 --nproc-per-node=8试一下

[lainxx]

好的我试试

[qibin0506]

不过还是建议使用deepspeed，使用方式smart_train xxx.py deepspeed参数