解开 launch.py 里面关于 OMP_NUM_THREADS 的注释可以加速训练,也能提高 GPU 利用率,因为默认会使用所有核心(对于核心数很多的机器如 A100),多核心之间的交互可能有耗时,如果觉得 1 太小,可以额外在 train.sh 前面控制(如使用 8),LibriTTS 的训练尚未测试 https://github.com/yangdongchao/AcademiCodec/blob/a496082fc2f7a324abb37fc3355487798dad2084/academicodec/models/encodec/distributed/launch.py#L34 also see https://github.com/yangdongchao/SoundStorm/pull/34 在该仓库中暂未验证
解开 launch.py 里面关于 OMP_NUM_THREADS 的注释可以加速训练,也能提高 GPU 利用率,因为默认会使用所有核心(对于核心数很多的机器如 A100),多核心之间的交互可能有耗时,如果觉得 1 太小,可以额外在 train.sh 前面控制(如使用 8),LibriTTS 的训练尚未测试
AcademiCodec/academicodec/models/encodec/distributed/launch.py
Line 34 in a496082
also see yangdongchao/SoundStorm#34
在该仓库中暂未验证