标签： DistributedDataParallel

鉴于Transformer盛行，导致模型训练已经ImageNet打底了，因此这里得学点分布式训练的知识，不然大数据集都训练不起来，本文是根据参考 … Continue reading PyTorch:DistributedDataParallel(DDP)学习