Skip to content

amp distributed pytorch

2020.07.14 08:37

WHRIA 조회 수:51

 

python -m torch.distributed.launch --nproc_per_node=4 main.py \
  --batch_size 60 \
  --num_workers 2 \
  --gpu_devices 0 1 2 3\
  --distributed \
  --log_freq 100


이 코드를 실행할 때는 다음 명령어를 사용해서 실행합니다. Torch.distributed.launch를 통해 main.py를 실행하는데 노드에서 4개의 프로세스가 돌아가도록 설정합니다. 각 프로세스는 GPU 하나에서 학습을 진행합니다. 만약 GPU가 2개라면 nproc_per_node를 2로 수정하면 됩니다. main.py에 batch_size와 num_worker를 설정하는데 각 GPU 마다의 batch_size와 worker 수를 의미합니다. batch size가 60이고 worker의 수가 2라면 전체적으로는 batch size가 240이며 worker의 수는 8입니다.

번호 제목 글쓴이 날짜 조회 수
1686 ubuntu cuda nvidia-smi WHRIA 2020.08.29 849
1685 concat network [3] WHRIA 2020.08.27 147
1684 GPT2 [1] WHRIA 2020.08.03 250
1683 scopus [1] WHRIA 2020.08.02 344
1682 melafind WHRIA 2020.08.01 771
1681 nvidia dali [1] WHRIA 2020.08.01 265
1680 pytorch optimize WHRIA 2020.08.01 126
1679 startup , 미국 WHRIA 2020.07.30 134
1678 consort , stard WHRIA 2020.07.30 81
1677 model split [1] WHRIA 2020.07.30 142
1676 FTC [1] WHRIA 2020.07.28 238
1675 암호화 WHRIA 2020.07.26 1000
1674 raid 6 WHRIA 2020.07.23 43
1673 asyncio WHRIA 2020.07.23 286
» amp distributed pytorch [1] WHRIA 2020.07.14 51

Powered by Xpress Engine / Designed by Sketchbook

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소