Skip to content

amp distributed pytorch

조회 수 23 추천 수 0 2020.07.14 08:37:39

 

python -m torch.distributed.launch --nproc_per_node=4 main.py \
  --batch_size 60 \
  --num_workers 2 \
  --gpu_devices 0 1 2 3\
  --distributed \
  --log_freq 100


이 코드를 실행할 때는 다음 명령어를 사용해서 실행합니다. Torch.distributed.launch를 통해 main.py를 실행하는데 노드에서 4개의 프로세스가 돌아가도록 설정합니다. 각 프로세스는 GPU 하나에서 학습을 진행합니다. 만약 GPU가 2개라면 nproc_per_node를 2로 수정하면 됩니다. main.py에 batch_size와 num_worker를 설정하는데 각 GPU 마다의 batch_size와 worker 수를 의미합니다. batch size가 60이고 worker의 수가 2라면 전체적으로는 batch size가 240이며 worker의 수는 8입니다.


List of Articles
번호 제목 글쓴이 날짜 조회 수
1685 concat network [3] WHRIA 2020-08-27 40
1684 GPT2 [1] WHRIA 2020-08-03 69
1683 scopus [1] WHRIA 2020-08-02 94
1682 melafind WHRIA 2020-08-01 471
1681 nvidia dali [1] WHRIA 2020-08-01 133
1680 pytorch optimize WHRIA 2020-08-01 32
1679 startup , 미국 WHRIA 2020-07-30 56
1678 consort , stard WHRIA 2020-07-30 40
1677 model split [1] WHRIA 2020-07-30 37
1676 FTC [1] WHRIA 2020-07-28 80
1675 암호화 WHRIA 2020-07-26 790
1674 raid 6 WHRIA 2020-07-23 18
1673 asyncio WHRIA 2020-07-23 95
» amp distributed pytorch [1] WHRIA 2020-07-14 23
1671 git 특정 버젼 WHRIA 2020-07-11 13

Powered by Xpress Engine / Designed by Sketchbook

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소