Skip to content

amp distributed pytorch

조회 수 10 추천 수 0 2020.07.14 07:37:39

 

python -m torch.distributed.launch --nproc_per_node=4 main.py \
  --batch_size 60 \
  --num_workers 2 \
  --gpu_devices 0 1 2 3\
  --distributed \
  --log_freq 100


이 코드를 실행할 때는 다음 명령어를 사용해서 실행합니다. Torch.distributed.launch를 통해 main.py를 실행하는데 노드에서 4개의 프로세스가 돌아가도록 설정합니다. 각 프로세스는 GPU 하나에서 학습을 진행합니다. 만약 GPU가 2개라면 nproc_per_node를 2로 수정하면 됩니다. main.py에 batch_size와 num_worker를 설정하는데 각 GPU 마다의 batch_size와 worker 수를 의미합니다. batch size가 60이고 worker의 수가 2라면 전체적으로는 batch size가 240이며 worker의 수는 8입니다.


List of Articles
번호 제목 글쓴이 날짜 조회 수
1684 GPT2 [1] WHRIA 2020-08-03 2
1683 scopus [1] WHRIA 2020-08-02 2
1682 melafind WHRIA 2020-08-01 2
1681 nvidia dali [1] WHRIA 2020-08-01 1
1680 pytorch optimize WHRIA 2020-08-01  
1679 startup , 미국 WHRIA 2020-07-30 1
1678 consort , stard WHRIA 2020-07-30  
1677 model split [1] WHRIA 2020-07-30 1
1676 FTC [1] WHRIA 2020-07-28  
1675 암호화 WHRIA 2020-07-26 4
1674 raid 6 WHRIA 2020-07-23 9
1673 asyncio WHRIA 2020-07-23 10
» amp distributed pytorch [1] WHRIA 2020-07-14 10
1671 git 특정 버젼 WHRIA 2020-07-11 7
1670 naver rexnet clova AI [1] WHRIA 2020-07-04 22

Powered by Xpress Engine / Designed by Sketchbook

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소