mixed precision training
2018.11.06 06:56
train (math) 는 FP16 으로 하고 storage 는 FP32 로 해서 BVLC Caffe 에서도 잘 동작하는듯.
정확도는 아직 더 test 해봐야한다. scale factor 는 100~1000 이 적당한듯.
NVCaffe 에서 trainval.prototxt 에 아래와 같이 추가
default_forward_type: FLOAT16
default_backward_type: FLOAT16
default_forward_math: FLOAT
default_backward_math: FLOAT
global_grad_scale:100
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
1686 | Mediainfo 를 이용해서 날짜 알아내기 | WHRIA | 2012.12.20 | 10405 |
1685 | 마음이 편해지는 그림 | WHRIA | 2007.02.18 | 10356 |
1684 | 마음의 결정이 끝났습니다. | WHRIA | 2009.11.20 | 10334 |
1683 | 애드센스 수입금 - 48만원 | WHRIA | 2010.12.28 | 10277 |
1682 | MedicalPhoto moved to http://medicalphoto.org | WHRIA | 2008.06.20 | 10104 |
1681 | rAthena [1] | WHRIA | 2016.06.26 | 10074 |
1680 | 어려운 결정 | WHRIA | 2008.10.11 | 10019 |
1679 | 피얼룩 지우기 | WHRIA | 2012.05.26 | 9956 |
1678 | Trader | WHRIA | 2009.11.17 | 9882 |
1677 | 승석이 홈페이지입니다. | 한승석 | 2000.05.29 | 9874 |
1676 | 피부과 홈페이지 제작중 | WHRIA | 2009.11.11 | 9712 |
1675 | 일본으로 workshop 초청이 왔는데 못가게 되었다. [1] | WHRIA | 2009.11.23 | 9632 |
1674 | 간판 제작 업체 | WHRIA | 2009.10.31 | 9558 |
1673 | 인플레이션인가 디플레이션인가 | WHRIA | 2009.06.21 | 9546 |
1672 | 돌사진 | WHRIA | 2011.03.21 | 9446 |
MIXED 셋팅
default_forward_type: FLOAT16
default_backward_type: FLOAT16
default_forward_math: FLOAT
default_backward_math: FLOAT
FP32
default_forward_type: FLOAT
default_backward_type: FLOAT
default_forward_math: FLOAT
default_backward_math: FLOAT
FP16
default_forward_type: FLOAT16
default_backward_type: FLOAT16
default_forward_math: FLOAT16
default_backward_math: FLOAT16
CUDA 8.0 으로 하면 속도 향상이 없다.
CUDA10.0 기준, cudnn 7.4.1, ResNeXt-50 , 100 iter
FP32 - 82 sec, 4779
FP16 - 69 sec+ test 오래걸림 , 2623
Mixed - store 16bit - 69 sec, 2623
Mixed - store 32bit - 69 sec, 2769
solver_data_type: FLOAT16 가 16bit 인 경우 memory 를 약간 더 잡아먹는다.
Mixed train 하는 경우
pascal 에서 속도가 30% 향상있고 메모리는 50% 감소한다.