mixed precision training
2018.11.06 06:56
train (math) 는 FP16 으로 하고 storage 는 FP32 로 해서 BVLC Caffe 에서도 잘 동작하는듯.
정확도는 아직 더 test 해봐야한다. scale factor 는 100~1000 이 적당한듯.
NVCaffe 에서 trainval.prototxt 에 아래와 같이 추가
default_forward_type: FLOAT16
default_backward_type: FLOAT16
default_forward_math: FLOAT
default_backward_math: FLOAT
global_grad_scale:100
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
1641 | 죄송합니다. 하이텔에서 [그냥 드립니다.]에서 | 오영택 | 2000.08.23 | 4014 |
1640 | 영세 축하합니다 | 안소정 | 2000.08.23 | 4568 |
1639 | 재미있는 핸드폰 문자 모음. | 한승석 | 2000.08.25 | 3295 |
1638 | 승석아 안녕? | 김지현 | 2000.08.26 | 3535 |
1637 | 승석아 | 재호 | 2000.08.26 | 3813 |
1636 | Re: 승석아 | 한승석 | 2000.08.26 | 3355 |
1635 | ◆ 어느 여학생의 비밀 | 한승석 | 2000.08.26 | 3764 |
1634 | 이 게시판에 쉽게 오려면 http://han.oo.co.kr 로~ | 한승석 | 2000.08.26 | 3422 |
1633 | 아 그리고 축하해 | 김지현 | 2000.08.26 | 3649 |
1632 | 질문 | 채영광 | 2000.08.27 | 3646 |
1631 | Celebrate you to the world of God! | 채영광 | 2000.08.27 | 4641 |
1630 | 승석아 너를 위한 63개의 글귀야. 선물! | 채영광 | 2000.08.27 | 2240 |
1629 | 여자와 남자의 사랑이야기 | 한승석 | 2000.08.28 | 3076 |
1628 | ◆돈 고 | 한승석 | 2000.08.29 | 2779 |
1627 | 또하나의 주소 http://newtype.pe.ky | 한승석 | 2000.08.29 | 3102 |
MIXED 셋팅
default_forward_type: FLOAT16
default_backward_type: FLOAT16
default_forward_math: FLOAT
default_backward_math: FLOAT
FP32
default_forward_type: FLOAT
default_backward_type: FLOAT
default_forward_math: FLOAT
default_backward_math: FLOAT
FP16
default_forward_type: FLOAT16
default_backward_type: FLOAT16
default_forward_math: FLOAT16
default_backward_math: FLOAT16
CUDA 8.0 으로 하면 속도 향상이 없다.
CUDA10.0 기준, cudnn 7.4.1, ResNeXt-50 , 100 iter
FP32 - 82 sec, 4779
FP16 - 69 sec+ test 오래걸림 , 2623
Mixed - store 16bit - 69 sec, 2623
Mixed - store 32bit - 69 sec, 2769
solver_data_type: FLOAT16 가 16bit 인 경우 memory 를 약간 더 잡아먹는다.
Mixed train 하는 경우
pascal 에서 속도가 30% 향상있고 메모리는 50% 감소한다.