mixed precision training
2018.11.06 06:56
train (math) 는 FP16 으로 하고 storage 는 FP32 로 해서 BVLC Caffe 에서도 잘 동작하는듯.
정확도는 아직 더 test 해봐야한다. scale factor 는 100~1000 이 적당한듯.
NVCaffe 에서 trainval.prototxt 에 아래와 같이 추가
default_forward_type: FLOAT16
default_backward_type: FLOAT16
default_forward_math: FLOAT
default_backward_math: FLOAT
global_grad_scale:100
| 번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
|---|---|---|---|---|
| 1641 |
Visual Studio 에서 SVN 업로드를 위해 불필요한 파일 삭제
 | WHRIA | 2013.01.13 | 8721 |
| 1640 | slide 메뉴 | WHRIA | 2009.01.19 | 8717 |
| 1639 | 쉬운 투자 시대의 종말 | WHRIA | 2009.09.14 | 8694 |
| 1638 | 개업 | WHRIA | 2009.10.19 | 8660 |
| 1637 | 승석오빠 Fighting!!! | 이슬이 | 2000.06.05 | 8656 |
| 1636 | 내가 요즘 집중하는 일 | WHRIA | 2009.01.20 | 8611 |
| 1635 | 서버 이전 | WHRIA | 2012.10.03 | 8606 |
| 1634 | ZeroBoard XE | WHRIA | 2007.08.20 | 8602 |
| 1633 | 아산 사회 복지 재단 | WHRIA | 2009.02.25 | 8593 |
| 1632 | MedicalPhoto Release 1.0.6 | WHRIA | 2008.06.19 | 8569 |
| 1631 | Choose substance before appearance | WHRIA | 2007.08.28 | 8569 |
| 1630 | 주소 | WHRIA | 2011.04.20 | 8533 |
| 1629 | MedicalPhoto Release 1.0.7 | WHRIA | 2008.09.21 | 8529 |
| 1628 | 오빠 낭~~*^^* | KINOKO[[승욱이별명.. | 2000.06.06 | 8513 |
| 1627 |
skin tone
| WHRIA | 2008.10.18 | 8507 |
MIXED 셋팅
default_forward_type: FLOAT16
default_backward_type: FLOAT16
default_forward_math: FLOAT
default_backward_math: FLOAT
FP32
default_forward_type: FLOAT
default_backward_type: FLOAT
default_forward_math: FLOAT
default_backward_math: FLOAT
FP16
default_forward_type: FLOAT16
default_backward_type: FLOAT16
default_forward_math: FLOAT16
default_backward_math: FLOAT16
CUDA 8.0 으로 하면 속도 향상이 없다.
CUDA10.0 기준, cudnn 7.4.1, ResNeXt-50 , 100 iter
FP32 - 82 sec, 4779
FP16 - 69 sec+ test 오래걸림 , 2623
Mixed - store 16bit - 69 sec, 2623
Mixed - store 32bit - 69 sec, 2769
solver_data_type: FLOAT16 가 16bit 인 경우 memory 를 약간 더 잡아먹는다.
Mixed train 하는 경우
pascal 에서 속도가 30% 향상있고 메모리는 50% 감소한다.