AI 인프라 소프트웨어Houwen Peng 외 (Microsoft)
FP8-LM 발표
FP8-LM 발표 — H100에서 GPT-175B 학습 시 실메모리 39% 절감, BF16 Megatron-LM 대비 75% 빠름
왜 중요한가
FP8 학습이 대형 모델에서 실제로 성립함을 보인 초기 실증
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
논문arxiv.orghttps://arxiv.org/abs/2310.183132026년 8월 24일에 더한 조각 · 그 주 보기