한국어EN
AI 인프라 소프트웨어Mohammad Shoeybi 외 (NVIDIA)

Megatron-LM 발표

Megatron-LM 발표 — 레이어 내 텐서 병렬화를 PyTorch만으로 구현. 8.3B를 512 GPU에서 15.1 PFLOPS 지속

왜 중요한가

대규모 모델 병렬화의 표준 구현

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 논문arxiv.orghttps://arxiv.org/abs/1909.080532026년 8월 24일에 더한 조각 · 그 주 보기
같은 축의 가까운 조각10.04ZeRO 발표논문12.03PyTorch 논문 발표논문05.29A Study of BFLOAT16 for Deep Learning Training 발표논문02.13DeepSpeed 오픈소스 공개공식 발표
Sentence-BERT 발표ZeRO 발표