모델 아키텍처·학습 기법Google (Lepikhin 외)2020년 6월 30일

GShard

왜 중요한가

MoE를 600B 규모 시스템으로 끌어올리고 expert parallelism과 자동 샤딩을 확립

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 논문arxiv.orghttps://arxiv.org/abs/2006.166682026년 8월 24일에 더한 조각 · 그 주 보기