한국어EN
추론 인프라·서빙DeepMind (Chen 외)

Accelerating LLM Decoding with Speculative Sampling

Accelerating LLM Decoding with Speculative Sampling

왜 중요한가

동일 기법의 독립 정식화, 2~2.5배 가속

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 논문arxiv.orghttps://arxiv.org/abs/2302.013182026년 8월 24일에 더한 조각 · 그 주 보기
같은 주에 나온 조각02.05SolidGoldMagikarp공식 발표
같은 축의 가까운 조각03.10llama.cpp 저장소 생성공식 발표11.30Speculative Decoding논문06.01AWQ논문06.20vLLM + PagedAttention 공개공식 발표
X에 “The hottest new programmSolidGoldMagikarp