한국어EN
추론 인프라·서빙Moonshot AI·Tsinghua (Qin 외)

Mooncake

Mooncake — KVCache 중심 분리형 아키텍처

왜 중요한가

실서비스 기반의 KV 캐시 계층형 관리

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 논문arxiv.orghttps://arxiv.org/abs/2407.000792026년 8월 24일에 더한 조각 · 그 주 보기