한국어EN
온디바이스·로컬 추론llama.cpp 커뮤니티커뮤니티 관찰

Discussion #23853

Discussion #23853 — NVFP4/MXFP6 혼합정밀 + imatrix 레이어별 최적화 도구 공개. 논의 중 NVFP4가 속도는 앞서나 품질은 Q4_K_M에 못 미친다는 비교 결과 공유

왜 중요한가

하드웨어 네이티브 FP4가 커뮤니티 양자화를 아직 이기지 못했다는 실측. 포맷 경쟁 미결

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 공식 발표github.comhttps://github.com/ggml-org/llama.cpp/discussions/238532026년 8월 24일에 더한 조각 · 그 주 보기