축 ⑨
오픈웨이트 계보
기록 66 · 정리 노트 0 · 관련 축으로 붙은 사건도 함께 보여요.
Sergii Kozyrev, Davyd Maibor
'순환 상태의 오차는 긴 문맥에서 누적된다'는 통념을 뒤집어 하이브리드 LLM의 순환 절반이 오히려 양자화하기 쉬운 쪽이라고 주장하고, NVFP4의 16원소 블록 스케일링이 잔차 스트림의 극단 이상치를 국소화하는 점과 델타 규칙 순환이 주입된 잡음을 32K 토큰에 걸쳐 평탄하게 유지하는 점 등 네 갈래 기계적 설명을 제시. 수치는 저자 자체 보고.
Zihan Qiu 외 (Alibaba Qwen)
프런티어 오픈웨이트 모델의 아키텍처 선택 근거를 절제 실험 단위로 공개한 사례. 저자 자체 보고로 손실과 다운스트림 정확도가 늘 같이 움직이지는 않으며, 이 아키텍처와 Muon 옵티마이저의 조합이 최적 학습률과 배치 크기를 위로 밀어 배치 크기 워밍업을 불필요하게 만들고 스트레스 테스트에서 안정성을 크게 개선.
Alibaba Qwen
최상위 모델의 개방 약속과 실제 배포가 분리되는 관행. Kimi K3도 같은 방식이었다는 지적이 함께 제기됨 — 오픈 모델 기록 시 발표일과 가중치 공개일을 분리해야 하는 근거
오픈웨이트 계보보도