Kimi K3.1 Pro 가중치 공개, 1M 문맥 2.8조를 돌리려면

Moonshot AI가 Kimi K3.1 Pro 가중치를 Hugging Face에 공개했습니다. 예고한 11월 4일 안에 올라왔고, 2.8조 파라미터 MoE에 활성 파라미터는 104B입니다. 문맥은 1,048,576 토큰이고 텍스트와 이미지를 함께 읽습니다.

성적은 비공개 최전선 모델과 같은 줄에 섰습니다. Terminal-Bench 4.0에서 65.7%로 GPT-6 Astra(58.2%)를 앞섰고 Claude Opus 5.5(66.4%)에 0.7점 차로 뒤졌습니다. 도구를 쓰는 HLE-Full은 70.0%입니다.

문제는 크기입니다. 2.8조를 MXFP4 4비트로 담아도 가중치만 약 1.4TB입니다. 이번 주 오픈웨이트 소식의 결론은 하나로 모입니다. 큰 모델은 API로 쓰고, 로컬은 27B급에서 시작하는 편이 낫습니다.

가격은 API 기준이고 DeepSeek 값은 피크 시간대 단가입니다. 네 모델 중 셋이 가중치를 내려받을 수 있지만, 실제로 개인 장비에서 돌아가는 쪽은 맨 아래 두 줄이 아닙니다.

2.8조 중 104B만 계산한다

K3.1 Pro는 전문가 896개를 두고 토큰마다 16개를 고르는 MoE입니다. 공유 전문가 2개를 더해 104B만 계산에 참여합니다. 전체를 다 쓰지 않기 때문에 2.8조 모델이 응답 속도를 유지합니다.

1M 문맥을 감당하려고 어텐션 구조를 바꿨습니다. K3의 전체 어텐션 층을 69개 KDA와 24개 Gated DSA로 나눠, 긴 문맥에서 주의를 계산하는 비용을 줄였습니다. 이미지 인코더 MoonViT-V2는 4억100만 파라미터입니다.

가중치는 MXFP4, 활성값은 MXFP8로 학습 단계에서 양자화를 전제했습니다. 받는 쪽에서 4비트 변환을 따로 하지 않아도 되는 구성이라, vLLM과 SGLang에 올리면 바로 서빙이 됩니다.

성적표에서 앞선 곳과 뒤진 곳

코딩 에이전트 쪽은 Terminal-Bench 4.0에서 65.7%입니다. GPT-6 Astra는 58.2%였고 Claude Opus 5.5는 66.4%로 근소하게 앞섰습니다. 두 모델 모두 reasoning effort를 최대로 올린 값입니다.

긴 작업에서는 순위가 뒤집힙니다. SWE Marathon v1.1에서 51.7%로 Opus 5.5(46.3%)와 GPT-6 Astra(42.5%)를 앞섰습니다. 반대로 Program Bench는 31.5%로 Opus 5.5(65.0%)의 절반에 그쳤습니다. 도구를 붙이지 않은 상태의 코드 생성은 여전히 약합니다.

3D와 문서 이해는 강점으로 나옵니다. CAD 코드를 만드는 BenchCAD는 도구를 쓰면 92.7%, 도구 없이도 72.8%입니다. 문서 표를 읽는 GDP.pdf w/ python 85.7%, 이미지 차트를 다루는 ChartoGraphy 90.2%입니다.

가격과 라이선스, 어디까지 열렸나

API 단가는 100만 토큰에 입력 2달러, 출력 10달러입니다. 캐시에 맞은 입력은 0.20달러까지 내려갑니다. 같은 회사의 K3가 입력 3달러·출력 15달러였으니, 성능이 올라간 모델이 더 싸진 셈입니다.

속도가 필요한 작업은 Highspeed를 씁니다. 같은 모델을 2~3배 빠르게 돌리는 대신 입력 4달러·출력 20달러를 받습니다. 실시간 응답이 아니면 배치 API가 본가의 60%입니다.

라이선스는 상업 사용과 수정, 재배포, 파인튜닝을 모두 허용합니다. 예외는 두 가지입니다. 모델을 API로 파는 사업에서 12개월 매출이 2,000만 달러를 넘으면 Moonshot AI와 별도 계약을 맺어야 하고, 월간 활성 사용자 1억 명 또는 월 매출 2,000만 달러를 넘는 제품은 화면에 모델 이름을 표시해야 합니다. 회사 내부용은 두 조항 모두 적용되지 않습니다.

Qwen3.8-27B는 Apache 2.0으로 풀린 27B 모델입니다. 이미지와 영상까지 이해하고, 기본 문맥이 262,144 토큰이며 YaRN 설정으로 1M까지 늘릴 수 있습니다. 8월 공개 이후 Hugging Face 다운로드가 803만 회를 넘었습니다.

DeepSeek-V4.1-Flash-1017은 763B에 MIT 라이선스입니다. 문맥 1M, 최대 출력 384K, 이미지 입력도 받습니다. 2.8조와 27B 사이의 빈칸을 메우는 쪽이고, API 단가가 피크 기준 입력 0.30달러·출력 1.20달러로 가장 낮습니다.

GPT-5.6 Cyber는 반대편입니다. 가중치는 물론 모델 접근도 승인 고객만 받습니다. AWS GovCloud 미국 동부 리전에서 Amazon Bedrock을 통해 쓰고, 추론 데이터는 학습에 쓰지 않는다고 OpenAI가 밝혔습니다.

원문 반응

GeekNews에 옮겨진 해커뉴스 댓글은 실행 규모를 먼저 계산합니다. 이 모델을 돌리려면 B300 8개짜리 노드 정도가 필요하다는 추정입니다. 동시에 추론 제공업체들은 이미 호스팅을 시작했고, Together는 같은 가격에 Moonshot 엔드포인트의 두 배 처리량을 낸다는 관측이 나옵니다.

같은 댓글은 이 크기가 개인 취미용이 아니라고 선을 긋습니다. 랙 단위 장비를 갖춘 연구자와 추론을 파는 사업자, 자체 인프라에서 모델을 돌려야 하는 기업을 위한 모델이라는 것입니다. 대신 RTX PRO 4000 두 장에 텐서 병렬 2로 Qwen3.8-27B NVFP4를 돌려 45만 토큰 문맥을 쓰는 방식으로 최전선을 따라간다는 사용자도 있습니다.

돌리려면 어느 정도 GPU와 메모리가 필요한가

4비트 기준으로 계산하면 2.8조는 1.4TB, 763B는 380GB, 27B는 14GB입니다. 27B는 Q4 양자화로 24GB 카드 한 장에 올라가고, 32GB면 문맥까지 넣고도 여유가 남습니다. 1M 문맥은 여기에 KV 캐시가 더 붙어 메모리를 한 단계 올립니다.

763B와 2.8조는 8장 규모 서버가 필요합니다. 2,000만 원대 워크스테이션 한 대로는 넘기 어려운 벽이고, 이 구간은 대여가 답입니다. 개인 장비로 가져갈 수 있는 건 27B 안쪽입니다.

정리하면 이번 주 오픈웨이트 뉴스는 세 층으로 갈립니다. 2.8조는 API로 쓰는 모델, 763B는 대여 서버, 27B는 내 책상 위입니다. 세 층의 경계를 정하는 것은 성능이 아니라 메모리 값입니다.

원문 보기

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.