Framework Desktop 128GB에서 Mistral Small 4 119B를 4비트로 돌리면 초당 32.72토큰이 나온다. 같은 기기에서 Qwen3.8-27B 4비트는 12.82토큰이다. 128GB 통합 메모리 한 대에 119B 모델이 들어가지만, 속도를 정하는 것은 모델이 큰지가 아니라 토큰 하나를 만들 때 메모리에서 읽는 활성 파라미터의 양이다.
최근 공개된 실측 기록을 정리했다. 라이젠 AI Max+ 395와 128GB를 얹은 이 4.5리터 기기에서 네 모델의 양자화 9종을 llama-bench로 잰 값이다. 측정은 한 하네스에서 같은 빌드와 같은 그래픽 드라이버로 돌아갔고, 서로 다른 조건의 숫자를 섞지 않았다.
128GB 중 GPU가 쓸 수 있는 상한은 111.56GiB
칩은 16개 Zen 5 코어와 40개 연산 유닛의 라데온 8060S를 한 패키지에 넣었다. LPDDR5X-8000 128GB는 256비트로 묶여 256GB/s를 낸다. 전력은 지속 120W, 부스트 140W이고 400W FlexATX 전원을 쓴다. 크기는 96.8×205.5×226.1mm, 무게 3.1kg이다.
모델이 들어가는지는 128GB라는 표기보다 GPU가 실제로 잡는 메모리로 갈린다. 측정자는 96GB 예산을 가정하고 시작했지만, Vulkan 드라이버가 111.56GiB를 노출했고 시작 시점 여유는 109.84GiB였다. 이는 전용 VRAM이 아니라 시스템과 나눠 쓰는 공간이다. GGUF 파일 크기도 실행 메모리와 같지 않다. 캐시와 작업 버퍼, 호스트 쪽 할당이 위에 더 붙는다.

Framework Desktop 128GB, 9개 양자화를 한 조건에서 재면
측정은 llama-bench에 프롬프트 512토큰, 생성 128토큰, CPU 스레드 6개, GPU 레이어 전부 올림, 5회 반복 조건을 걸었다. 추측 디코딩과 비전 프로젝터는 쓰지 않았다. 그래서 아래 값은 문맥이 짧은 상태의 엔진 처리량이고, 앱의 토큰화·샘플링·모델 로딩 시간은 빠져 있다.
| 모델 | 양자화 | 가중치 | 프롬프트 pp512 | 생성 tg128 |
|---|---|---|---|---|
| Qwen3.8-27B | UD-Q4_K_M | 15.33GiB | 413.77 | 12.82 |
| Qwen3.8-27B | UD-Q6_K | 20.47GiB | 401.29 | 9.71 |
| Qwen3.8-27B | Q8_0 | 27.05GiB | 476.89 | 7.50 |
| Mistral Small 4 119B | UD-Q4_K_M | 68.70GiB | 675.07 | 32.72 |
| Mistral Small 4 119B | UD-Q5_K_M | 83.04GiB | 611.02 | 29.83 |
| Gemma 4 31B | Q4_K_M | 17.07GiB | 359.99 | 11.27 |
| Gemma 4 31B | Q6_K | 23.47GiB | 347.98 | 8.10 |
| Gemma 4 31B | Q8_0 | 30.39GiB | 412.12 | 6.46 |
| GLM-5.3-Flash | UD-IQ1_S | 86.69GiB | 196.59 | 19.02 |
파라미터 수보다 토큰당 활성 파라미터
가장 빠른 것은 이름이 가장 큰 모델이 아니다. Mistral Small 4는 전체 119B지만 토큰마다 쓰는 파라미터가 약 6.5B인 MoE다. 그래서 27B 밀집 모델보다 2.55배 빠른 32.72토큰을 내고, 이 조건에서는 프롬프트 처리까지 1위다.
GLM-5.3-Flash는 전체 320B, 토큰당 18B를 쓰는 MoE다. 128GB에 밀어 넣으려고 IQ1_S까지 낮춰 86.69GiB로 줄였고, 그래도 19.02토큰이 나왔다. 로그상 Vulkan 모델 버퍼가 83.76GiB, 캐시와 상태 버퍼가 0.48GiB였고 47개 레이어가 전부 GPU에 올라갔다. 111.56GiB 중 75%를 모델 버퍼가 차지한 셈이다.
반대 사례가 밀집 모델이다. 같은 칩의 선행 생산품에서 ROCm 7.0과 llama.cpp b5863로 잰 스윕에서는 Shisa V2 70B Q4_K_M이 40.5GiB를 쓰고 5.0토큰에 그쳤다. Qwen3 30B-A3B는 72.0토큰, 전체 142B에 14B를 활성화하는 dots1은 20.6토큰이었다. 그 스윕이 잰 실효 GPU 대역폭은 이론값 256GB/s의 84%인 약 215GB/s다. 선행 생산품과 2025년 7월 빌드 기록이므로 양산 기기에서 같은 값이 나온다는 뜻은 아니다.
양자화는 디코드만 빠르게 한다
생성 속도는 양자화를 낮출수록 올라간다. Qwen3.8-27B는 Q8 7.50토큰에서 Q4 12.82토큰으로 71% 빨라지고, Gemma 4 31B는 Q8 6.46토큰에서 Q4 11.27토큰으로 74% 빨라진다. 토큰마다 읽는 가중치 바이트가 줄어드는 것이 그대로 속도가 된다.
프롬프트 처리는 반대다. 두 모델 모두 Q8이 Q4보다 15%가량 빠르다. Qwen은 476.89토큰과 413.77토큰, Gemma는 412.12토큰과 359.99토큰이다. Q6는 오히려 Q4보다 느렸다(401.29토큰). 프롬프트는 연산이라 커널 구현과 압축 해제 비용을 함께 타는데, 측정자는 커널까지 프로파일하지 않아 원인을 특정하지 않았다.
Mistral Q5는 파일이 68.70GiB에서 83.04GiB로 커지고 생성이 32.72토큰에서 29.83토큰으로 8.8% 줄어든다. 이 실험의 짧은 문맥 생성 조건에서는 Q4가 기준이고, Q6·Q8은 품질과 맞바꿀 때만 쓴다. 이 실험은 답변 품질을 재지 않았으므로 양자화별 품질 차이는 이 숫자로 말할 수 없다.

같은 128GB 기기와 값 비교
같은 gpt-oss-120b를 128GB 기기에서 돌린 기록을 모으면 편차가 20토큰 가까이 벌어진다. 모델과 용량이 같아도 운영체제와 런타임이 다르면 이만큼 갈린다.
| 기기 | 메모리 | 모델 | 생성 tok/s | 프롬프트 tok/s | 본체 가격 |
|---|---|---|---|---|---|
| Framework Desktop | 128GB | gpt-oss-120b MXFP4 | 약 45 | 공개 안 됨 | 3,449달러 |
| GMKtec EVO-X2 | 128GB | gpt-oss-120b 4비트급 | 55.2 | 공개 안 됨 | 국내 604만원 |
| NVIDIA DGX Spark | 128GB | gpt-oss-120b 4비트급 | 58.7 | 2,444(2,048토큰) | 3,999달러 |
| RTX Spark 노트북(MSI Prestige N16 Flip) | 128GB | gpt-oss-120b 4비트급 | 65 | 4,600 이상(vLLM) | 판매가 미확인 |
값은 오히려 반대 방향으로 움직였다. 2025년 2월 25일 발표 당시 128GB 구성이 1,999달러였는데, 메모리 가격이 오르며 2,459달러를 거쳐 2026년 11월 3~4일 미국 스토어에서 본체 가격 3,449달러로 올랐다. 1년 8개월 만에 72.5% 오른 셈이고, 그 시점에 재고는 품절이었다.
같은 라인의 192GB 모델(라이젠 AI Max+ PRO 495)은 DIY 6,799달러, 2TB 저장장치를 붙인 완제품이 7,449달러다. 128GB와 192GB의 가격 차가 약 2배인데, 늘어난 메모리가 여는 것은 속도가 아니라 용량이다. 제조사가 권장 모델로 든 것도 128GB에는 IQ2_XXS로 줄인 90.9GB짜리, 192GB에는 같은 계열을 Q2로 올린 163GB짜리다. 128GB로 충분한 모델만 쓴다면 그 돈은 속도로 돌아오지 않는다.
119B급 MoE와 27B 이하 모델을 한 대에서 돌리려면 128GB 통합 메모리는 여전히 유효한 선택이다. 반면 선행 생산품 스윕의 70B 밀집 모델은 초당 5토큰이라 대화용으로는 느리고, 그 선을 넘는 모델은 192GB나 서버 카드가 필요하다. 이미 24GB나 32GB 그래픽카드로 27B를 돌리고 있다면, 128GB 기기가 주는 것은 그 모델의 속도가 아니라 더 큰 모델을 올릴 자리다. 지금 가격이라면 그 용량의 값이 1년 8개월 전보다 70% 이상 비싸졌다는 점까지 함께 계산해야 한다.
GMKtec EVO-X2 AI 미니 PC AMD Ryzen Al Max+ 395 128GB LPDDR5X 8000MHz 2TB PCIe 4.0 SSD 2.5G LAN WiFi
로켓배송으로 바로 받기이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.



