MacBook Pro M5 Max 128GB, 122B MoE 초당 41토큰 — 같은 모델도 엔진 따라 4배

MacBook Pro M5 Max 128GB는 Qwen 3.5 122B-A10B(Q4_K_M, 69GB)를 초당 41.5토큰으로 돌린다. 같은 기기에서 35B-A3B는 92.2토큰이었다. 그런데 27B짜리 4비트 모델 하나만 놓고 보면 어떤 엔진은 31토큰, 다른 엔진은 133토큰이다.

128GB를 살지 말지는 메모리 크기가 정하고, 사고 나서 체감되는 속도는 엔진 쪽이 정한다. 공개된 실측을 조건별로 나눠 정리했다.

122B가 27B보다 빠른 이유

40코어 GPU를 붙인 M5 Max는 메모리 대역폭이 614GB/s다. 토큰을 하나 만들 때마다 모델 가중치를 다시 읽으므로, 실제로 읽는 양이 속도를 정한다. Qwen 122B-A10B는 122B를 들고 있어도 토큰마다 10B어치만 활성화되는 MoE 모델이다.

그래서 69GB를 올린 122B-A10B가 41.5토큰, 28GB를 올린 35B-A3B가 92.2토큰이다. 반면 27B 밀집형은 22GB를 매 토큰 다 읽어 19.0토큰, 72B 밀집형은 60GB를 읽어 7.9토큰이다. 모델 크기와 속도가 반대로 가는 구간이 여기다.

24GB 그래픽카드와 갈리는 지점도 같다. 122B 모델은 24GB에 들어가지 않아 조각을 PCIe로 넘겨야 하고, 통합 메모리는 69GB를 한 번에 올린다. 대신 연산은 GPU 코어 수에 묶여 그래픽카드 쪽이 빠르다.

공개된 실측을 조건별로

측정 주체마다 조건이 달라서 한 줄에 섞지 않았다. 표의 생성 속도는 각 출처가 밝힌 방식 그대로이고, 추측 디코딩을 켠 행은 따로 표시했다.

표의 모든 행이 같은 기기 값이다. 그래서 행 사이 차이는 측정 조건과 엔진에서 나온다.

같은 모델, 엔진만 바꾸면 네 배

kapitsa 벤치마크는 같은 4비트 Qwen3.8-27B 가중치를 엔진만 바꿔 다시 쟀다(2026년 10월 25일, 128GB 40코어, 전원 연결). mlx-lm 31.0토큰, oMLX 31.0토큰, LM Studio 32.9토큰으로 일반 디코딩끼리는 차이가 6% 안쪽이다.

숫자가 튀는 지점은 추측 디코딩을 붙였을 때다. oMLX에 DFlash2 초안 모델을 붙이면 91.8토큰, Splash 116.4토큰, mlx-serve 127.9토큰, Kapitsa 133.2토큰이다. 같은 가중치가 31토큰에서 133토큰이 됐다.

구조는 이렇다. 작은 초안 모델이 다음 토큰 여러 개를 먼저 쓰고 본 모델이 한 번에 검증한다. 검증을 통과한 몫만 남으므로 출력은 달라지지 않는다. 대신 초안 모델 메모리가 더 들고 엔진이 이 기능을 지원해야 한다. 엔진 이름보다 추측 디코딩 지원 여부가 실제 갈림길이다.

35B-A3B에서도 같은 일이 벌어진다. mlx-lm이 115.5토큰인데 Kapitsa에서는 339.1토큰이다. 활성 파라미터가 작은 MoE라 초안 모델의 적중률이 높아지는 쪽이다.

에이전트에서 체감은 프롬프트에서 갈린다

코딩 에이전트는 코드베이스를 먼저 읽어 들이므로 프롬프트 처리가 전체 시간을 좌우한다. 35B-A3B는 512토큰 프롬프트에서 2,845토큰, 8,192토큰에서 2,063토큰이다. 122B-A10B는 1,011토큰에서 749토큰으로 내려간다.

문맥이 길어질 때의 비용은 모델 구조를 탄다. local-coding-bench는 32K 문맥에서 27B Q4 MLX가 빈 문맥보다 1.1배 느려진 정도였고, Qwen3 4B는 5.1배였다. 작은 모델이 오히려 문맥에 더 취약했다.

128GB는 40코어 GPU에서만 고를 수 있다

애플 스펙에서 128GB를 고를 수 있는 건 40코어 GPU를 붙인 M5 Max뿐이다. 32코어 GPU 모델은 36GB에서 끝나고 M5 Pro는 최대 64GB다. 대역폭도 614GB/s와 307GB/s로 갈린다.

16인치 M5 Max는 4,799달러부터이고, 48GB에서 128GB로 올리는 값이 2,000달러다. 저장장치를 16TB까지 올리면 최대 구성이 1만 4,549달러가 된다. 128GB의 실질 가격은 노트북 값에 2,000달러를 더한 셈이다.

이 메모리를 가장 크게 쓰는 방법은 400B급을 얹는 것이다. 397B 모델을 4비트로 SSD에서 흘려 읽으면 12.99토큰이 나온다(캐시 분할 4). 2비트로 줄이면 12.65토큰으로 속도는 그대로인데 혼란도는 3.64에서 5.71로 나빠진다. 용량을 아끼려고 비트를 낮추는 선택은 여기서 손해다.

사기 전에 확인할 것

공개된 측정은 대부분 전원을 꽂고 고성능 모드로 잰 값이다. 배터리로 돌릴 때의 지속 성능은 별도 수치가 필요하다. 추측 디코딩은 엔진마다 지원이 갈리고 초안 모델을 따로 받아야 한다.

지금 바로 쓰려면 LM Studio나 mlx-lm처럼 설정이 단순한 쪽이 낫다. 속도를 끝까지 뽑으려면 엔진을 바꿔가며 재야 하고, 그 값이 얼마나 유지되는지는 초안 모델 버전에 달려 있다.

데스크톱과 비교하면 결론이 갈린다. 같은 128GB를 책상에 두는 쪽이 전력과 발열에서 유리하고, 들고 다니며 100B급을 돌려야 한다면 이 노트북이다. 대역폭 614GB/s는 DGX Spark의 273GB/s보다 두 배 이상 높다.

정리하면 이렇다. 100B급 MoE를 초당 40토큰대로 돌리는 휴대 기기이고, 27B 밀집형은 엔진을 잘 골라야 30토큰을 넘는다. 128GB는 400B급을 13토큰으로라도 얹기 위한 선택이다.

참고한 공개 측정은 애플 발표문(2026년 10월 28일), r/LocalLLaMA M5 Max 128GB 실측, local-coding-bench 분석, kapitsa 벤치마크(2026년 10월 25일)다.

노트북 없이 책상에서 같은 128GB를 상시로 돌리는 구성이라면 이런 제품이 있다. 통합 메모리 대역폭이 256GB/s급이라 생성 속도는 이 노트북보다 낮게 나온다.

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.