Mac Studio M5 Ultra 512GB, 816B는 두 대에 25토큰 · 300B대는 한 대에

Mac Studio M5 Ultra 512GB는 300B~400B급 오픈 모델을 한 대에 4비트로 올리는 기기다. 4비트로 줄이면 300B~400B 모델이 문맥 자리를 남기고 들어가고, 128B 밀집 모델을 FP8로 돌려도 초당 7.7토큰이 나온다. 한 대로 안 되는 것은 816B Muse Spark Open이다. 가중치만 493GB에 중간 계산 메모리가 더 필요해 두 대로 나눠야 하고, 두 대를 텐서로 묶으면 초당 25.0토큰이다.

칩은 36코어 CPU에 80코어 GPU, 통합 메모리 512GB, 대역폭 1.2TB/s다. 이 512GB 구성은 36코어 CPU 모델에서만 고를 수 있고, 가격은 1TB 저장 기준 22,299달러다. 메모리를 96GB에서 512GB로 올리는 값만 15,500달러다. 기본 96GB 모델은 5,499달러이므로 512GB 구성 값은 96GB 기본 구성의 네 배이고, 업그레이드 값만 따져도 96GB 본체의 2.8배다. 보도된 이 구성의 첫 배송일은 12월 3일이다.

4비트로 계산하면 900B, 현실적인 상한은 300B대

4비트 양자화는 파라미터 10억 개당 0.55GB 안팎을 쓴다. 512GB를 그 비율로만 나누면 이론상 900B가 넘는다. 숫자만 보면 800B급도 한 대에 들어가는 것처럼 보이지만, 문맥 캐시와 중간 계산 몫이 그 자리를 먼저 먹는다.

300B~400B MoE를 4비트로 올리면 가중치가 165~220GB다. 남는 300GB 가까운 자리가 KV 캐시 몫이 되고, 이 여유가 512GB를 사는 이유의 대부분이다. 256GB 구성에서는 552B급 DeepSeek V4.1 Flash를 3비트로 낮춰 초당 73.4토큰으로 돌린 기록이 있다.

816B는 계산이 다르다. 가중치 493GB에 중간 계산용 메모리가 더 필요한데, 애플은 한 대에 넣을 수 없다고 적었다. 그래서 이 모델의 실측은 두 대와 네 대 구성으로만 나온다. 문맥을 넉넉히 확보하는 실사용 경계는 300B~400B대라는 뜻이다.

M5 Ultra 512GB 한 대의 성능, 첫 토큰은 최대 4.57배

애플이 10월 15일 공개한 MLX 측정을 보면 세대 차이가 두 갈래로 나뉜다. 문맥을 읽는 프리필은 GPU 신경 가속기의 영향을 크게 받아 8,192토큰 문맥에서 최대 4.45배, 65,536토큰에서 4.57배 빨라졌다. Mistral Medium 3.5 128B의 첫 토큰은 95.9초에서 24.6초로 줄었다.

생성은 대역폭이 정한다. M5 Ultra의 1.2TB/s는 M3 Ultra의 819GB/s보다 46~50% 넓다. 생성 속도는 1.55~1.59배가 됐다. Qwen 3.8 27B BF16이 12.46에서 19.69토큰, Mistral Medium 3.5 128B FP8이 4.95에서 7.70토큰이다. 512GB로 메모리를 늘려도 이 1.2TB/s는 그대로라서, 큰 모델을 올릴수록 토큰 하나에 읽는 바이트가 늘어 속도는 떨어진다.

전력은 세대가 오르며 늘었다. 65K 문맥에서 M3 Ultra가 204W였고 M5 Ultra는 모델에 따라 309W와 341W를 찍었다. 여러 대로 늘면 전력도 함께 늘어난다.

두 대로 묶으면 파이프라인은 제자리, 텐서는 1.6~1.8배

MLX는 맥 여러 대를 썬더볼트 케이블로 묶는 두 가지 방식을 제공한다. 모델을 층 단위로 나누는 파이프라인 병렬은 구현이 단순하고, 생성 속도가 한 대와 거의 같다. Qwen 3.8 27B가 19.44토큰, Mistral Medium 3.5 128B가 7.70토큰으로 한 대 값과 붙어 있다. 대신 65K 문맥에서 프리필이 1.71~1.78배 빨라진다.

층 안쪽을 쪼개는 텐서 병렬은 계산을 나눠 갖기 때문에 생성까지 빨라진다. 두 대에서 Qwen 3.8 27B가 33.27토큰, 네 대에서 50.89토큰이다. 128B 밀집 모델도 두 대 13.69토큰, 네 대 23.37토큰으로 올라간다. 816B는 두 대 파이프라인 15.74토큰에서 텐서로 바꾸면 24.99토큰, 네 대면 36.73토큰이 된다.

대가도 있다. 텐서 병렬은 토큰마다 층마다 값을 주고받아 통신 지연에 민감하다. 실제로 816B를 네 대에 올리고 65K 문맥을 넣었을 때 첫 토큰까지 걸리는 시간은 케이블 한 가닥에서 50.5초, 두 가닥에서 40.6초다. 기기 값보다 배선이 속도를 가르는 구간이 생긴다.

같은 칩 256GB 실측과 512GB 실측을 조건과 함께

같은 칩을 256GB로 구성한 실측은 런타임 차이를 보여준다. Qwen3.8 27B 4비트가 MLX에서 54.7토큰, llama.cpp에서 47.7토큰으로 MLX가 15% 앞선다. 반대로 gpt-oss 20B는 llama.cpp가 201.8토큰으로 MLX의 172.7토큰보다 17% 빠르다. 이 MoE 모델에서는 llama.cpp가 MLX보다 앞섰다.

512GB의 한계는 1T 모델에서 드러난다. Mistral Large 4는 1조 파라미터 MoE인데, IQ1_S로 줄인 233GB 파일이 256GB 구성에 들어가 21.5토큰을 냈다. 여기에 투기 디코딩을 붙이면 JSON 출력에서 35.9토큰까지 올라간다. 다만 그만큼 품질을 버린 속도 측정이라, 같은 모델을 4비트로 올리면 550GB가 넘어 512GB 한 대로도 부족하다.

512GB 구성의 공개 실측은 아직 적다. 확인된 것은 GLM-5.3 320B Flash를 4비트로 올려 128K 문맥에서 71.1토큰, 프롬프트 처리 735.5토큰을 낸 기록이다. 같은 실행에서 문맥을 32K로 줄이면 72.7토큰과 1,056토큰이 나왔다. 문맥이 길어져도 생성 속도가 거의 떨어지지 않는 것이 이 구성의 성격이다.

GB당 37달러, 여러 대로 늘릴 때의 총액

96GB에서 512GB로 올리는 데 15,500달러가 든다. 늘어나는 메모리 416GB로 나누면 GB당 37달러다. 1TB 저장 기준 22,299달러, 16TB까지 채우면 29,799달러다. 816B를 네 대로 돌리는 구성은 기기 값만 89,196달러에 썬더볼트 케이블과 10GbE 스위치가 더 붙는다.

판단은 세 갈래로 갈린다. 300B~400B MoE를 한 대에서 긴 문맥으로 돌리려면 512GB가 답이다. 70B급이나 120B MoE까지만 쓴다면 96GB나 256GB로 충분하고, 생성 속도는 어차피 1.2TB/s가 정하므로 메모리에 더 쓸 이유가 없다. 816B 같은 800B급은 한 대로 안 되니 두 대부터 계산해야 한다.

한 대로 끝낼 수 있는 최대 모델과, 한 대에서 가장 빨리 돌아가는 모델은 다르다. 512GB는 앞쪽을 사는 돈이고, 뒤쪽 성능은 칩 세대가 정한다.

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.