70B급 모델을 매일 돌린다면 DGX Spark 128GB가 가장 무난합니다. 30B 이하라면 RTX 5090 32GB가 더 빠르고, 200B가 넘는 모델을 책상 한 대에 얹으려면 Mac Studio M5 Ultra 512GB나 RTX PRO 6000 96GB가 필요합니다. 문제는 가격입니다. DGX Spark 128GB는 $6,950, RTX PRO 6000 96GB는 국내 3,396만원입니다.
제조사 발표와 공개된 실측 기록을 같은 조건끼리 맞춰 정리했습니다. 조건이 다른 숫자를 나란히 놓으면 순위가 뒤집히기 때문에 양자화와 컨텍스트 길이를 표에 함께 적었습니다.
통합 메모리 128~512GB, 70B와 120B는 이렇게 돕니다
| 기기 | 메모리 | 모델 | 양자화 | 생성 tok/s | 프롬프트 tok/s | 필요 메모리 | 본체 가격 |
|---|---|---|---|---|---|---|---|
| NVIDIA DGX Spark | 128GB 통합 | GPT-OSS-120B | MXFP4 | 55.4 | 1,725 | 약 60GB | $6,950 |
| NVIDIA DGX Spark | 128GB 통합 | GPT-OSS-20B | MXFP4 | 82.7 | 3,670 | 약 14GB | $6,950 |
| NVIDIA DGX Spark 2대 | 256GB 통합 | Qwen3 235B | NVFP4 | 11.7 | 23,477 | 120GB 이상 | 약 $13,900 |
| Mac Studio M5 Ultra | 256GB 통합 | Qwen3.8 Flash-Next | MLX 4비트 | 90.7 (4K) | 2,733 | 약 155GB | $5,499부터 |
| Mac Studio M5 Ultra | 256GB 통합 | Qwen3.8 27B | MLX 4비트 | 47.6 | 1,673 | 약 20GB | $5,499부터 |
| Mac Studio M3 Ultra | 512GB 통합 | Qwen3.8 Flash-Next | MLX 4비트 | 59.0 (4K) | 1,163 | 약 155GB | |
| Framework Desktop | 128GB 통합 | Llama 3 70B | Q4_K_M | 4.5~5.0 | 26~95 | 약 41GB | $3,449 |
| Framework Desktop | 128GB 통합 | GPT-OSS-120B | MXFP4 | 46.1 | 1,020 | 약 60GB | $3,449 |
Mac Studio 수치는 256GB 모델 실측입니다. 512GB 구성도 메모리 대역폭은 같은 1,200GB/s라 생성 속도는 이 값에서 크게 벗어나지 않습니다.
대역폭이 속도를 정하고, 용량이 크기를 정합니다
토큰 하나를 만들 때마다 활성 가중치를 메모리에서 한 번 읽습니다. 그래서 생성 속도는 대역폭을 따라갑니다. DGX Spark는 273GB/s, Framework Desktop은 이론 256GB/s에 실측 약 215GB/s, Mac Studio M5 Ultra는 1,200GB/s, RTX PRO 6000은 1,790GB/s입니다.
여기에 변수가 하나 더 있습니다. 활성 파라미터 수입니다. GPT-OSS-120B는 120B 가운데 5.1B만 계산합니다. 그래서 215GB/s짜리 128GB 미니 PC에서도 46.1 토큰이 나옵니다. 반대로 Llama 3 70B처럼 전부 계산하는 dense 모델은 같은 기기에서 4.5~5.0 토큰으로 떨어집니다.
100B급 MoE를 쓰려면 128GB 통합 메모리로 충분하고, dense 70B를 빠르게 쓰려면 대역폭이 네 배 이상 높은 쪽을 골라야 합니다.
컨텍스트가 길어지면 순위가 바뀝니다. 짧은 질문에서 M5 Ultra는 Flash-Next를 4K에서 90.7 토큰으로 처리합니다. 같은 모델을 64K까지 늘리면 38.9 토큰, 128K에서는 32.4 토큰이 됩니다. 절반 아래로 줄지만 M3 Ultra의 4K 59.0 토큰보다는 여전히 빠릅니다.
프롬프트를 읽는 속도 차이는 더 큽니다. 4K 프롬프트에서 M5 Ultra가 2,733 토큰/s, M3 Ultra가 1,163 토큰/s입니다. 128K 프롬프트에서 첫 토큰까지 걸리는 시간이 121초에서 50초로 줄었다는 측정도 있습니다.
에이전트처럼 대화가 길어지는 작업은 생성 속도보다 이 읽기 속도와 첫 토큰 대기가 체감을 좌우합니다.
외장 GPU는 여전히 다른 급입니다
| 기기 | 메모리 | 모델 | 양자화 | 생성 tok/s | 프롬프트 tok/s | 필요 메모리 | 본체 가격 |
|---|---|---|---|---|---|---|---|
| RTX PRO 6000 Blackwell | 96GB GDDR7 | Llama 3.3 70B | Q4_K | 32.0 (4K) | 1,689 | 약 40GB | 3,396만원 |
| RTX PRO 6000 Blackwell | 96GB GDDR7 | GPT-OSS-120B | MXFP4 | 210.1 (4K) | 약 60GB | 3,396만원 | |
| RTX PRO 6000 Blackwell | 96GB GDDR7 | Qwen3.5 122B | Q4_K | 98.4 (4K) | 약 70GB | 3,396만원 | |
| RTX 5090 | 32GB GDDR7 | Qwen3.8 27B | GGUF Q4_K_M | 49.6 (64K) | 약 16GB | 1,360만원 |
RTX PRO 6000 96GB는 GPT-OSS-120B를 4K에서 210.1 토큰으로 돌립니다. 128K에서도 99.8 토큰입니다. 70B dense도 32.0 토큰으로, 통합 메모리 기기에서 가장 빠른 조합보다 두 배 가까이 앞섭니다.
대신 96GB를 넘는 모델은 올릴 수 없습니다. 512GB 통합 메모리 Mac Studio가 필요한 이유가 여기 있습니다. 큰 모델 하나를 느리게 돌릴지, 작은 모델을 빠르게 돌릴지의 선택입니다.
NVIDIA NVIDIA RTX PRO 6000 Blackwell 워크스테이션 에디션 D7 96GB 서린
로켓배송으로 바로 받기(MANLI) MANLI 지포스 RTX 5090 Gallardo OC D7 32GB White 인텍앤컴퍼니
로켓배송으로 바로 받기이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
지금 사면 손해인 조건
DGX Spark 128GB 가격은 출시 $3,999에서 $4,699를 거쳐 지금 $6,950입니다. 메모리 수급 때문입니다. 대신 64GB 모델이 $4,999에 나와 있어 100B급 MoE 하나만 돌린다면 그쪽이 합리적입니다. 두 대를 묶으면 128GB가 되지만 비용은 $9,998입니다.
Framework Desktop 128GB도 $1,999에서 $3,449로 올랐습니다. 지금 128GB 통합 메모리 기기를 사는 것은 메모리를 사는 일에 가깝습니다.
M5 Ultra 512GB 구성은 10월 말부터 나오고 대역폭은 256GB 모델과 같습니다. 400B급을 한 대에 얹으려는 목적이 아니라면 256GB로도 155GB 모델까지는 여유가 있습니다.
한 줄 정리
dense 70B를 빠르게는 RTX PRO 6000 96GB, 100B급 MoE를 조용하게는 DGX Spark 128GB, 200B 이상을 한 대에 얹으려면 Mac Studio M5 Ultra 512GB입니다. 예산이 한정되면 RTX 5090 32GB로 30B 이하를 돌리는 쪽이 만족도가 높습니다.
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
답글 남기기