로컬 LLM 서버 한 대로는 753B 모델을 돌릴 수 없다. 체크포인트가 약 464GB라 GB300 GPU 메모리 252GB를 넘기 때문이다. NVIDIA가 DGX Station 두 대를 RDMA로 묶어 GLM-5.3을 한 엔드포인트로 서빙하는 구성을 11월 13일 공개했다. 동시 요청 16개에서 초당 607.8토큰, 32개에서는 385.0토큰으로 오히려 떨어졌다. 프런티어급 모델을 책상 위에서 돌릴 때의 처리량과 지연을 함께 보여주는 측정이다.

한 대에 안 들어가는 464GB, 두 대에 반씩 올렸다
GLM-5.3 NVFP4는 Z.ai의 MoE 모델을 4비트로 양자화한 버전이다. 전체 파라미터 7,530억 개 가운데 토큰마다 활성화되는 것은 400억 개다. 희소 활성화 덕에 연산량은 줄지만, 토큰이 어느 전문가로 라우팅될지 모르니 모든 가중치가 메모리에 있어야 한다. CPU 오프로딩을 끄고 전부 GPU에 올리는 구성이 이 구성의 전제다.
두 대는 역할이 다르다. Station A가 rank 0으로 OpenAI 호환 API를 열고, Station B는 rank 1 워커만 돈다. 어느 쪽도 모델 전체를 갖지 않으며 B 단독으로는 요청에 답할 수 없다. 로딩이 끝나면 GPU 한 장당 가중치가 약 218GiB, KV 캐시와 런타임 버퍼까지 포함하면 231.35GiB가 찬다. 252GB HBM3e에 겨우 들어가는 계산이다.
로컬 LLM 서버를 묶은 것은 텐서 병렬과 RDMA
두 GPU는 모든 요청을 함께 처리한다. 텐서 병렬화(TP=2)로 가중치와 연산을 반씩 나누고, 토큰을 만들 때마다 ConnectX-8 RDMA 링크로 부분 결과를 주고받는다. 두 대의 메모리는 합쳐지지 않는다. 모델을 반으로 쪼개 각자 들고, 매 토큰마다 대화하는 구조다. 그래서 링크가 느리면 계산이 아니라 통신이 병목이 된다.

설정에서 걸리는 것도 통신 쪽이다. 양쪽에 같은 이미지와 같은 모델 리비전을 쓰고, arm64 이미지 다이제스트를 비교해 실행 소프트웨어가 같은지 확인한다. NCCL은 이미지에 들어 있는 2.30.7을 쓴다. 그보다 이전 버전은 RoCE 환경에서 노드 간 CUDA 그래프 재실행 중 교착이 생길 수 있다고 vLLM 이슈로 남아 있다. 시작 로그의 NCCL 항목에서 GPU Direct RDMA가 실제로 걸렸는지, TCP 소켓으로 대체되지 않았는지 확인하는 절차도 함께 안내한다.
메모리 설정은 컨텍스트 98,304토큰(입출력 합산), GPU 메모리 사용률 93%가 기본값이다. 추측 디코딩인 다중 토큰 예측(MTP)은 한 단계에 토큰 4개를 초안으로 만들고 전체 모델이 검증한다. KV 캐시는 FP8로 저장해 16비트 대비 절반으로 줄였고, 프리픽스 캐싱으로 같은 앞부분을 다시 계산하지 않는다. 개선 폭은 초안 수락률에 달려 있어 프롬프트마다 다르다.
동시 16에서 정점, 32에서는 오히려 떨어진다
측정 도구는 AIPerf 0.12.0, 데이터는 SPEED-Bench Coding(대화 80개, 89턴)이다. 추론 강도는 max, 출력 한도 8,192토큰, 프리픽스 캐싱 켠 상태에서 동시 요청 수를 1·8·16·32로 올렸다.
| 동시 요청 | 전체 처리량 | 평균 지연 | 첫 토큰까지 | 토큰 간격 |
|---|---|---|---|---|
| 1 | 107.4 tok/s | 49.84초 | 480ms | 8.78ms |
| 8 | 386.0 tok/s | 114.17초 | 434ms | 19.01ms |
| 16 | 607.8 tok/s | 136.46초 | 483ms | 23.77ms |
| 32 | 385.0 tok/s | 453.54초 | 899ms | 77.90ms |
표 1. SPEED-Bench Coding 결과. 프리픽스 캐싱과 FP8 KV 캐시, 단계당 MTP 초안 4개 조건이며 워밍업은 제외했다. 출처는 NVIDIA 기술 블로그(2026년 11월 13일).
숫자가 말하는 것은 처리량의 정점이 16이라는 점이다. 32로 올리면 처리량이 607.8에서 385.0으로 37% 줄고, 평균 지연은 136초에서 453.5초로 세 배 이상 늘어난다. 토큰 간격도 23.77ms에서 77.90ms로 벌어진다. 사용자 한 명당 처리량은 동시 1에서 115.3tok/s, 32에서 13.0tok/s다. 표의 전체 처리량을 인원수로 나눈 값과는 다르게, NVIDIA가 따로 집계한 수치다. 사람 수를 늘릴수록 모두가 느려지는 구간에 들어선 것이다.

값부터 따진 해커뉴스, 회수 기간 계산은 갈렸다
해커뉴스 댓글에서는 경제성 논쟁이 먼저 붙었다. 한 이용자는 DGX Station 가격을 10만 달러, 출력 100만 토큰당 1.4달러로 가정해 유휴 없이 돌려도 원금 회수에 7년이 걸린다며, 개인정보 보호 같은 목적이 아니면 경제성이 없다고 적었다. 다른 이용자는 출력 가격이 실제로는 4.4달러라며 하루 사용량을 가정하면 1년 안에 회수된다고 계산했다. 두 계산 모두 가격과 사용량을 가정한 추정이고, 원문이 프리필과 디코딩을 나눠 재지 않았다는 지적도 뒤따랐다.
하드웨어 대안을 지적한 댓글도 있다. 8장짜리 RTX PRO 6000 구성이 가격은 절반인데 처리량은 60% 높다는 주장과 함께 구현 저장소가 공유됐다. 다만 이 하드웨어의 핵심은 성능이 아니라 책상에 올라가는 크기라는 반론도 함께 붙었다. 대당 1.6kW 전력과 그에 맞는 팬 소음을 감당할 수 있느냐는 현실적인 지적도 있었다.
지금 쓸까, 기다릴까
이 구성이 맞는 곳은 데이터를 밖으로 내보낼 수 없는 조직이다. 금융·의료·기밀처럼 상용 API 승인에 시간이 걸리는 환경에서, 753B급 모델을 사내 OpenAI 호환 엔드포인트로 두는 것이 이 구성의 용도다. 에이전트 프레임워크가 쓰는 도구 호출 API도 같은 주소에서 열린다. 반대로 개인 개발자가 집에서 최고 성능을 뽑으려는 목적이라면 맞지 않는다. 같은 댓글에서도 27B~40B급 모델로 만족하라는 조언이 나온다.
직접 해보려면 준비물이 분명하다. GB300 DGX Station 두 대, 400Gb/s 링크와 MTU 9000 점보 프레임이 통과하는 직결 연결, 각 장비에 464GB 이상의 디스크 여유, 같은 사용자명의 SSH·sudo 접근이다. 체크포인트는 1Gb/s에서 약 1시간, 10Gb/s에서 약 6분 걸린다. 모델 사용에는 NVIDIA Open Model Agreement와 원본 GLM-5.3 라이선스 동의가 필요하다. 두 대를 먼저 켜고(B, A 순서) 기동에 수 분이 걸린다.
한 줄 정리: 753B급 모델을 사내에 두려는 조직에게, 두 대로 반씩 나눠 초당 607.8토큰을 뽑는 구성과 그 한계(동시 16 정점, 32에서 지연 3배)를 숫자로 보여준 사례다.
원문: NVIDIA 기술 블로그 · 모델 카드
NVIDIA NVIDIA RTX PRO 6000 Blackwell 워크스테이션 에디션 D7 96GB 서린
로켓배송으로 바로 받기이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.



