RTX PRO 5500 84GB는 70B 모델을 8비트로 한 장에 올리는, 현재 확인된 카드 중 가장 작은 축에 드는 제품이다. 70B 8비트 가중치는 75GB이고, 16K 문맥 몫을 더하면 80GB 안팎이 된다. 72GB 카드에서는 자리가 없고 84GB 카드에서는 들어간다. 대신 속도는 96GB 카드보다 느리고 값은 더 비싸다.
스펙은 84GB GDDR7 ECC, 448비트, 1,398GB/s, 21,760 CUDA 코어, FP32 105 TFLOPS, 전력 600W다. CUDA 코어는 데이터시트에 21,760개로 적혀 있어 RTX 5090과 같고, RTX PRO 6000의 24,064개보다 2,304개 적다. 엔비디아는 랙 장착 워크스테이션용으로 소개했고 공랭과 RXM 액랭 두 가지를 준비했다. MIG로 42GB 인스턴스 두 개로 쪼갤 수 있다. 2026년 9월 14일 공개됐고 지금도 Coming Soon 상태다. 출하된 카드로 잰 공개 실측은 아직 없다.
84GB가 여는 것은 70B 8비트, 72GB와 갈리는 지점
| 모델 | 양자화 | 가중치 | 72GB 카드 | 84GB 카드 | 96GB 카드 |
|---|---|---|---|---|---|
| Llama 3.3 70B | Q4_K_M | 42.5GB | 가능 | 가능 | 가능 |
| Llama 3.3 70B | Q8_0 | 75.0GB | 불가 | 가능 | 가능 |
| gpt-oss-120b | MXFP4 | 63GB | 가능 | 가능 | 가능 |
| Qwen3-Coder-Next 84B | Q4_K_M | 51GB | 가능 | 가능 | 가능 |
| Qwen3-Coder-Next 84B | Q8_0 | 84GB | 불가 | 불가 | 가능 |
| Mixtral 8x22B | Q4_0 | 79.6GB | 불가 | 가능 | 가능 |
70B를 4비트로 줄이면 42.5GB다. 72GB 카드에도 30GB가 남는다. 8비트로 올리면 75.0GB가 되고, 16K 문맥 KV 캐시를 5GB 안팎으로 잡으면(추정) 80GB다. 72GB 카드는 가중치만으로 3GB가 모자라고, 84GB 카드는 KV까지 넣고도 4GB가 남는다. 84GB라는 어중간한 용량이 존재하는 이유가 여기에 있다.
반대로 84GB에서도 안 되는 조합이 있다. 같은 84B 모델을 8비트로 올리면 파일이 84GB라 KV 자리가 없다. 120B급은 이미 4비트로 63GB여서 72GB 카드에 들어간다. 84GB가 새로 여는 것은 120B가 아니라 70B 8비트다.
32·72·96GB 카드, 문맥 한도를 달리해 재면
| 기기 | 메모리 | 모델 | 양자화 | 생성 tok/s | 프롬프트 tok/s | 필요 메모리 | 카드 가격 |
|---|---|---|---|---|---|---|---|
| RTX 5090 | 32GB | deepseek-r1:14b | Q4_K_M | 126.7 | 9GB | 1,360만 원 | |
| RTX 5090 | 32GB | deepseek-r1:32b | Q4_K_M | 65.4 | 20GB | 동일 | |
| 2×RTX 5090 | 64GB | deepseek-r1:70b | Q4_K_M | 33.4 | 43GB | 2,720만 원 | |
| RTX PRO 5000 | 72GB | deepseek-r1:70b | Q4_K_M | 25.1 | 43GB | 2,773만 원 | |
| RTX PRO 5000 | 72GB | gpt-oss:120b | MXFP4 | 156.5 | 63GB | 동일 | |
| RTX PRO 5000 | 72GB | Qwen3-Coder-Next 84B | Q4_K_M | 192.1 | 51GB | 동일 | |
| RTX PRO 6000 | 96GB | deepseek-r1:32b | Q4_K_M | 58.7 | 20GB | 3,396만 원 | |
| RTX PRO 6000 | 96GB | deepseek-r1:70b | Q4_K_M | 30.2 | 43GB | 동일 |
70B 4비트에서는 두 장 구성이 앞선다. 2×5090이 33.4토큰, RTX PRO 6000이 30.2토큰, RTX PRO 5000이 25.1토큰이다. 값으로는 5090 두 장(2,720만 원)이 RTX PRO 6000(3,396만 원)보다 싸고 빠르다. 다만 문맥 한도가 28K와 112K로 달라 같은 조건의 우열로 읽으면 안 된다. 긴 문서와 전력(5090은 한 장 575W라 두 장이면 1,150W, 96GB 카드는 600W)을 붙이면 계산이 뒤집힌다.
MoE에서는 순서가 바뀐다. gpt-oss-120b를 72GB 카드에 올리면 156.5토큰, 84B 코딩 모델을 4비트로 올리면 192.1토큰이다. 활성 파라미터가 작아 코어와 대역폭이 함께 작용하는 구간이다. 밀집 모델과 MoE는 카드 사이의 순위가 다르게 나온다.
RTX PRO 5500의 속도, 대역폭으로 계산하면 25~27토큰
5500의 공개 실측이 아직 없으니 형제 카드 값으로 계산한다. 토큰 생성은 토큰마다 가중치를 한 번씩 읽는 작업이라 대역폭에 거의 비례한다. 제조사 스펙상 대역폭이 1,344GB/s인 RTX PRO 5000이 70B 4비트에서 25.1토큰을 냈으므로, 1,398GB/s인 5500은 같은 비례로 26.1토큰이 된다. 오차를 감안하면 초당 25~27토큰이다. 96GB 카드의 30.2토큰에 견주면 86% 수준이다.
가중치가 두 배가 되면 생성 속도는 절반이 된다. 8비트 70B(75GB)는 가중치가 두 배인 만큼 4비트의 절반, 초당 13토큰 안팎이다. 96GB 카드도 실측 30.2토큰의 절반인 15토큰 안팎이다. 84GB는 8비트를 열어주지만, 그 8비트는 4비트의 절반 속도로 돌아간다. 품질 때문에 8비트를 고르는 것이라면 속도는 내려놓아야 한다.
MoE에서는 차이가 줄어든다. gpt-oss-120b 156.5토큰에 대역폭 4% 우위와 코어 14,080개에서 21,760개로 늘어난 몫을 얹으면 160토큰 전후로 계산된다. 코어가 많은 카드는 프롬프트 처리에서 더 유리하다. 다른 측정에서 RTX PRO 6000 Max-Q 96GB의 70B 프롬프트 처리는 512토큰 입력에 1,173토큰이었다. Max-Q는 전력 한도가 낮은 변형이라 600W인 5500과 클럭 조건이 다르고, 5500은 코어가 10% 적어 이보다 낮을 것으로 본다.
96GB 카드보다 비싼 84GB
미국 조달 총판 SHI에 PNY 제품(VCNRTXPRO5500B-PB)이 17,999달러로 올라왔다. 할인가도 17,408달러다. 엔비디아는 제품 페이지에 가격을 적지 않았고, 자사 마켓플레이스의 96GB 카드는 1만 6,000달러다. 메모리 12GB, 코어 2,304개, 대역폭 22%를 덜 주고, 할인가 17,408달러를 기준으로도 1,408달러를 더 받는 셈이다. 같은 다이에서 잘라낸 카드가 위 모델보다 비싸다.
96GB 카드 값은 2025년 3월 8,565달러에서 2026년 6월 13,250달러, 같은 해 8월 1만 6,000달러로 두 번 올랐다. GDDR7을 32개 얹은 카드라 메모리 수급에 그대로 노출되고, 용량이 큰 워크스테이션 카드는 모두 같은 압력을 받는다. 지금의 두 가격은 성능표가 아니라 수급표다.
이 카드가 실제로 값을 하는 자리는 따로 있다. MIG로 42GB 두 개를 만들면 한 장을 두 사람이 나눠 쓰는 랙 구성이 된다. 42GB면 32B 모델을 8비트로 문맥과 함께 올릴 수 있다. 서버 섀시 한 대에 네 장을 꽂는 밀도와, 600W 한 장으로 84GB를 끝내는 전력도 여기에 붙는다. 개인이 책상에서 70B를 돌리려는 용도라면 96GB 카드가 더 빠르고 더 싸다.
NVIDIA NVIDIA RTX PRO 6000 Blackwell 워크스테이션 에디션 D7 96GB 서린
로켓배송으로 바로 받기이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
정리
70B를 4비트로 쓰면 72GB로 충분하다. 8비트가 필요하면 84GB가 최소선이고, 공개된 스펙 중에서 84GB 단일 카드는 지금 이 제품이 확인된 사례다. 대신 같은 값을 96GB 카드보다 비싸게 부르고, 속도는 86%다. 84GB가 꼭 필요하고 랙에 꽂을 사람에게만 지금 의미가 있다. 70B 8비트를 책상 위에서 쓰려면 96GB 카드나 통합 메모리 128GB 기기가 여전히 낫다.
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
