AI용으로 오멘 RTX 5090을 살까, RTX 5080에 R9700을 더할까

AI 입문에서 중급 모델까지면 오멘 데스크탑 35L RTX 5080이 가장 합리적입니다. 같은 오멘 RTX 5090 완제품은 값이 2.49배인데 AI 연산은 1.86배입니다. 영상·이미지 파이프라인을 주력으로 돌릴 때만 5090이 답이 됩니다.

완제품 가격에 뭐가 붙어 있나

11월 3일 쿠팡에서 조회한 값입니다. 오멘 RTX 5080(코어 Ultra7) 완제품이 723만 7,800원, 오멘 RTX 5090 완제품이 1,799만 원입니다.

카드만 사면 어떨까요. RTX 5080은 268만 2,900원부터, RTX 5090은 1,088만 8,700원부터입니다. 5080 완제품에서 카드값을 빼면 나머지 부품에 455만 원이 들어간 셈입니다. 5090은 710만 원입니다.

완제품이 나쁘다는 뜻은 아닙니다. CPU·보드·파워·케이스 조합과 조립, 초기 불량 교환을 한 번에 맡기는 값입니다. 문제는 AI만 볼 때 그 455만 원이 성능으로 돌아오지 않는다는 점입니다.

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

VRAM 1GB에 얼마를 내는가

AI에서 먼저 막히는 건 연산이 아니라 메모리입니다. 같은 돈으로 몇 GB를 사는지로 다시 계산했습니다.

RTX 5090과 같은 32GB인데 R9700은 GB당 값이 3.6분의 1입니다. 반값이 아니라 3분의 1입니다.

16GB로 어디까지 올라가나

27B급 모델을 6비트로 올리면 메모리를 22.5GB 씁니다. 16GB 카드로는 시작도 못 합니다. 같은 27B를 4비트로 줄이면 16GB 근처가 됩니다. 딱 맞는 게 문제입니다. 대화가 길어지거나 문서를 통째로 넣으면 넘칩니다.

8B급 4비트는 5GB 남짓입니다. 16GB에서 충분히 여유롭습니다. 중급 모델까지가 목표라면 RTX 5080으로 끝납니다.

프리필에서 순위가 뒤집힌다

R9700의 디코딩은 나쁘지 않습니다. 27B 6비트에서 초당 37~48토큰, 8B급에서 90토큰대가 보고됩니다. 반대로 프롬프트 처리, 즉 프리필은 RTX 5090보다 2.6~3.4배 느리다는 측정이 있습니다.

긴 코드나 문서를 넣고 한 번에 답을 받는 방식이면 여기서 체감이 갈립니다. 짧은 질문을 계속 던지는 용도라면 프리필 비중이 작아 문제가 되지 않습니다.

컨텍스트를 늘리면 메모리가 먼저 사라진다

모델 크기만 보고 카드를 고르면 절반만 계산한 것입니다. 대화가 길어질수록 KV 캐시가 메모리를 계속 먹습니다. 16GB에서 27B 4비트를 올리면 남는 공간이 거의 없습니다.

컨텍스트를 8천 토큰으로 묶으면 돌아가지만, 코드베이스나 계약서를 통째로 넣는 순간 한계에 부딪힙니다. 32GB는 모델을 올리고도 컨텍스트에 쓸 공간이 남습니다. 긴 입력을 넣는다면 16GB는 처음부터 후보가 아닙니다.

같은 오멘 RTX 5090인데 왜 270만 원이 벌어지나

오멘 RTX 5090 완제품은 1,799만 원부터 2,069만 원까지 나왔습니다. 같은 카드인데 최고가가 15% 비쌉니다. 차이는 CPU 등급, 메모리와 SSD 용량, 판매처에 있습니다.

카드 이름만 보고 최저가를 고르면 구성이 다른 물건을 비교하게 됩니다. 구매 전에 CPU 모델명과 RAM·SSD 용량을 나란히 놓고 봐야 합니다.

32GB가 필요하면 R9700이 먼저다

R9700은 32GB에 299만 9,000원입니다. RTX 5090 카드값의 4분의 1 아래에서 같은 메모리를 가져갑니다. 디코딩은 쓸 만하고 27B 6비트를 유지할 수 있습니다.

약점은 두 가지입니다. 프리필이 느리고 영상 쪽 도구가 얇습니다. 소비자용이 아니라 워크스테이션 등급이라는 점도 기억해야 합니다.

R9700을 두 장 꽂는 선택

R9700 두 장이면 64GB가 됩니다. 32GB 카드 한 장 값의 두 배로 RTX 5090 두 장보다 큰 메모리를 만드는 셈입니다. 다만 조건이 붙습니다. 보드의 PCIe 레인, 파워 용량, 케이스 폭이 두 장을 감당해야 합니다.

소비자용 보드에서는 대역폭이 반으로 줄어드는 구성도 있습니다. 모델을 나눠 올리는 방식도 필요합니다. 한 덩어리로 64GB를 쓰는 것과 두 장에 쪼개 올리는 것은 난이도가 다릅니다.

양자화를 낮추면 생기는 일

메모리가 모자라면 비트를 낮춥니다. 6비트에서 4비트로 내리면 같은 모델이 3분의 2 크기로 들어갑니다. 대신 답이 흐려집니다. 긴 문맥에서 앞부분을 놓치거나, 코드에서 없는 함수를 만들어내는 일이 늘어납니다.

메모리를 사는 건 양자화를 덜 하는 것과 같습니다. 32GB가 있으면 6비트를 유지할 수 있습니다.

API와 비교하면 회수 기간은

로컬 카드 값은 API 요금과 비교해 회수합니다. 하루에 많이 돌릴수록 빨리 돌아오고, 가끔 쓰면 평생 안 돌아옵니다. 개인정보가 걸린 문서나 사내 코드를 다뤄야 한다면 계산이 달라집니다. 밖으로 못 보내는 데이터라면 카드값은 비용이 아니라 조건입니다.

중고 카드를 볼 때

같은 예산이면 상위 등급 중고가 신품 하위 등급보다 메모리가 많습니다. 32GB를 절반 값에 얻는 길이 여기 있습니다. 다만 채굴 이력과 보증 승계 여부를 확인해야 하고, 팬 소음과 온도는 직접 돌려보기 전에는 알 수 없습니다.

사기 전에 확인할 세 가지

파워 용량

상위 카드는 순간 전력을 크게 먹습니다. 완제품 구성표에 적힌 파워가 카드 권장치를 넘는지 봅니다.

케이스 폭

3슬롯 두께 카드는 옆면이 닫히지 않는 경우가 있습니다. 기존 케이스에 넣을 계획이면 카드 길이와 두께를 먼저 재야 합니다.

보증 주체

완제품은 한 곳에서, 조립은 부품별로 따로 받습니다. 고장 났을 때 어디로 보내는지가 다릅니다.

완제품을 살 때 남는 것

완제품은 초기 불량과 조립 사고를 판매처가 처리합니다. 부품을 하나씩 사면 그 책임이 전부 내 몫이 됩니다. AS 기간과 창구가 한 곳이라는 점은 값에 포함된 서비스입니다. 이걸 직접 감당할 자신이 없으면 완제품 프리미엄은 합리적입니다.

전력과 소음도 값에 들어 있다

상위 카드로 갈수록 파워와 쿨링에 돈이 더 듭니다. 카드값만 비교하면 총액을 놓칩니다. 책상 밑에 두는 PC라면 소음이 체감 품질을 좌우합니다.

완제품은 케이스와 쿨링이 함께 설계돼 있어 이 부분에서 조립보다 유리합니다. 반대로 조립은 같은 예산에서 파워와 케이스를 직접 고를 수 있습니다. 어느 쪽이 나은지는 방의 소음 기준에 따라 갈립니다.

영상 모델은 메모리를 더 먹는다

이미지 한 장은 몇 GB로 끝나지만 영상은 프레임이 쌓입니다. 같은 모델이라도 해상도와 길이를 올리면 메모리가 급격히 늘어납니다. 영상을 주력으로 한다면 32GB가 최소선이고, 16GB에서는 해상도와 길이를 크게 줄여야 합니다.

모델 이름보다 파라미터 수를 본다

모델 이름은 자주 바뀌지만 필요한 메모리는 파라미터 수와 비트 수로 정해집니다. 8B·27B·32B처럼 숫자를 먼저 봅니다. 이 숫자에 비트를 곱하고 8로 나누면 대략 필요한 GB가 나옵니다. 그 값에 컨텍스트 여유를 더한 것이 사야 할 메모리입니다.

카드보다 먼저 줄일 수 있는 것

같은 작업을 절반 시간에 끝내는 방법은 카드 교체만이 아닙니다. 프롬프트를 재사용하고, 긴 문서는 한 번만 넣고 요약을 남깁니다. 모델 크기를 용도에 맞추는 것도 효과가 큽니다. 요약과 분류에 32B를 쓸 이유는 없습니다.

이 정리를 하고 나면 필요한 카드가 한 등급 내려가는 경우가 많습니다.

지금 사야 하나

카드 값이 오른 국면입니다. 기다린다고 내려간다는 보장이 없고 모델은 계속 커집니다. 급하지 않다면 지금 가진 카드로 4비트 27B를 돌려보는 게 먼저입니다. 어디서 막히는지 확인한 뒤에 사도 늦지 않습니다.

한 줄 정리

중급 모델이면 오멘 RTX 5080, 27B 6비트를 돌릴 거면 R9700, 영상까지 하면 RTX 5090입니다. 세 카드의 순서는 성능이 아니라 메모리와 생태계가 정합니다.

지금 RTX 5090 완제품을 고민하고 있다면 한 번만 계산해 보십시오. 그 돈이면 32GB 카드와 남는 예산으로 더 큰 모델을 돌릴 수 있습니다. 영상 파이프라인을 만든다면 계산이 끝난 뒤에도 5090을 고르게 됩니다.

로켓배송으로 바로 받기

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.