150W에 128GB, 퀄컴 AI 추론 카드는 왜 다시 불려 나왔나

퀄컴의 데이터센터용 AI 추론 카드 Cloud AI 100 Ultra가 다시 화제에 올랐습니다. 카드 한 장에 150W로 128GB 메모리, 대역폭 548GB/s를 내는 물건입니다.

HBM 대신 LPDDR4x를 쓰고, 그 위에 576MB 온다이 SRAM을 얹었습니다. 대역폭은 HBM 적층 메모리를 쓴 가속기보다 낮고, 용량은 큽니다. 이 비대칭이 이 카드의 성격을 결정합니다.

2024년에 나온 제품인데도 지금 이야기가 나오는 이유는 속도가 아니라 메모리 용량입니다. 5년 된 GPU를 다시 꺼내 쓰는 판국에 128GB 카드는 여전히 매력적인 숫자입니다.

카드 한 장에 128GB, 전력은 150W

퀄컴 제품 페이지에 적힌 AI 100 Ultra 사양은 이렇습니다. PCIe FH3/4L 폼팩터 111.2 × 237.9mm, TDP 150W, INT8 최대 870 TOPS, FP16 288 TFLOPS, SRAM 576MB, ECC 지원 LPDDR4x 128GB, 대역폭 548GB/s, 호스트는 PCIe Gen4 16레인입니다.

카드당 AI 코어는 64개, 코어당 SRAM은 9MB이고 공정은 7nm입니다. 같은 폼팩터와 전력, 같은 128GB 용량과 대역폭을 유지하면서 연산만 낮춘 AI 80 Ultra도 있습니다(최대 618 TOPS, FP16 222 TFLOPS).

작은 모델은 75W HHHL 카드로 내려갑니다. AI 100 Pro는 400 TOPS에 SRAM 144MB, 32GB 메모리, 137GB/s이고 AI 100 Standard도 같은 75W 카드로 350 TOPS, SRAM 126MB, 16GB, 137GB/s입니다. 소프트웨어는 OpenAI 호환 API와 챗·이미지 생성·멀티모달·RAG를 묶은 AI Inference Suite로 제공되고, 쿠버네티스나 베어메탈 컨테이너에 올리는 방식입니다.

548GB/s가 실제로 정하는 것

메모리 전체를 한 번 읽는 데 걸리는 시간은 128GB를 548GB/s로 나눈 약 0.23초입니다. 모델이 메모리에 다 올라간다는 전제에서, 이 카드의 속도 상한을 정하는 값입니다.

토큰을 하나 만들 때마다 가중치를 한 번씩 읽는다고 단순 계산하면, FP8 기준 70B 모델은 초당 7.8토큰, 8B 모델은 68.5토큰이 이론 상한입니다. 배치를 키우거나 캐시를 재사용하면 실제 처리량은 달라지고, 반대로 KV 캐시가 커지면 더 떨어집니다.

전력당 대역폭으로 보면 150W에 548GB/s이니 와트당 3.65GB/s입니다. 같은 회사 75W 카드가 와트당 1.83GB/s이니, Ultra는 전력을 두 배 쓰고 대역폭을 네 배 가져오는 셈입니다. 랙 전력이 제한된 곳에서 카드 수를 줄이는 방향의 설계입니다.

반대로 연산은 넉넉합니다. INT8 870 TOPS는 548GB/s 대역폭에 비해 크게 잡혀 있어, 한 번에 여러 토큰을 처리하는 프리필이나 동시 요청이 많은 서빙에서 값을 합니다. 문장을 하나씩 이어 쓰는 디코드만 보면 대역폭이 발목을 잡습니다.

구조적인 한계도 있습니다. LPDDR4x는 HBM 대비 대역폭이 낮은 대신 용량을 키우기 쉽고 전력이 낮습니다. 128GB와 548GB/s가 함께 오는 이유입니다.

네 장이면 512GB, 여덟 장이면 1TB

이 카드의 계산법은 장수를 늘리는 쪽에 있습니다. 4장을 묶으면 512GB에 초당 2.19TB, 8장이면 1TB에 4.38TB/s가 됩니다. 카드 한 장으로 70B급 모델은 들어가지만, 120GB급 모델은 들어가도 KV 캐시 자리가 거의 남지 않습니다.

대역폭 548GB/s는 HBM을 쓴 최신 가속기와 비교하면 낮은 수치입니다. 토큰 하나를 만들 때마다 가중치를 읽어야 하는 구조에서는 이 값이 그대로 속도 상한이 되고, 카드를 늘려도 모델 하나의 디코드 속도는 장수에 비례해 빨라지지 않습니다. 장수를 늘려 얻는 것은 용량과 동시 처리량입니다.

온다이 SRAM 576MB도 이 구조의 일부입니다. DRAM보다 훨씬 빠른 메모리를 카드 안에 두고 반복 접근을 흡수하는 용도라, 대역폭이 낮은 카드일수록 이 안쪽 메모리를 얼마나 잘 쓰느냐가 실제 처리량을 가릅니다.

그래서 이 카드가 맞는 자리는 따로 있습니다. 대규모 학습이 아니라 온프레미스 추론, 그것도 모델 하나를 최고 속도로 돌리는 것보다 여러 모델과 여러 요청을 한 랙에 올려야 하는 구성입니다. TDP 150W는 고전력 가속기보다 낮아 전력 예산이 빠듯한 랙에서 장수를 늘리기 쉽고, 호스트와는 PCIe Gen4 16레인 한 줄로 붙습니다.

반대로 최고 토큰 속도가 목표라면 이 카드는 답이 아닙니다. 같은 전력으로 더 높은 대역폭을 주는 가속기가 있는데, 그쪽은 값이 다릅니다. 예산과 전력, 그리고 모델 크기 중 무엇이 먼저 걸리는지에 따라 선택이 갈립니다.

낡은 스펙이라는 지적과 반론

원문은 퀄컴 제품 페이지입니다. 원문에 붙은 댓글에서는 2년 전 수준의 스펙을 이제 와서 내놓는다는 반응과, 이 칩이 2024년 출시라 그럴 수밖에 없다는 정정이 나란히 붙었습니다. Cirrascale 같은 클라우드 업체를 통해 쓸 수 있다는 설명도 함께 달렸습니다.

반론의 근거는 시장 상황입니다. 로컬 추론을 하려는 업체가 비용 때문에 들어오지 못하고, MI50과 V100을 쓰레기통에서 꺼내 다시 쓰는 판국이라 2024년 카드도 새 기술처럼 보인다는 댓글이 이어졌습니다.

용도를 나눠 보는 시각도 있었습니다. 최신 서빙 스택은 프리필과 디코드에 다른 가속기를 쓰기도 하고, 이 카드는 연산이 많고 대역폭이 낮아 프리필 쪽에 맞는다는 평가입니다. 디코드는 배치를 키워 같은 가중치를 여러 요청이 나눠 쓰거나, 추측 디코딩으로 토큰을 한꺼번에 검증하는 방식으로 보완해야 합니다.