로컬 LLM에서 KV 캐시는 대화가 길어질수록 커지는 메모리다. 4비트로 줄인 27B 모델의 가중치가 24GB 카드에 들어간다고 해서 128K 문맥까지 쓸 수 있는 것은 아니다. 그때는 모델 무게와 별개로 8GiB가 더 필요하다.
같은 128K 문맥에서 KV 캐시는 모델에 따라 2.5GiB에서 20GiB까지 벌어진다. 파라미터가 4배 많은 120B 모델이 31B 모델보다 KV 캐시가 4.4배 작은 경우도 있다. 크기를 정하는 것은 모델 무게가 아니라 층 구조다.
아래 값은 각 모델의 공개 설정 파일에 적힌 층 수와 KV 헤드 수, head_dim으로 계산했다. 조건은 fp16 KV 캐시, 배치 1, GQA 적용이다.
KV 캐시는 파라미터가 아니라 층 수가 정한다
토큰 하나가 차지하는 KV 캐시는 다음 식으로 나온다. 2(K와 V) × 풀 어텐션 층 수 × KV 헤드 수 × head_dim × 2바이트. 여기에 문맥 토큰 수를 곱하면 전체 크기가 된다.
KV 캐시는 가중치 양자화와 따로 움직인다. llama.cpp 서버의 KV 캐시 타입 기본값은 f16이고, q8_0 같은 값은 -ctk와 -ctv 옵션으로 따로 지정한다. 모델 파일을 4비트로 줄여도 KV 캐시는 16비트로 쌓인다는 뜻이다.
층 구조가 왜 중요하냐면, 최근 모델들이 모든 층에 KV 캐시를 쌓지 않기 때문이다. 4개 층 중 1개만 풀 어텐션을 쓰거나, 절반은 정해진 창 안에서만 어텐션을 계산한다. 그런 모델은 파라미터가 커도 KV 캐시가 작다.
128K에서 KV 캐시, 27B 8GiB · 31B 20GiB · 120B 4.5GiB
| 모델 | 층(풀 어텐션) | KV 헤드 × head_dim | 토큰당 | 32K | 128K | 256K |
|---|---|---|---|---|---|---|
| Qwen3.8-27B | 64(16) | 4 × 256 | 64 KiB | 2.0GiB | 8.0GiB | 16.0GiB |
| Qwen3.6-35B-A3B | 40(10) | 2 × 256 | 20 KiB | 0.6GiB | 2.5GiB | 5.0GiB |
| Gemma 4 31B | 60(10) | 16 × 256 | 160 KiB | 5.0GiB | 20.0GiB | 40.0GiB |
| gpt-oss-120b | 36(18) | 8 × 64 | 36 KiB | 1.1GiB | 4.5GiB | - |
27B와 31B는 크기가 비슷한데 128K에서 2.5배 차이가 난다. 120B는 31B의 4배 무게인데 KV 캐시는 4.4분의 1이다. 표의 값은 풀 어텐션 층이 쌓는 양이고, 슬라이딩 창을 쓰는 층의 고정분(Gemma 4 31B 기준 약 0.8GiB)은 별도다. gpt-oss-120b는 최대 문맥이 128K라 256K 칸을 비웠다.

31B가 120B보다 4.4배 큰 이유 — 풀 어텐션 층과 KV 헤드
Gemma 4 31B는 60개 층 가운데 10개만 풀 어텐션이다. 나머지 50개는 1,024토큰 창 안에서만 계산한다. 그런데 풀 어텐션 층이 KV 헤드를 16개, head_dim을 256으로 잡아서 토큰당 160KiB가 쌓인다. 창을 쓰는 50개 층은 문맥이 길어져도 1,024토큰분, 약 0.8GiB로 고정된다.
gpt-oss-120b는 반대다. 36개 층 가운데 18개가 풀 어텐션이지만 KV 헤드가 8개, head_dim이 64다. 토큰당 36KiB로, 128K에서도 4.5GiB면 끝난다.
Qwen3.8-27B도 64개 층 가운데 16개만 풀 어텐션이다. KV 헤드를 4개만 두고 head_dim을 256으로 키운 구조라 토큰당 64KiB다. 나머지 48개 층은 선형 어텐션이라 문맥이 길어져도 상태 크기가 늘지 않는다.
여기서 주의할 점이 하나 있다. 슬라이딩 창과 선형 어텐션은 런타임이 그 구조를 실제로 구현해야 표의 값이 나온다. 구현이 창을 적용하지 않고 모든 층에 KV를 쌓으면 31B 모델은 계산보다 훨씬 큰 메모리를 요구한다. 그래서 표보다 llama.cpp를 띄울 때 로그에 찍히는 KV 캐시 크기를 먼저 보는 편이 정확하다.
KV 헤드 수가 작은 이유는 어텐션 헤드를 나눠 쓰기 때문이다. Qwen3.8-27B는 어텐션 헤드가 24개인데 KV 헤드는 4개다. 헤드 6개가 KV 한 쌍을 같이 본다. 이렇게 묶으면 KV 캐시가 그만큼 줄고, 대신 헤드마다 다른 문맥을 보는 자유도는 줄어든다. KV 헤드를 줄이는 것과 풀 어텐션 층을 줄이는 것이 지금 모델들이 메모리를 아끼는 두 가지 방법이다.
문맥을 늘릴 때 속도도 같이 봐야 한다. KV 캐시가 커지면 매 토큰마다 읽는 메모리가 늘어 생성 속도가 떨어지고, 128K를 처음 읽는 프리필 단계에서는 첫 토큰까지 시간이 길어진다. 메모리에 겨우 들어가는 구성은 대개 속도도 같이 느려진다.

32GB 한 장에서 128K를 쓰려면
가중치와 KV 캐시를 더하면 카드 용량이 갈린다. 가중치는 GGUF 4비트 기준 27B 15.9GiB(Q4_K_M), 35B-A3B 20.6GiB(UD-Q4_K_M), Gemma 4 31B 17.1GiB(Q4_K_M)를, KV 캐시는 위 표의 128K 값을 썼다.
| 모델 | 4비트 가중치 | 128K KV | 합계 | 32GB 한 장 |
|---|---|---|---|---|
| Qwen3.8-27B | 15.9GiB | 8.0GiB | 23.9GiB | 여유 8GiB |
| Qwen3.6-35B-A3B | 20.6GiB | 2.5GiB | 23.1GiB | 여유 8.9GiB |
| Gemma 4 31B | 17.1GiB | 20.0GiB | 37.1GiB | 불가 |
Gemma 4 31B는 128K를 붙이는 순간 32GB로는 안 된다. 가중치만 보면 17GiB라 24GB 카드에도 들어갈 것 같지만, 문맥을 128K로 열면 37GiB가 된다. 48GB 카드가 필요하고, 32GB에서 쓰려면 문맥을 32K로 줄이거나 KV 캐시를 q8_0으로 낮춰 10GiB 안팎으로 줄여야 한다. 그래도 27GiB대라 여유가 크지 않다.
반대로 Qwen3.8-27B와 Qwen3.6-35B-A3B는 128K에서도 23GiB대로, 32GB 카드에 8GiB 남짓을 남긴다. 여기에 연산 버퍼와 그래프 메모리가 더 붙으므로 표의 합계는 하한으로 봐야 한다. Qwen3.8-27B IQ3_XXS 11.1GiB를 RTX 5090 32GB에 올려 32K 문맥을 열어도 생성 86.5 tok/s가 나왔다. 측정한 것은 32K 문맥이고, 128K는 계산상으로 여유가 남는 쪽이다.
메모리가 모자라면 일부 층을 CPU에서 계산하도록 돌리거나 문맥을 줄여야 한다. 그러면 문맥은 열려도 토큰 생성이 CPU 대기 시간에 묶여 크게 느려진다. 128K가 필요한 작업이라면 넘칠 때 느려지는 것을 감수할지, 카드를 키울지를 먼저 정해야 한다.
긴 문맥용 카드를 고를 때 보는 네 가지
첫째, 카드 용량이 아니라 가중치와 KV 캐시의 합으로 본다. 모델 파일 크기만 보고 24GB나 32GB를 고르면 128K에서 바로 막힌다.
둘째, 30B급이라고 KV가 작은 것은 아니다. 풀 어텐션 층이 몇 개인지, KV 헤드를 몇 개 두었는지가 표에서 갈린다. 같은 30B라도 128K에서 2.5배 차이가 난다.
셋째, 문맥이 목적이면 KV 캐시 타입을 먼저 낮춘다. q8_0으로 두면 KV가 절반 가까이 줄어 같은 카드에서 KV 캐시 기준 최대 두 배 긴 문맥이 들어간다. 정확도 손실은 쓰는 작업으로 확인해야 한다.
넷째, 동시 요청이 있으면 인원수만큼 곱한다. 위 표는 배치 1 기준이다. 두 명이 동시에 물으면 KV 캐시도 두 배가 된다. 여러 명이 붙는 서버라면 96GB급 한 장이나 두 장 구성이 필요할 수 있다.

32GB 카드로 긴 문맥을 쓰려면 KV를 아끼는 구조의 모델을 고르고, 31B급 밀집 모델에 128K를 붙이려면 48GB 이상을 봐야 한다. 모델을 고른 뒤 카드를 고르면 이미 늦다.
ASUS ASUS ROG Astral 지포스 RTX 5090 OC D7 32GB 대원씨티에스 (엔비디아 컴퓨터 그래픽카드)
로켓배송으로 바로 받기NVIDIA NVIDIA RTX PRO 6000 Blackwell 워크스테이션 에디션 D7 96GB 서린
로켓배송으로 바로 받기이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.



