vLLM 0.34가 11월 16일 공개됐다. 이번 판은 새 기능보다 기본값이 바뀐 폭이 크다. KV 캐시를 남는 메모리에서 잡고, 블록 크기를 16에서 64로 키웠고, 기존 GPU 러너(V1)는 코드에서 뺐다. 손대지 않고 올리면 시작 단계에서 멈추는 구성이 나온다.

vLLM 0.34 업그레이드에서 먼저 걸리는 것
가장 먼저 확인할 것은 V1 러너 제거다. 지금까지 V1 러너를 쓰려고 VLLM_USE_V2_MODEL_RUNNER=0 을 넣어둔 서버는 이 값이 남아 있으면 기동하지 않는다. 이중 배치 겹치기(dual-batch overlap)는 V2에서 추측 디코딩·DCP와 함께 돈다.
블록 크기 기본값은 16에서 64로 네 배가 됐다. --block-size 16 을 넘기면 예전 동작으로 돌아가고, ROCm 페이징 어텐션은 여전히 16을 쓴다. GPU 메모리 사용률 기본값도 0.9에서 1.0으로 올라가, 다른 프로세스와 GPU를 나눠 쓰던 서버는 메모리 부족으로 뜨지 않을 수 있다.
| 항목 | v0.33까지 | v0.34 | 예전 동작으로 |
|---|---|---|---|
| 블록 크기 | 16 | 64 | --block-size 16 |
| GPU 메모리 사용률 | 0.9 | 1.0 | --gpu-memory-utilization 0.9 |
| 확장형 KV 캐시 | 꺼짐 | 켜짐 | --no-enable-extensible-kv-cache |
| GPU 러너 | V1·V2 선택 | V2만 | 없음, 코드 이전 필요 |
| ROCm 이미지 | 7.2 | 10.0만 | 없음 |
의존성도 함께 올려야 한다. huggingface_hub 2.0.0 이상, tokenizers 0.23.3 이상, timm 1.0.30 이상이 필요하다. fp_quant 로 양자화한 체크포인트는 더 이상 로드되지 않고, Marlin W4A8 은 --quantization humming 과 VLLM_HUMMING_INPUT_QUANT_CONFIG 로 바꿔야 한다. Keye-VL·Keye-VL-1.5 지원도 빠졌다. AMD 서버는 ROCm 7.2 이미지가 사라져 10.0 휠과 이미지로 옮겨야 한다.
KV 캐시 43만 토큰이 67만으로, 대신 토큰 간격은 느려진다
이번 판의 핵심은 확장형 KV 캐시가 기본으로 켜진 것이다. CUDA 그래프 캡처와 워밍업이 끝난 뒤 실제로 남은 메모리를 재서 캐시 크기를 정한다. 추정치로 잡던 예전 방식과 달라서 대부분 모델에서 캐시가 커진다. NVIDIA가 든 예는 H200에서 MiniMax-M3 기준 43.3만 토큰에서 67.2만 토큰이다.

대가는 토큰 간격이다. 동시 요청 128에서 일부 H200 모델의 TPOT가 6~18% 늘어난다. 한 번에 여러 요청을 받는 API 서버는 처리량과 첫 토큰 시간이 좋아지지만, 한 줄 응답의 지연에 민감한 챗 서비스는 반대다. 예전 캐시 크기로 되돌리려면 --gpu-memory-utilization 0.9 또는 --no-enable-extensible-kv-cache 를 넘긴다.
새 모델 10개, Mistral Large 4는 1조 중 520억만 활성
모델 지원 목록의 맨 앞은 Mistral Large 4다. 전체 1조 파라미터 가운데 토큰마다 활성화되는 것은 520억 개이고, FP8과 NVFP4 체크포인트를 NVIDIA Blackwell·Hopper와 AMD MI350에서 돌린다. 회선 하나에 얹기에는 여전히 큰 모델이지만, FP8과 NVFP4 체크포인트가 함께 제공돼 4비트 서빙을 선택할 수 있다.
음성 쪽이 눈에 띄게 늘었다. Nemotron-3.5-Transcribe 는 30B-A4B 음성 모델로 오디오 채팅과 /v1/audio/transcriptions 를 함께 처리하고, Canary-1B-v2 는 음성 인식과 번역을 맡는다. Parakeet TDT 는 플러그인 형태로 붙고, Ming3-ASR 과 Liquid AI LFM3 계열(텍스트·비전·오디오)도 함께 들어왔다. Baidu Unlimited-OCR-2 는 DASH 스파스 어텐션을 쓰고, Zyphra ZAYA1(8B·74B 프리뷰), Ricursive Ripple-65B 프리뷰, MiniMax-M3.1-Flash 도 목록에 있다.
Blackwell은 최대 1.95배, MI355X는 35~57% 향상
성능 수치는 vLLM 0.34 릴리스 노트에 실린 값이다. 표에 적힌 하드웨어에서 잰 값이고, 항목에 따라 옵션을 켜야 적용된다.
| 개선 항목 | 하드웨어 | 폭 |
|---|---|---|
| Step5 NVFP4 MoE 디코드 | 4×GB200 | 최대 1.95배 |
| GLM-5.3-Flash 출력 처리량 | NVIDIA | 1.6배 |
| Muse Spark Open 단일 스트림 디코드 | GB300 | 1.5배 |
| GLM-5.3 첫 토큰(32K~128K) | GB200 | 1.24~1.40배 |
| Kimi-K3 디코드 어텐션 | GB300 | 1.34~1.59배 |
| Qwen3.5 디코드 토큰 간격 | NVIDIA | 3.0~8.8% 감소 |
| FlyDSL 디코드(동시 1~8) | 8×MI355X | 35~57% 향상 |
DeepSeek-V4·V4.1 쪽 손질도 숫자로 남았다. 프리필에서 압축 KV를 KV 소스 그룹마다 한 번만 모으도록 바꿔 스텝당 수집 횟수를 38회에서 4회로 줄였다. GB200에서 프리필 그래프 메모리는 랭크당 15.52GiB에서 9.88GiB로 내려간다.
지금 올릴까, 카드 한 장 서버는

카드 한 장이나 두 장으로 돌리는 개인 서버에는 새 기본값이 오히려 부담이다. GPU 메모리 사용률이 1.0이 되면서 다른 프로세스와 GPU를 나눠 쓰는 구성은 그대로 올리기 어렵다. 먼저 --gpu-memory-utilization 0.9 로 낮춰 올리고, 문제가 없으면 기본값으로 되돌리는 순서가 안전하다. 새로 들어온 10개 모델 가운데 어느 것이 카드 한 장에 들어가는지는 모델별 메모리 요구량을 따로 확인해야 한다.
운영 중인 서버라면 V1 제거, fp_quant, 블록 크기 세 가지를 먼저 확인하고 이미지 태그를 고정한 뒤 올린다. 이번 판에는 운영 기능도 추가됐다. CRIU와 cuda-checkpoint를 쓰는 체크포인트·복원 API가 Python과 Rust 프론트엔드 양쪽에 붙었고, DP+EP 구성에서 죽은 랭크를 재시작 없이 빼고 전문가를 재분배하는 기능도 추가됐다. 교체 시간을 줄이려는 팀이라면 이 두 가지가 업그레이드 이유가 된다.
한 줄 정리: vLLM 0.34는 더 큰 캐시와 새 모델을 주는 대신 기본값 세 가지와 지원 중단 두 가지를 바꿨다. 개인 서버는 메모리 사용률을 0.9로 되돌려 올리고, 운영 서버는 V1 제거와 fp_quant 체크포인트부터 확인하는 것이 순서다.
ASUS ROG Astral 지포스 RTX 5090 OC D7 32GB 인텍앤컴퍼니
로켓배송으로 바로 받기이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.



