VFlash, 로봇 AI 추론 5배 빨라진 이유

엔비디아가 로봇과 자율주행의 시각 계획을 병렬로 처리하는 디코딩 프레임워크 VFlash(브이플래시)를 11월 6일 공개했다. 경로와 좌표를 하나씩 찍어 내던 기존 방식과 달리 전체 계획을 한 번에 예측해, 젯슨 토르에서 로봇 계획 추론이 3,552ms에서 703ms로 줄었다. 모델을 다시 학습시키지 않고 경량 예측기만 얹는 구조다.

VFlash는 엔비디아 연구진과 존스홉킨스대, 홍콩이공대 등이 함께 낸 연구다. 논문은 arXiv(2611.08449)에, 코드는 NVlabs 저장소에 공개됐다. 대상이 되는 비전언어모델(VLM) 가중치는 고정한 채 그 위에 5개 층짜리 경량 드래프터를 붙인다. 드래프터는 주석이 달린 기하 데이터로 토큰 교차 엔트로피 학습을 거친다.

VFlash는 무엇을 바꿨나: 좌표를 하나씩 뽑던 방식

기존 방식의 문제는 분명하다. 로봇이 갈 경로나 물체 위치를 좌표 토큰으로 하나씩 생성하므로 계획이 길어질수록 시간이 그만큼 늘고, 앞 좌표의 오차가 뒤 예측으로 전파된다. 엔비디아는 젯슨 토르에서 자기회귀 디코딩이 모델 단계 지연의 75~87%를 차지한다고 측정했다.

VFlash는 좌표와 박스, 궤적이 정해진 기하 구조를 갖는다는 점을 이용한다. 도구 호출이 출력 길이를 먼저 선언하고 프리미티브 종류가 좌표 배치를 정하면, 드래프터가 전체 기하를 한 번의 병렬 패스로 채운다. 추측 디코딩과 다른 점은 원본 모델이 낼 토큰과 똑같을 필요가 없다는 것이다. 공간적으로 타당한 예측이면 통과다.

출력 종류가 다양한 점도 설계에 반영됐다. 텍스트 사고와 서브태스크 계획, 박스·포인트·깊이, 2D·3D 궤적을 한 디코더가 처리한다. 요구 길이도 작업마다 다르다. NAVSIM은 4초에 8개 웨이포인트, 웨이모는 5초에 20개, 알파마요는 6.4초에 64개다. 고정 블록 크기로 자르면 프리미티브 경계가 어긋나므로 길이를 먼저 선언하는 방식을 택했다.

젯슨 토르에서 3,552ms가 703ms로

엔비디아가 공개한 값은 배치 1, 요청 1건 기준 모델 파이프라인 지연이다. 젯슨 토르에서 자기회귀 방식 3,552.7ms가 VFlash 703.3ms로 줄어 5.1배 빨라졌다. 디코딩 단계만 보면 3,107.6ms에서 258.2ms로 12배다.

플랫폼별 배수는 이렇다. 로봇 계획 디코딩이 젯슨 토르와 DGX 스파크에서 12배, H100에서 11배다. 자율주행 쪽은 젯슨 토르 19~42배, DGX 스파크 22~49배, H100 11~24배로 배수가 더 크다. 같은 디코더를 얹어도 작업 길이와 궤적 수에 따라 이득이 달라진다는 뜻이다.

숫자를 읽을 때 주의할 점이 있다. 센서에서 액추에이터까지의 전체 시간이 아니라 모델이 도는 구간만 잰 값이다. 모델 로딩과 엔진 빌드, 출력 후처리는 빠졌다. 로봇 팔이 5배 빨라진다는 뜻으로 읽으면 안 된다는 단서를 엔비디아도 측정 조건에 달아 두었다.

로봇 조작 성공률 62.6%에서 70.2%로

정확도도 올랐다. 쉐어로봇벤치(ShareRobot-Bench)와 VA벤치-V의 궤적 지표 6개가 모두 개선됐고, 3D 평균 변위 오차는 자기회귀 방식보다 평균 42.6% 줄었다. 데이터셋별로는 InternA1이 15.3cm에서 6.2cm, AgiBot이 10.5cm에서 4.1cm, MolmoBot이 7.6cm에서 5.5cm가 됐다.

MolmoSpaces 조작 실험에서는 성공률이 갈렸다. 같은 액션 모델에 계획만 바꿔 넣었을 때 기준선 62.6%, 자기회귀 계획 61.0%, VFlash의 2D+3D 계획 70.2%였다. 궤적 특징 대신 이미지 특징을 넣으면 63.7%로 떨어진다. 언어 요약이 아니라 기하 자체가 성능을 만든다는 뜻이다.

다른 액션 헤드를 붙인 시험에서도 이득이 남았다. LIBERO-PRO에서 기준선 40.2%가 서브태스크만 조건으로 줬을 때 45.3%, 전체 시각 계획을 줬을 때 47.0%로 올랐다. 시각 계획이 서브태스크 조건보다 1.7%포인트 더 보탠다는 결과다. 이득이 특정 액션 모델에만 붙는 현상은 아니라는 뜻이다.

자율주행과 3D 움직임 예측에도 같은 디코더

주행에서도 쓴다. NAVSIM PDMS는 90.7로 Qwen-Drive-1.0-RL과 같고, 웨이모 ADE는 1.22m와 2.70m로 Fast-dDrive(1.25m, 2.91m)보다 낮다. 정확도를 깎지 않고 지연만 줄인 셈이다. 계획 모델과 액션 헤드는 고정한 채 디코딩만 바꾼 결과라는 점이 중요하다.

조밀한 3D 움직임 예측에서는 DAVIS 평균 변위 오차가 27% 줄고, H100 배치 1에서 단일 생성이 약 25배 빨라졌다. 객체 탐지는 COCO와 Dense200에서 초당 박스 처리량이 2.6~2.8배다.

엣지에서 돌리려면 어느 정도 장비가 필요한가

VFlash는 별도 서버가 아니라 기존 추론 스택에 얹는 구조다. 측정은 젯슨 토르와 DGX 스파크의 TensorRT-Edge-LLM 런타임, H100의 SM90 빌드로 했다. 대상 VLM은 그대로 두므로 모델을 새로 학습할 필요는 없지만, 드래프터를 붙인 런타임을 써야 속도가 나온다.

로봇 한 대에 얹는 보드라면 젯슨 계열이 현실적이다. 다만 실측은 젯슨 토르와 DGX 스파크에서 했다. 메모리 사용량은 구성에 따라 다르므로 별도 확인이 필요하다. 로봇 한 대에 들어가는 보드와 개발용 워크스테이션은 요구 조건이 다르다. 로봇 추론을 이미 돌리는 팀이라면 모델 교체보다 디코더 교체가 먼저다.

한계도 있다. 이득은 좌표·궤적처럼 기하 구조가 정해진 출력에서 나온다. 보고서 요약이나 대화처럼 자유 형식 텍스트가 주인 작업은 대상이 아니다. 텍스트 출력은 기존처럼 대상 모델이 검증하는 절차를 거친다. 모든 VLM 작업이 5배 빨라지는 것이 아니라, 공간 예측이 병목인 작업이 빨라진다.

측정 조건도 함께 봐야 한다. 배치 1, 요청 1건씩 처리한 값이고, 젯슨 토르 로봇 실험은 24개 레코드를 워밍업 5회 뒤 10회 반복해 평균을 냈다. 여러 요청을 묶어 처리하는 서버 환경에서는 배수가 달라질 수 있다.

코드와 논문이 공개돼 있어 재현은 가능하다. 다만 배수는 엔비디아가 튜닝한 런타임에서 측정한 값이다. 같은 GPU라도 일반 서빙 스택에 그대로 얹으면 이만큼 나오지 않을 수 있다. 공개된 측정 조건에는 레코드 수와 워밍업 횟수가 제시돼 있어 조건을 맞춰 비교하기는 어렵지 않다.

한 줄 정리: VFlash의 값은 속도보다 구조에 있다. 모델을 고정한 채 디코더만 갈아 끼워 5배를 뽑는 방식은 로봇 소프트웨어를 이미 굴리는 팀에 비용 부담이 비교적 적은 개선책이다.

엔비디아 연구 페이지 · 논문(arXiv)