바이두 ERNIE 5.5 Flash Base 공개, 라이선스 적용 지역에서 한국 빠져

바이두가 오픈웨이트 언어 모델 ERNIE-5.5-Flash-Base를 공개했습니다. 전체 2,800억 개 매개변수 가운데 토큰마다 140억 개만 계산하는 희소 MoE 구조이고, 사전학습을 끝낸 직후 상태의 가중치입니다.

걸리는 곳은 성능이 아니라 라이선스입니다. 계약서가 정한 적용 지역에서 유럽연합, 영국, 한국이 빠졌습니다. 국내에서 이 가중치를 받아 쓰거나 파생 모델을 만들어 배포하는 일은 허가 범위 밖입니다.

성능만 보면 같은 체급 경쟁 모델을 앞서는 항목이 많습니다. 다만 비교표는 바이두가 직접 돌린 결과라는 점을 감안해야 합니다.

280B 중 14B만 계산하는 구조

43개 층 가운데 1개는 일반 피드포워드, 42개는 MoE입니다. 층마다 전문가 512개 중 10개를 고르고 공유 전문가 1개를 더 씁니다. 전문가 계산은 4,096차원을 2,048차원 잠재 공간으로 줄여서 하기 때문에, 전문가 통신량과 연산량이 전체 폭을 쓰는 방식보다 절반 가까이 줄어듭니다.

라우터는 하나가 아니라 여러 개입니다. 단일 라우터의 점수가 전문가의 실제 유용성과 약하게만 맞물린다는 문제를 잡으려고, 독립적으로 초기화한 시그모이드 라우터 여러 개가 전문가를 함께 채점합니다. 활성 전문가 수와 연산량은 그대로 두고 선택 정확도만 올리는 방식입니다.

학습은 33.5조 토큰, Muon 옵티마이저, FP8 혼합 정밀도로 처음부터 진행했습니다. 사전학습 데이터는 웹과 코드, 긴 문맥에 무게를 뒀고, 코드 쪽은 커밋과 이슈, 풀 리퀘스트, 코드 리뷰, 생성 테스트까지 포함합니다.

바이두가 기반 모델을 먼저 내놓은 이유는 블로그에 적혀 있습니다. 도메인 적응, 지시 튜닝, 강화학습을 각자 데이터와 목표로 시작할 수 있게 하고, 같은 출발점에서 학습 방법의 효과를 비교하는 기준선을 만들겠다는 것입니다. 후속 학습을 마친 ERNIE 5.5 Flash는 따로 공개할 예정입니다.

출력 방식도 손봤습니다. 다음 토큰만 맞히는 대신 백본 마지막 층을 재사용해 미래 토큰까지 예측하는 ECHO를 붙였고, 같은 층을 추측 디코딩의 초안 모델로도 씁니다. 토크나이저는 어휘 20만 개 규모로, 숫자를 오른쪽에서 세 자리씩 묶어 처리합니다.

128배 압축한 어텐션, 100만 토큰 문맥

43개 층 가운데 6개는 MLA에 희소 어텐션(DSA)을 붙여 씁니다. 나머지 37개 층은 128개 토큰을 캐시 한 칸으로 압축하는 HCA 방식이라, 압축된 기록 전체와 최근 구간만 참조합니다. KV 캐시를 줄이면서 긴 문맥을 유지하려는 설계입니다.

사전학습 문맥은 128K이고, 미세조정과 추론에서는 100만 토큰까지 열립니다. 가중치는 FP8과 BF16 두 가지로 공개됐고, SGLang과 vLLM으로 올릴 수 있습니다. 모델 카드의 SGLang 예시는 텐서 병렬 4로 서버를 띄웁니다.

허깅페이스에 표시된 모델 크기는 286B 파라미터입니다. FP8 가중치만 286GB 규모이고 BF16이면 두 배가 됩니다. 여러 장의 GPU에 나눠 올리는 서버 구성이 전제라는 뜻입니다.

추론 서버 예시는 vLLM 쪽도 함께 공개됐습니다. vLLM 0.32.0과 바이두가 배포한 ERNIE 플러그인을 설치하고 데이터 병렬 4로 띄우는 구성입니다. 가중치는 허깅페이스 외에 모델스코프에도 같은 형식으로 올라와 있습니다.

벤치마크는 앞서지만 전부는 아니다

바이두는 같은 평가 하네스와 프롬프트, 퓨샷 조건으로 다시 돌린 값을 공개했습니다. 비교 대상은 DeepSeek-V4-Flash-Base(284B, 활성 13B)와 Hy3-preview-Base(295B, 활성 21B), MiMo-V2.5-Base(310B, 활성 15B)입니다.

평가	ERNIE 5.5 Flash Base	DeepSeek-V4-Flash-Base
MMLU	93.3	89.4
MMLU-Pro	78.4	69.2
GPQA	60.2	55.9
HumanEval+	82.3	69.5
LiveCodeBench	40.1	31.9
RepoQA	91.7	81.0
LongBench-v2	48.7	44.5

시험과 코드, 긴 문맥 쪽은 앞섭니다. MMLU-Pro는 78.4로 69.2를, HumanEval+는 82.3으로 69.5를, RepoQA는 91.7로 81.0을 앞섰습니다. 전체 매개변수 284~310B인 모델들과 같은 조건에서 낸 값입니다.

반대로 뒤지는 항목도 있습니다. 중국어 상식 평가 ChineseSimpleQA는 73.0으로 DeepSeek의 75.3에 밀렸고, 검색 재순위 HELMET-Rerank는 56.2로 60.0보다 낮습니다. FullStackBench와 InfiniteBench에서도 2등이었습니다. 모든 지표에서 이긴 모델은 아닙니다.

상업 사용 5천만 달러까지, 한국은 지역 밖

라이선스 이름은 ERNIE 5.5 Flash Base Model License Agreement v1.0입니다. 비상업 사용은 무료이고, 관련 제품·서비스 연매출이 5,000만 달러 이하인 상업 사용은 'Powered by ERNIE' 표기와 1회 사용 통지를 조건으로 무료입니다.

5,000만 달러를 넘으면 별도 서면 허가가 필요합니다. 군사 목적 사용은 금지 목록에 들어 있고, 분쟁은 홍콩 법원이 전속 관할합니다.

국내 사용자에게 걸리는 조항은 적용 지역입니다. 계약서는 적용 지역을 "유럽연합, 영국, 한국을 제외한 전 세계"로 정의합니다. 한국에서의 사용·복제·수정·배포와 파생 모델 제작이 허가 범위 밖이라는 뜻입니다.

국내 기업 입장에서는 이 조항이 실제 검토 대상입니다. 한국 법인이 서비스나 사내 시스템에 이 가중치를 올리면 적용 지역 조항과 부딪힙니다. 적용 여부는 도입하는 쪽이 계약서 문구로 확인해야 합니다.