이번 주 내려받은 로컬 모델 4종... 1GB짜리부터 H100 한 장짜리까지

허깅페이스 내려받기 집계에서 두드러진 모델 네 개를 보면 로컬 AI의 갈림길이 뚜렷합니다. 17억 파라미터 모델은 4비트로 약 1GB 메모리에서 돌고, 8B는 131,072 토큰, 9B는 262,144 토큰 문맥을 씁니다. 34B 음성 모델만 H100 80GB를 요구합니다.

고르는 기준은 하나로 좁혀집니다. 노트북에서 굴릴 것인가, 서버에 올릴 것인가. 아래 네 모델은 요구하는 메모리가 1GB에서 H100 80GB 한 장 기준까지 벌어집니다.

먼저 표로 놓고 보겠습니다. 내려받기 수치는 허깅페이스가 집계한 값이고, 문맥과 라이선스는 각 모델 카드에 적힌 조건 그대로입니다.

표에서 눈에 띄는 칸은 라이선스입니다. Apache 2.0과 OpenMDW-1.1은 상업 사용에 걸리는 조건이 적고, LFM Open 1.0은 연 매출 1,000만 달러를 기준선으로 둡니다. TwIL-8B는 비상업 라이선스라 회사 업무에 그대로 붙이기 어렵습니다.

1.7B가 256K 문맥을 드는 방법

Liquid AI의 LFM3-1.7B는 24개 층을 세 종류로 나눠 씁니다. 게이트가 붙은 짧은 합성곱 13개, 슬라이딩 윈도 어텐션 5개, 전체 어텐션 6개입니다. 256K 토큰 문맥을 이 조합으로 감당합니다.

크기는 모델 카드에 적힌 그대로입니다. 4비트 정밀도에서 약 1GB 메모리를 쓰고, 어휘는 12만8,000개, 지원 언어 16개에 한국어가 들어 있습니다. 단일 GPU 파인튜닝이 가능한 모델입니다.

여기서 갈리는 것이 라이선스입니다. LFM Open License 1.0은 연 매출 1,000만 달러 미만인 법인의 상업 사용을 허용하고, 그 선을 넘는 법인은 별도 계약을 전제합니다.

8B와 9B, 계산을 늘리는 두 가지 방법

IBM granite-4.2-8b를 기반으로 전체 파라미터 지도학습과 GRPO·DAPO 강화학습을 얹은 모델이 webAI의 TwIL-8B입니다. 수학 벤치마크 MATH-500에서 98.2를 기록했습니다. 같은 표에서 Qwen3.5-9B는 96.6, Gemma 4 31B는 87.9입니다.

코딩 벤치마크 LiveCodeBench는 81.6입니다. 다만 이 값은 verbose 변형에서 잰 것이고, 기본인 balanced 변형에서는 아직 돌리지 않았다고 카드가 밝힙니다. 지시 수행 IFBench 74.4는 Qwen3.5-9B보다 9.9점 높습니다.

약점도 카드에 적혀 있습니다. GPQA Diamond 70.2로 Qwen3.5-9B에 11.5점 뒤지고, MMLU-Pro와 HLE도 같은 흐름입니다. 지식형 질문보다 계산과 코드에 맞춘 모델입니다.

메모리는 bf16에서 16.38GiB, 4비트 GGUF로 4.98GiB입니다. 문맥은 기반 모델에서 물려받은 131,072 토큰입니다.

SenseNova-Loop-9B는 층을 더 쌓는 대신 같은 층을 두 번 지나갑니다. 32개 층 가운데 4번부터 27번까지 24개 층을 두 번 실행해, 순전파 한 번에 56개 층을 계산한 것과 같은 깊이를 냅니다.

그래서 숫자가 두 개입니다. 가중치는 96억 개인데 추론 파라미터는 146억 개로 표기됩니다. 메모리는 96억 개 기준으로 잡고, 연산량은 146억 개 기준으로 계산해야 합니다.

어텐션은 선형 3개와 전체 1개를 묶어 반복하는 구조이고, 학습 문맥은 262,144 토큰입니다. 이미지와 텍스트를 함께 받고, 라이선스는 Apache 2.0입니다.

34B 음성 모델이 H100을 부르는 이유

NVIDIA Nemotron-3.5-Transcribe는 전체 34B, 활성 4.3B의 MoE 구조입니다. Mamba-2와 트랜스포머를 섞었고, 40개 언어 전사와 화자 분리, 타임스탬프, 음성 번역을 한 모델에서 처리합니다.

문맥은 6만5,536 토큰이고, 최대 1시간짜리 녹음을 한 번에 넣습니다. 영어 음성인식 평균 오류율 4.71%로 오픈웨이트 가운데 가장 낮다는 결과를 카드에 실었고, 장문 10.98%, 다국어 4.62%입니다.

대신 배포 조건이 무겁습니다. 카드가 배포 기준으로 제시한 구성은 H100 80GB 한 장입니다. BF16 외에 FP8과 NVFP4 버전을 함께 내놨으니, 메모리가 모자라면 그쪽으로 내려가야 합니다.

원문 반응

해커뉴스 LFM3 스레드에서는 개발자 계정이 직접 수치를 붙였습니다. 4비트에서 약 1GB, 문맥 256K 토큰이고, 에이전트 실행 환경에 맞춰 후학습했으며, WebArena-Verified 점수가 2.5세대 2.6B의 3.0에서 38.4로 올랐다는 설명입니다.

같은 스레드에서 사용자들은 다른 지점을 짚었습니다. 빈 시스템 프롬프트에서도 도구를 쓰려는 추론 흔적이 나온다는 지적이 있었고, 개발자는 사전학습 후반과 지도학습에 도구 호출 궤적이 많이 들어간 탓일 수 있다고 답했습니다.

Nemotron Transcribe 스레드의 반응은 갈렸습니다. 한 사용자는 Parakeet과 비교해 더 느리고 무겁고 오류율도 높다고 적었고, 번역 기능도 클라우드 모델에 전사문을 넘기는 방식보다 나빴다고 평가했습니다. 다른 사용자는 녹음 파일용이라 실시간 받아쓰기에는 못 쓴다는 점을 아쉬워했습니다.

돌리려면 얼마나 필요한가

메모리는 가중치 크기에서 갈립니다. 1.7B는 4비트 약 1GB라 노트북에서 돌고, 8B는 가중치만 기준으로 bf16 16.38GiB, 4비트 4.98GiB이고, 문맥 길이에 따라 KV 캐시가 더 필요합니다.

9B는 가중치 96억 개를 bf16으로 올리면 19GB 남짓입니다. 추론 파라미터가 146억 개라 연산은 그만큼 늘고, 문맥을 256K까지 늘리면 KV 캐시만큼 메모리가 더 필요합니다.

34B는 bf16으로 68GB, 카드 권장 구성이 H100 80GB입니다. 집에서 굴릴 물건이 아니고, 회의 녹취처럼 오류율이 중요한 작업을 서버에서 처리할 때 고르는 쪽입니다.

정리하면 이렇습니다. 노트북 한 대로 에이전트를 붙이려면 1.7B, 수학·코드 문제를 로컬에서 풀려면 8B, 긴 문서와 이미지를 함께 읽히려면 9B, 대량 녹취는 34B입니다.

원문 보기: LFM3-1.7B · TwIL-8B · SenseNova-Loop-9B · Nemotron-3.5-Transcribe

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.