Ricursive Intelligence가 11월 5일 Ripple-65B Preview를 공개했습니다. 65B 밀집 Transformer, 12조 토큰 사전학습, 최대 100만 토큰 문맥이고 라이선스는 Apache 2.0입니다.
TerminalBench 2.1에서 80.52점을 기록해 미국 오픈웨이트 모델 중 최고라고 회사는 밝혔습니다. 501B Reflection Beam(80.1)과 816B Meta Muse Spark Open(76.4)보다 높은 점수입니다.
전체 연구개발비는 3,200만 달러. 회사 추산으로 기존 에이전트 코딩 오픈웨이트 최고 모델의 약 10분의 1입니다. 65B면 128GB 통합 메모리 기기에서 4비트로 돌릴 여지가 생깁니다.
성적표, 65B가 501B와 816B를 앞선 지점
같은 표에서 Ripple-65B는 SWE-bench Pro v2.0 Hard 79.1, DeepSWE 1.1 44.3, MMLU 89.6입니다. Nemotron 3 Ultra 550B는 TerminalBench 2.1 56.4, Thinking Machines Inkling 975B는 63.8입니다.
전 항목 1위는 아닙니다. SWE-bench Verified는 76.5로 Reflection Beam의 81.6에 뒤지고, DeepSWE 1.1도 Muse Spark Open의 60.0보다 낮습니다.
문맥은 최대 100만 토큰입니다. 모델 카드의 학습 단계를 보면 사전학습은 8K 길이로 하고, 중간 학습에서 64K, 이후 2M 길이 65억 토큰과 128K SFT, 2M 장문 SFT 135억 토큰을 거쳤습니다. 장문 평가 AA-LCR은 75.0입니다.
모델 카드도 조건을 적어 뒀습니다. 하네스와 문맥 길이에 따라 점수가 흔들리고, 공식 Terminus 2 하네스를 128K 요약 조건에 물리면 대부분 모델의 점수가 내려갔다고 밝혔습니다. 각 사 공식 값과 자체 측정을 섞은 표라는 뜻입니다.
3,200만 달러, 롤아웃 140만 번
후학습 데이터를 사지 않았습니다. 자체 합성 데이터 파이프라인과 품질 필터, 커버리지 지표를 직접 만들었습니다.
강화학습은 140만 회 롤아웃으로 TerminalBench 2.1 80.5에 도달했습니다. 이전 최고였던 Reflection Beam보다 약 70배 적은 횟수입니다. 긴 작업을 도는 합성 환경을 만들고, 성능이 오르면 더 어려운 과제를 계속 넣는 방식입니다.
이 모델은 회사가 칩 설계 플랫폼에 쓰는 내부 모델의 범용 버전입니다. 모델과 하드웨어를 함께 최적화해 스스로 개선하는 시스템을 만들겠다는 것이 회사의 설명입니다.
사전학습 사다리 실험도 비용을 깎았습니다. 4B 규모에서 Olmo 3 사다리 대비 코드 계산 효율이 16배였고, 모델 카드는 최종 대형 학습까지 확장하면 55배까지 벌어진다고 적었습니다. 개발팀은 1명에서 5명으로 늘었습니다.
MoE 대신 밀집, 얇고 깊게
다른 연구소가 MoE를 쓰는 자리에서 밀집 Transformer를 골랐습니다. d_model 5120에 80층, 폭이 좁고 깊은 구조입니다.
추론 성능을 위해 어텐션 헤드를 늘리고, 그 비용을 줄이려 슬라이딩 윈도 어텐션 비중을 높이고 윈도 크기를 줄였습니다. FFN 활성값 클리핑, 게이트 어텐션, global NoPE, 값 잔차 연결도 넣었습니다.
밀집이라 토큰마다 65B가 전부 계산에 들어갑니다. 표에 함께 오른 MoE 모델들의 활성 매개변수는 23B에서 55B 사이라, 같은 크기로 보여도 실제 계산량은 이쪽이 더 많습니다.
커스텀 커널과 양자화 없이 단순 샤딩만으로 사전학습과 후학습 내내 MFU 40%를 유지했습니다. B200 2장 batch=8 조건에서 초당 250토큰을 냈고, 양자화 전 값입니다.
로컬에서 돌리려면
공개물은 Apache 2.0 라이선스의 BF16 지시문 모델과 베이스 모델, NVFP4 체크포인트입니다. 가중치를 그대로 내려받아 쓸 수 있는 구성입니다.
BF16 가중치는 65B에 2바이트를 곱해 약 130GB입니다. 128GB 통합 메모리 기기에는 그대로 들어가지 않습니다.
회사가 같이 올린 것은 NVFP4 체크포인트입니다. 4비트면 가중치가 약 32.5GB로 줄어, KV 캐시와 함께 128GB 통합 메모리 기기에 올릴 여지가 생깁니다. 회사는 DGX Spark 같은 기기를 직접 언급했습니다.
1M 문맥은 코드베이스 전체를 한 번에 넣는 용도입니다. 대신 128K를 넘는 요청은 메모리와 시간이 함께 늘어, 로컬 기기에서는 짧은 작업부터 재는 편이 현실적입니다.
텍스트 전용 모델입니다. 사전학습 데이터는 영어와 코드 중심이고, 공개판은 후학습을 가볍게 했다고 카드에 적혀 있습니다. 에이전트 코딩에 맞춘 프리뷰라는 뜻입니다.
다만 65B 밀집 모델은 토큰마다 연산이 전부 듭니다. 메모리 대역폭이 낮은 소형 기기에서는 답이 느리게 나오고, 24GB 소비자 그래픽카드로는 이 모델을 감당하기 어렵습니다.
원문 반응, 범주를 좁힌 1위
해커뉴스에서는 미국산 오픈웨이트 중 특정 크기라는 범주가 좁다는 지적이 나왔습니다. 2위와 차이가 0.42%포인트라 유의미한 우위로 보기 어렵다는 것입니다.
비교 대상에 Qwen이 빠진 점도 반복해서 언급됐습니다. 댓글에 따르면 Qwen 3.8-27B는 TerminalBench 2.1 73.0, Qwen 3.8 Flash Next는 84.3입니다.
반대 평가도 있습니다. 65B 밀집 모델은 소비자 하드웨어에서 너무 느려 개인 사용자에게 인기를 얻기 어렵고, 칩 설계 기업의 망분리 환경을 겨냥한 모델이라는 해석입니다.
지금 128GB 미니 PC를 이 모델 때문에 새로 살 단계는 아닙니다. 프리뷰이고, Together AI와 GMI Cloud, OpenRouter에서 API로 먼저 써볼 수 있습니다. 로컬 실행이 필요한 팀이라면 NVFP4 체크포인트와 콜랩으로 속도부터 재보는 편이 낫습니다.
대용량 메모리 Mac Studio 사용자는 반겼습니다. 양자화해 품질 좋은 속도를 내는 모델이 드디어 나왔고, 200GB 안팎 가중치를 돌리는 클러스터에는 이 크기가 알맞다는 반응입니다.
구조는 NVIDIA 하드웨어에 맞춰 공동 설계했습니다. CUDA 커널을 직접 쓰지 않고도 효율이 나왔다는 점이 이번 공개의 기술적 요지입니다.
1M 문맥과 65B 밀집, Apache 2.0 조합은 로컬 실행 쪽에서 의미가 있습니다. 다만 미국 오픈웨이트 범주 1위라는 표현은 그 범위를 알고 읽어야 하고, BF16 130GB라는 무게도 함께 봐야 합니다.
BOSGAME M5 AI 미니 데스크톱 PC Ryzen AI Max+ 395 128GB+2TB 미니 PC, HDMI 2.0, Wi-Fi 7, BT 5.3, M5, WIN11 Pro, 2TB, 128GB, 은색
로켓배송으로 바로 받기이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
