BotPsy 0.8B, 온디바이스 AI 에이전트가 2.5배 큰 모델을 이겼다

2026-11-12

테더 AI 리서치가 0.8B짜리 온디바이스 AI 에이전트 모델 BotPsy를 공개했습니다. 스마트폰이나 노트북 안에서 돌면서 일정·파일·메시지 같은 도구를 대신 호출하는 용도입니다. 라이선스는 Apache 2.0이고, 가장 작은 GGUF 파일은 0.53GB입니다.

숫자로 보면 크기가 전부가 아니라는 사례입니다. 기준 모델로 삼은 Qwen3.5-0.8B와 비교해 툴 호출 평균이 24.7에서 45.0으로 올랐습니다. 2.5배 큰 Qwen3.5-2B의 38.8도 넘습니다.

대신 지식은 기준 모델보다 올랐지만 2B와는 격차가 큽니다. GPQA Diamond 38.1, MMLU-Pro 48.9로 기준 모델(33.2·41.6)보다는 높지만 Qwen3.5-2B의 59.9·65.5에는 크게 못 미칩니다. 모르는 것은 도구를 불러 해결하는 쪽으로 설계된 모델입니다.

온디바이스 AI 에이전트 BotPsy 0.8B, 툴 호출 평균 45.0

공개된 것은 툴 호출·에이전트 벤치마크 6종입니다. BFCL v4 44.0, ACEBench 58.7, τ-bench 51.5, ToolSandbox 64.6, BrowseComp-Plus 4.5, Claw-Eval 46.5입니다. 기준 모델 Qwen3.5-0.8B-Think는 같은 묶음에서 평균 24.7에 머뭅니다.

모델	파라미터	툴 호출 평균	BFCL v4	τ-bench	IFBench	GPQA Diamond
BotPsy-0.8B	0.8B	45.0	44.0	51.5	55.9	38.1
Qwen3.5-2B-Think	2B	38.8	37.7	46.5	40.9	59.9
Qwen3.5-0.8B-Think	0.8B	24.7	23.4	23.2	22.0	33.2
LFM2.5-1.2B-Think	1.2B	25.3	28.1	6.5	33.9	35.0
MiniCPM5-1B-Think	1B	22.7	22.8	28.8	40.6	15.8

2.5배 큰 Qwen3.5-2B를 이긴 항목과 진 항목

이긴 곳은 실무에 가깝습니다. BFCL v4 다중 턴이 7.5에서 46.1로 올라 2B의 23.8을 두 배 가까이 앞섰습니다. 긴 고객 대화를 유지하며 정책을 지키는 τ²-bench 통신 과제도 82.5로 2B의 69.3보다 높습니다.

ToolSandbox는 64.6 대 41.2, 상거래·서비스 다단계는 58.3 대 47.4입니다. 도구를 여러 번 부르고 순서를 지키는 과제에서는 BotPsy가 2B 모델보다 앞섰습니다.

진 곳도 분명합니다. Claw-Eval은 46.5로 2B의 48.9에 밀렸습니다. 깊은 검색을 재는 BrowseComp-Plus는 4.5로 다섯 모델 중 1위지만 절대값이 낮습니다. τ³-bench 은행 과제는 어떤 모델도 5를 넘지 못했습니다.

거절하는 능력 86.1, 없는 도구를 부르지 않는 쪽으로 학습

에이전트 사고는 대개 엉뚱한 도구 호출에서 납니다. BFCL v4 환각 테스트에서 BotPsy는 86.1로 다섯 모델 중 가장 높습니다. 적합한 도구가 없을 때 호출을 멈추는 능력입니다.

불완전한 요청이나 잘못된 파라미터를 다루는 ACEBench 특수 케이스는 13.7에서 51.3으로 올랐습니다. 지시 준수는 IFEval 59.7에서 90.8, IFBench 22.0에서 55.9입니다.

안전 수치도 함께 공개됐습니다. 6개 유해 범주 자동 레드팀에서 유해 응답 비율이 36%에서 21%로 줄었습니다. 프롬프트 인젝션 공격에서는 46%에서 31%입니다.

Q8_0 0.81GB, 노트북에서 돌리는 조건

GGUF는 세 가지입니다. BF16 1.52GB, Q8_0 0.81GB, Q4_K_M 0.53GB입니다. 권장은 Q8_0이고, 10개 벤치마크 평균이 BF16 GGUF 50.4 대 50.7로 사실상 같습니다.

Q4_K_M은 평균 48.9로 1.5점 떨어집니다. 손실이 지식 과목에 몰립니다. MMLU-Pro는 3.5점, GPQA Diamond는 3.9점 내려갑니다.

돌릴 때 걸리는 지점이 하나 있습니다. 챗 템플릿 기본값이 사고 모드 꺼짐이라 enable_thinking=True를 직접 넘겨야 합니다. 평가에 쓴 샘플링은 temperature 0.3, top_p 0.95, top_k 20, presence_penalty 1.5입니다.

같은 가중치라도 엔진에 따라 점수가 갈립니다. BF16 GGUF와 vLLM 참조값은 τ-bench에서 4.0점, Claw-Eval에서 3.1점 차이가 났습니다. 양자화 손실이 아니라 실행 엔진과 회차 차이입니다.