음성 대화 AI가 통화처럼 끼어들고 맞장구치는 수준까지 내려왔다. 4B 모델 하나가 133ms마다 한 프레임씩 듣고 말하며, 오디오 프레이밍 대기를 뺀 p50 지연은 맥북에서 65ms다. higurashi-ai가 11월 12일 공개한 Haru-4B는 말이 끝나기를 기다렸다가 답하는 방식이 아니라, 듣는 동안 말하는 구조를 처음부터 학습한 모델이다. 가중치는 Apache 2.0으로 풀렸고 NVIDIA GPU 12GB면 돌릴 수 있다. 한국어도 주 학습 언어 아홉 개 가운데 하나다.

133ms마다 한 프레임, 듣기와 말하기를 한 모델에 겹쳤다
기존 음성 비서는 대화를 순서대로 처리한다. 사용자 발화가 끝나면 음성 인식이 텍스트로 바꾸고, 언어모델이 답을 만들고, 음성 합성이 소리를 입히는 식이다. Haru-4B는 이 순서를 없앴다. 사용자 오디오, 모델 오디오, 모델 텍스트 세 갈래 스트림을 같은 위치에 더해 하나의 언어모델에 넣는다. 토큰을 번갈아 쌓지 않으니 문맥 길이가 3분의 1로 줄고, 텍스트 스트림은 중간에 끊기지 않는다.
오디오는 64차원 연속 잠재로 표현하고 초당 7.5번만 만든다. 토큰 하나가 약 133ms 분량이다. 여러 코드북에 인덱스를 매기는 이산 방식 대신 연속 잠재를 쓴 덕에 언어모델이 소리를 만들기 위해 거쳐야 하는 단계 수가 크게 줄었다. 소리는 4층짜리 MLP 헤드가 MeanFlow 샘플링 한 번으로 만든다. 별도 오디오 트랜스포머가 없고, 반복 샘플링도 없다.

텍스트는 토큰 하나하나가 아니라 청크 단위로 묶어 오디오와 정렬한다. 남는 자리는 패딩으로 채우고 전용 종료 토큰으로 그 끝을 표시한다. 글자와 소리의 시간 해상도가 다른 것을 억지로 맞추지 않으면서, 사전학습으로 익힌 언어 능력이 무너지는 것도 막는 설계다.
음성 대화 AI를 만든 것은 4,000만 시간, 합성 대화는 뺐다
학습 데이터는 4,000만 시간이 넘는 실제 음성이다. 160개 이상 언어를 담았고 영어·스페인어·포르투갈어·독일어·프랑스어·중국어·일본어·러시아어·한국어 아홉 개를 주 언어로 삼았다. 눈에 띄는 것은 뺀 쪽이다. 언어모델이 지어낸 대화와 음성 합성으로 만든 대화를 학습에서 의도적으로 제외했다. 실제 녹음에는 끼어들기와 머뭇거림, 맞장구, 겹쳐 말하기가 들어 있는데 합성 대화에는 그런 것이 없다는 판단이다.
1단계는 단일 채널 음성으로 Qwen3.5-4B를 음성에 적응시키는 과정이다. 음성 인식, 음성·텍스트 이어쓰기, 텍스트만 쓰는 복습을 섞었다. 잡음이 많은 녹음은 음질 복원 모델 Sidon으로 다듬었고, 이 전처리를 빠르게 돌리는 Triton 커널도 함께 공개했다. 2단계가 풀듀플렉스 학습이다. 대부분의 실제 대화 녹음은 한 채널에 두 사람 목소리가 섞여 있어서, 이를 시간 정렬된 두 갈래로 분리하는 FastDialogueSidon을 따로 만들었다. 이렇게 확보한 분리 대화가 1,300만 시간이 넘고, 최대 60분짜리 대화까지 학습에 넣었다.
학습 규모는 NVIDIA B200 256장으로 약 8일이다. 프레임워크는 Megatron-LM을 썼다. 캐릭터는 텍스트 카드로, 목소리는 참조 오디오 클립으로 조건을 준다. 학습 때부터 샘플마다 캐릭터 프롬프트와 같은 화자의 참조 음성을 붙여, 성격과 음색을 따로 조절하는 구조를 익히게 했다.
응답 65ms의 내역, 프레임 대기 133ms는 따로 붙는다
맥북(M1 Max)에서 int8 가중치로 잰 지연이다. 유선 마이크와 유선 헤드폰을 쓰고, 오디오 프레이밍 대기는 뺀 값이다.
| 구간 | 지연(int8) | 하는 일 |
|---|---|---|
| 입력 | 5.3ms | 마이크에서 앱까지 |
| 모델 1스텝 | 34.2ms | 듣기·말하기 한 프레임 동시 처리 |
| 소켓·핸드오프 | 4.1ms | 프로세스 사이 전달 |
| 출력 대기 | 13.3ms | 출력 버퍼 대기 |
| 출력 | 8.1ms | 앱에서 헤드폰까지 |
| 합계 | 65.2ms | p50 기준 |
표 1. 맥북(M1 Max) int8 기준 구간별 지연. 출처는 higurashi 기술 블로그(2026년 11월)이며, 오디오 프레이밍 대기는 제외한 값이다.
여기에 프레이밍 대기가 최대 133ms 더 붙는다. 초당 7.5프레임으로 처리하니 소리를 133ms씩 모아야 한 스텝이 시작되기 때문이다. 체감 지연은 65ms가 아니라 그 두 값을 합친 쪽에 가깝다. 서버에서는 조건이 다르다. NVIDIA B300 GPU에서 오디오 인코딩·디코딩과 언어모델 1스텝을 합쳐 약 15ms라고 밝혔다. 맥북의 34.2ms는 모델 1스텝만 잰 값이니 두 수치를 그대로 나눠 배수로 읽을 수는 없다. 측정 범위가 달라 두 수치를 직접 비교할 수는 없다.

12GB GPU면 돌아간다, 다만 비서가 아니다
모델 카드는 NVIDIA GPU 약 12GB에서 실행한다고 적는다. 저장소에는 PyTorch 구현과 웹 데모, 맥 네이티브 앱이 붙은 MLX 구현, vLLM-Omni 서빙 플러그인이 함께 있다. 참조 클립은 3초에서 3분 사이, 한 화자, 깨끗한 음성을 넣으라고 안내한다. 블루투스 이어폰은 100ms 이상을 더하니 유선을 권한다.
성격을 분명히 해둬야 한다. 공개된 것은 연구용 사전학습 베이스 모델이다. 대화는 자연스럽게 이어가지만 사실을 보장하지 않고, 어시스턴트처럼 지시를 따라주지도 않는다. 참조 클립의 목소리를 흉내내므로 권리가 있는 목소리만 써야 한다는 조건도 붙는다. 바로 서비스에 넣을 물건이 아니라, 음성 인터페이스를 연구하거나 자기 용도로 다듬을 사람이 잡을 기반이다.
한국어는 주 언어 아홉 개에 들어가지만, 한국어만 따로 잰 인식률이나 자연스러움 수치는 모델 카드와 기술 블로그에 없다. 영어 데모처럼 자연스러운 한국어 대화가 나온다고 가정하지 않는 편이 맞다. 직접 돌려서 확인해야 하는 부분이다.
지금 쓸까, 기다릴까
실시간 음성 인터페이스를 만드는 쪽이라면 지금 값이 싸다. Apache 2.0 가중치와 12GB GPU 요구 사항, 공개된 서빙 플러그인 덕에 프로토타입을 만드는 진입 장벽은 낮다.
완성된 음성 비서를 찾는 쪽이라면 아직 이르다. 이 모델은 대화의 리듬을 배운 기반이고, 정확한 답을 하도록 정렬하는 단계는 쓰는 사람 몫이다. 분리된 음성으로 학습했기 때문에 겹쳐 말하는 구간에는 분리 오류와 잡음이 남을 수 있다는 점도 논문이 인정한 한계다. 네이티브 2채널 녹음으로 다듬는 작업이 진행 중이라고 밝혔다.
한 줄 정리: 말이 끝나길 기다리지 않는 음성 대화를 12GB 카드에서 직접 돌려보려는 사람에게, 공개된 오픈웨이트 모델 중 접근성이 높은 편이다.
이엠텍 이엠텍 지포스 RTX 5080 MIRACLE WHITE D7 16GB (엔비디아 컴퓨터 그래픽카드)
로켓배송으로 바로 받기이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.



