가중치를 직접 고치는 GPT-6 Astra, 초인적 연구 능력은 아니다

최근 한 논문이 프론티어 모델이 신경망 가중치를 직접 읽고 고친다고 보고했습니다. GPT-6 Astra 가 작은 신경망의 가중치만 보고 어떤 게임을 배웠는지 맞히고, 가중치를 스스로 수정했다는 내용입니다. 가장 눈에 띄는 결과는 0.8B Qwen 의 수학 성능을 가중치 편집만으로 끌어올린 것입니다.

개발자 Sean Goedecke 는 이 결과를 초인적 능력으로 보지 않습니다. 유능한 인간 ML 연구자도 같은 일을 할 수 있고, 절차도 이미 알려진 것과 같다는 반박입니다. 재귀적 자기 개선의 신호로 읽기에는 이르다는 판단입니다.

논쟁의 핵심은 성능이 아니라 해석입니다. 같은 데이터를 두고 한쪽은 새 능력의 출현을, 다른 쪽은 익숙한 방법의 자동화를 봅니다.

논문이 내건 사례는 세 가지입니다. 작은 강화학습 신경망의 가중치만 보고 어떤 게임을 학습했는지 식별한 것, 그 가중치를 직접 수정한 것, 0.8B Qwen 의 수학 성능을 끌어올린 것입니다. 원문은 세 번째를 가장 인상적인 결과로 꼽습니다.

세 번째가 중요한 이유는 재귀적 자기 개선과 닿아 있기 때문입니다. 모델이 자기 종류의 모델을 더 잘 만드는 능력을 가지면 연구 속도가 달라집니다. 원문이 겨냥한 지점이 정확히 이 지점입니다.

게임 맞히기, 파이썬 세 줄이면 된다

대상 신경망은 입력 채널이 8x8 격자의 각 칸에 직접 연결되어 있습니다. 채널에는 agent, moving objects 같은 이름도 붙어 있습니다. 1층 가중치의 L2 norm 을 계산하면 어느 칸을 보는지 히트맵으로 나옵니다. 원문은 이 계산을 세 줄로 보여줍니다.

히트맵만 봐도 답이 보인다고 원문은 말합니다. Breakout 은 아래쪽 가로줄, Pac-Man 은 미로 모양이 그대로 드러납니다. Astra 가 파이썬 없이 이 계산을 한 것은 신기하지만, 연구 방법의 도약은 아닙니다.

채널 이름이 붙어 있다는 점이 결정적입니다. 이름이 없고 격자 위치도 드러나지 않는 신경망이었다면 같은 계산으로 답이 나오지 않습니다. 원문은 이 조건을 먼저 밝혀야 결과의 크기를 가늠할 수 있다고 말합니다.

히트맵을 두고 독자들이 갈린 것도 이 대목입니다. 글쓴이는 라벨 없이도 알아볼 수 있다고 보고, 해커뉴스에서는 Pac-Man 이 특히 무리라는 반응이 나왔습니다.

Qwen 의 수학, 사실은 32k 반복 문제

원문은 0.8B Qwen 이 수학을 못한 것이 아니라고 짚습니다. 32k 토큰을 넘기면 추론이 반복에 빠져, 그보다 긴 문제만 자동으로 실패했습니다. 32k 이하 문제는 원래 모델도 다 맞혔습니다.

고치는 절차도 이미 있습니다. 반복에 빠진 추론문과 그렇지 않은 추론문을 몇 쌍 쓰고, 두 잔차의 차이를 계산해 기여한 가중치를 찾아 깎는 방식입니다. abliteration 계열에서 쓰던 방법입니다.

Astra 가 한 일도 같습니다. 네 쌍의 글을 쓰고, 반복에 기여한 가중치를 재서 깎고, 효과가 있는 패치를 찾아냈습니다. 사람이 같은 순서로 했어도 결과가 나왔을 일이라는 것이 원문의 주장입니다.

반복은 프롬프트로도 완화할 수 있습니다. 다만 같은 모델이 특정 길이를 넘길 때마다 같은 자리에서 무너진다면 원인이 가중치 쪽에 있다는 신호입니다. 원문이 이 사례를 고른 이유도 그 지점이 분명하기 때문입니다.

무엇이 실제로 대단한가

그렇다고 실험에 값이 없는 것은 아닙니다. Astra 는 반복을 유발하는 텍스트와 그렇지 않은 텍스트를 스스로 만들어 대조하고, 어느 가중치가 그 차이에 기여하는지 재고, 깎은 뒤 다시 시험하는 과정을 한 번에 돌렸습니다. 사람이 여러 시간 붙잡고 있을 반복 작업을 짧게 줄인 셈입니다.

원문이 강조하는 것은 이 자동화의 성격입니다. 새로운 원리를 찾아낸 것이 아니라, 알려진 절차를 정확히 수행한 것입니다. 절차를 아는 사람에게는 시간이 줄어드는 일이고, 모르는 사람에게는 결과만 보이는 일입니다.

실험 조건도 함께 봐야 합니다. 대상은 작은 강화학습 게임 신경망과 0.8B 모델이었습니다. 프론티어 모델 전체를 이 방식으로 손보는 것과는 거리가 있습니다.

기계어 비유, 연구는 학습에서 온다

원문은 LLM 이 기계어를 뱉고 컴파일된 바이너리를 고치는 능력에 비유합니다. 인상적인 기술이지만 바이너리를 다루는 최선의 방법은 여전히 소스 코드를 쓰고 컴파일하는 것입니다. 가중치도 마찬가지로 정상 학습이 최선입니다.

가중치를 직접 만지는 능력이 곧 초인적 연구 능력은 아닙니다. AI 가 연구를 돕는다면 그 경로는 학습 과정 개선 쪽입니다. 가중치를 마법처럼 고치는 능력이 아니라 학습을 더 잘 시키는 쪽에서 성과가 나온다는 뜻입니다.

다만 원문도 결과 자체를 폄하하지는 않습니다. 글 말미에 해커뉴스 댓글을 달고, 감탄이 부족하다는 지적에 매우 인상적이라고 답했습니다. 논지의 핵심은 감탄의 크기가 아니라 해석입니다.

원문은 손으로 신경망을 처음부터 작성한 결과도 언급하며 넘어갑니다. 작업을 단순한 프로그램으로 표현할 수 있다면 그 프로그램을 신경망으로 옮기는 일은 사람도 해왔다는 설명입니다. 초인적 정신 계산과 초인적 AI 연구를 구분하자는 것이 이 글의 각주입니다.

이 구분이 중요한 이유는 평가 기준이 달라지기 때문입니다. 가중치 해석이 빨라지는 것과 연구자가 세울 가설 자체가 달라지는 것은 다른 문제입니다. 원문이 인정하는 것은 앞쪽, 즉 해석 속도입니다.

원문 반응

해커뉴스 댓글에서는 초인적이라는 말의 뜻을 다시 봅니다. 한 댓글은 LLM 이 수학에서 초인적이라는 말과 같은 의미라며, 사람보다 빠르고 효과적이지만 여전히 읽히는 사고로 추론한다고 적었습니다.

반대편도 있습니다. 다른 댓글은 속도 자체가 초인적이고 그것이 질적 도약으로 이어진다고 봅니다. 처음 보는 복잡한 코드베이스를 이해하고 설명하는 능력은 어떤 인간보다 뛰어나다는 근거를 들었습니다.

계산기 비유도 나옵니다. 계산기가 곱셈을 하는 데 마법이 없듯, LLM 이 가중치를 계산하는 데도 마법은 없고 다만 훨씬 빠르고 오래, 안정적으로 한다는 것입니다. 히트맵만 보고 게임을 맞힐 수 있느냐는 대목에서는 의견이 갈렸습니다. Pac-Man 은 무리라는 댓글과 오히려 가장 쉬웠다는 댓글이 함께 달렸습니다.

논의는 능력의 크기보다 기준으로 흘러갑니다. 같은 일을 사람이 하려면 얼마나 걸리는지 물은 댓글이 있었고, 도구가 빠른 것과 도구가 이해하는 것은 다르다는 지적도 나왔습니다.

실무에서 이 논쟁이 남기는 것은 하나입니다. 0.8B 규모 모델은 단일 그래픽카드 메모리에도 들어가므로, 가중치를 직접 만져 보는 실험은 이제 개인도 할 수 있습니다. 그 실험이 연구 방향을 바꾸는지는 결국 학습 쪽 성과로 판정될 일입니다.

원문 보기