에이전트 6개에 월 3,000달러, 코드를 안 쓰게 된 연구원의 1년

세일즈포스 AI 리서치의 연구원 벤 스톨로비츠가 1년 만에 자신의 AI 사용기를 다시 썼습니다. 지난해에는 자동완성이 코드 작성 방식을 바꿨다고 썼는데, 올해는 코드를 거의 쓰지 않게 됐다고 말합니다.

그의 하루는 에이전트 5~6개를 동시에 굴리는 일입니다. Claude Code를 비롯해 OpenCode, Codex, Pi를 섞어 쓰고, 토큰 비용으로 월 3,000달러를 씁니다.

직접 코드를 쓰는 시간이 줄어든 대신 판단할 일이 늘었습니다. 에이전트를 도입할지 고민하는 쪽에 유용한 글입니다. 무엇이 빨라졌고 무엇이 느려졌는지, 어디서 사람이 계속 붙잡아야 하는지가 구체적인 숫자와 함께 나옵니다.

에이전트마다 코드 사본을 주고 일을 맡긴다

방식은 단순합니다. 기능 구현, 버그 재현, 테스트 작성, 풀 리퀘스트 생성까지 각 에이전트에 맡깁니다. 에이전트마다 저장소 사본인 Git 워크트리를 따로 주기 때문에 서로의 작업을 덮어쓰지 않습니다.

그는 이 구조가 만들어낸 속도를 강조합니다. 새 기능 시제품을 20분 안에 뽑아낼 수 있고, 오디오 코드처럼 까다로운 부분도 macOS와 iOS에서 몇 분 만에 검증했습니다.

빨라진 것 네 가지

첫째는 실패의 속도입니다. 사람 팀이 빠르게 실패하자고 말할 때, 에이전트는 아주 빠르게 실패합니다. 그래서 말도 안 되는 아이디어를 일단 붙여보고 버리는 일이 쉬워졌습니다.

둘째는 잡일 제거입니다. 급한 버그를 설명 한 줄과 부탁 한 마디로 진단·수정하게 하고, 그동안 다른 일을 계속할 수 있습니다.

셋째는 리뷰 문화입니다. 코드를 기계가 쓰니 동료에게 큰 변경을 제안하거나 직접 다른 구현을 써보는 일이 부담스럽지 않아졌습니다. 넷째는 자신이 만든 제품을 에이전트가 직접 테스트하는 습관입니다. 그가 음성 에이전트 하네스를 만들 때, 한 에이전트가 macOS 내장 음성 합성으로 자기 제품을 직접 호출해 시험했습니다.

느려진 것, 정확히는 사람이 남는 자리

그는 엔지니어링이 해결됐다고 말하지 않습니다. 에이전트를 그냥 풀어두면 과설계에 읽기 어렵고 스스로를 칭찬하는 코드가 나온다고 씁니다. 주변 동료들도 인간의 안목과 경험이 없으면 좋은 결과가 안 나온다는 데 동의했다고 합니다.

가장 설득력 있는 대목은 역설입니다. 올해 그의 가장 성공적인 작업은 4,000줄짜리 바이브 코딩 결과물을 직접 쓴 수백 줄로 대체한 것이었습니다. 직접 쓴 도구가 더 유연하고 테스트하기 쉬웠고, 더 일반적으로 쓸 수 있었습니다.

리뷰도 줄었습니다. 그는 줄 단위 리뷰 대신 구조와 패턴을 봅니다. 에이전트가 버그와 스타일 문제는 잘 잡지만 아키텍처 설계에는 형편없다고 평가합니다. 동료들끼리 서로의 Claude에게 상대 Claude가 쓴 코드를 리뷰시키는 풍경도 문제로 꼽습니다.

그가 새로 꺼낸 말은 피로입니다. 서로 다른 기능을 붙든 로봇 6개와 대화 6개를 동시에 관리하는 일이 손으로 코드를 짜던 때보다 훨씬 과자극적이고 지친다고 씁니다. 처음에는 에이전트를 사람 동료처럼 대답을 서둘러야 하는 존재로 느꼈다고도 합니다.

코드를 다듬고 설계를 찾아가는 즐거움을 기계에 넘겼다는 상실감도 있습니다. 그는 이 감각을 장인정신의 쇠퇴라고 부릅니다. 손으로 코드를 짜던 시절의 몰입이 사라진 자리입니다. 반면 에이전트와 일하는 즐거움도 분명히 있다고 인정합니다. 빠르고, 피드백을 잘 받고, 영리하다는 것입니다.

그는 기능별 평가도 남겼습니다. 자동완성은 여전히 훌륭하지만 이제 구식이 됐고, 에이전트 모드가 오늘 AI의 가장 중요한 용도이며, 에이전트가 만든 풀 리퀘스트의 검증 루프는 아직 느리고, 코드 리뷰는 사람 수준에 못 미친다는 것입니다.

배움에 쓰는 방식도 달라졌습니다. 긴 코드 리뷰를 마친 뒤 Claude에게 그 코드를 이해했는지 문제를 내달라고 합니다. 오픈소스 프로젝트 Mumble은 비슷한 퀴즈를 AGENTS.md에 넣었습니다. 에이전트가 쓴 코드를 읽고도 이해하지 못하는 상황을 막으려는 장치입니다.

한계도 분명히 적었습니다. 음성 에이전트의 발화 종료 판정 연구에서는 AI가 찾아준 자료는 유용했지만, 더 나은 구조가 있는지 묻자 판단이 흔들렸습니다. 학습 데이터 주석 기준을 정하는 일은 며칠을 씨름해도 안 되다가 동료와 한 번 이야기하고 풀렸다고 합니다.

월 3,000달러, 모델보다 규칙이 중요하다

그는 올해 Sonnet 4.6, Opus 4.6·4.7·4.8, Fable 5.1, Opus 5.5, GPT-6-Sol과 GPT-6-Terra를 옮겨 다녔습니다. 그러면서 Sonnet 4.6과 Opus 4.8 수준이면 효과적인 에이전트 코딩에 충분하다고 씁니다. 최상위 모델 가격이 오르면 GPU 몇 장을 사서 로컬 에이전트를 굴리면 된다는 계산도 덧붙입니다.

그는 오픈소스 모델이 이미 그 수준을 넘어섰다고 덧붙입니다. 그래서 최상위 모델 구독이 끊겨도 GPU 몇 장으로 개인 프로젝트를 이어갈 수 있다고 봅니다.

월 3,000달러는 취미 개발이 가볍게 감당할 금액이 아닙니다. 에이전트를 붙이기 전에 어떤 작업에 쓸지부터 정해야 하는 이유입니다.

돈보다 중요하다고 그가 강조하는 것은 규칙입니다. 반복되는 문제가 보이면 리뷰 로봇이 스스로 찾아 고치도록 지침을 추가합니다. 그가 만든 규칙 중 하나는 Claude 특유의 군더더기 주석을 잡아내는 검사기입니다. 같은 맥락에서 개인용 AI 정책 문서도 따로 쓰기 시작했습니다.

처음 도입한다면 순서가 있습니다. 에이전트마다 작업 사본을 따로 두고, 테스트를 먼저 갖추고, 반복되는 실수를 규칙 문서로 남기는 것입니다. 이 세 가지가 없으면 속도만 빨라지고 검증 비용이 뒤에서 터집니다.

원문 반응

GeekNews에 옮겨진 해커뉴스 댓글에서는 인지 부조화를 지적합니다. 4,000줄짜리 바이브 코딩 결과물보다 직접 쓴 수백 줄이 낫다고 하면서, 에이전트에는 인간의 안목이 필요하다고 말하는데 그 안목과 경험은 어디서 쌓이느냐는 겁니다.

같은 댓글은 LLM 의존도가 높아질수록 학습 데이터의 질이 떨어져 모델 성능이 나빠질 수 있다고 봅니다. 목적의식과 이해를 생산성과 맞바꾸는 이유가 무엇인지 묻는 대목도 있습니다.

정리하면, 에이전트는 코드를 대신 써주지만 설계와 검증은 여전히 사람 몫입니다. 도입을 고민한다면 모델 성능보다 작업 사본 분리, 리뷰 규칙, 테스트 하네스를 먼저 갖추는 편이 낫습니다.

개인 AI 정책을 쓰기 시작한 이유도 분명합니다. 동료가 Slack 메시지를 Claude에게 쓰게 하고, 조부모가 손주 얼굴로 이상한 밈을 만들고, 연구자가 사고를 기계에 맡기는 장면을 봤기 때문입니다. 규칙이 없으면 도구가 어디까지 들어오는지 판단할 기준이 없습니다.

원문 보기