키미 K3, 코딩 벤치마크 1위 — 근데 환각률이 51%라고?

이거 하나 알면 이번 주 AI 뉴스가 다르게 보입니다.

지난주 판을 흔든 건 실리콘밸리가 아니라 베이징이었어요. 7월 16일, 중국 문샷AI(Moonshot AI)가 키미 K3(Kimi K3) 를 공개했습니다. 파라미터만 약 2.8조 개. 지금까지 나온 오픈웨이트 모델 중 가장 큽니다.

근데 크기는 포인트가 아니에요. 진짜 한 방은 이겁니다.

코딩 벤치마크에서 클로드를 눌렀다.

일단 점수부터, 이게 좀 셉니다

Decrypt 가 정리한 수치를 보면 헤드라인이 왜 터졌는지 이해가 갑니다.

• Frontend Code Arena: 1,679점 — 1위. 클로드 Fable 5(1,631점)를 제쳤어요.
• BridgeBench 코딩 아레나 8개 중 7개 승. 리팩터링은 9-0, 디버깅은 6-1.
• Writing Elo 2,840점. Fable 5(2,760점)보다 위.
• 종합 지수(Artificial Analysis)는 57점으로 3위. Fable 5(60)·GPT-5.6 Sol(59)에 딱 3점 차.

오픈웨이트, 그러니까 누구나 받아서 돌릴 수 있는 모델이 상용 프론티어 코앞까지 왔다는 얘기입니다.

그리고 더 놀라운 건, 실리콘밸리가 이미 쓰고 있다는 거예요. Fortune 보도에 따르면 —

• Cursor 는 Composer 2 코딩 에이전트에 Kimi 를 물렸고,
• DoorDash 는 하위 작업을 Kimi 계열에 위임 중이고,
• Thinking Machines 도 자체 모델 후처리에 Kimi 를 썼습니다.

문샷AI 쪽 표현을 빌리면 "최소한의 사람 감독으로 긴 엔지니어링 세션을 버티고, 거대한 레포를 훑고, 터미널 도구를 지휘하는" 모델이라네요. Fortune 은 이 추격 속도가 예상보다 몇 달 빨라서 미국의 대중국 반도체 수출규제가 정말 먹히는 거냐는 질문까지 던집니다.

여기까지만 보면 "중국이 이겼네" 싶죠. 근데 여기서 김이 좀 샙니다.

화려한 점수 뒤, 세 가지가 걸립니다

첫째, 환각률이 오히려 올랐어요. 🤯 같은 회사의 직전 모델 K2.6이 39%였는데, K3는 51% (AA-Omniscience 기준, '틀렸는데 확신하는' 비율). 똑똑해졌는데 더 당당하게 틀린다는 뜻입니다.

둘째, 벤치 점수 자체가 뻥튀기일 수 있습니다. AI 분석가 Zvi 는 K3 벤치가 전부 '최대 노력(max effort)' 설정 — 다른 모델보다 토큰을 훨씬 많이 태워서 낸 점수라, 실전 성능은 과대평가됐을 거라고 봅니다.

셋째, Claude 증류 의혹입니다. 여러 관찰자가 K3한테 정체를 물으면 10번 중 1번꼴로 자기를 'Claude'라고 답한다고 했어요. 응답을 맺는 형식도 Claude 를 빼닮았고요. 독자 개발이냐, 아니면 Claude 출력을 베껴 학습한 거냐는 물음이 남습니다.

여기에 하나 더. Zvi 는 문샷의 기술 블로그에 생물·사이버보안 리스크에 대한 정보가 사실상 제로라는 점도 짚습니다. 능력은 잔뜩 자랑하면서, 위험 관리는 공개를 안 한다는 거죠.

실제로 써보면? Simon Willison 의 실사용 리포트

벤치 점수 말고 직접 손으로 만져본 사람이 있습니다. 개발자 Simon Willison 이 자기만의 테스트(펠리컨이 자전거 타는 SVG 그리기)를 돌려봤는데 —

• 입력은 95토큰인데 추론 토큰만 13,241개를 태워서 답 하나에 25센트.
• "hi" 한마디에 토큰 86개가 잡혔어요. 숨겨진 시스템 프롬프트가 ~85토큰쯤 깔려 있다는 신호인데, 모델이 그 내용 유출은 거부했습니다.
• 추론 강도가 'max' 하나뿐이라, 간단한 질문에도 토큰을 폭식합니다.

정리하면 에이전틱 도구 호출 능력은 진짜 좋은데, '싸다'는 말은 반만 맞습니다. Fortune 은 출력 100만 토큰 $15로 Fable($50)보다 싸다고 강조하죠. 반대로 Zvi 와 Decrypt 는 입력 $3·출력 $15면 사실상 Claude Sonnet 5~Opus 급 가격이라 '오픈웨이트=저렴' 공식이 여기선 안 통한다고 반박합니다.

그래서 한국은? 지갑부터 흔들렸습니다

공개 당일 미국 반도체주가 출렁였어요. 서울경제에 따르면 —

• 나스닥 -1.40%, 엔비디아 -2.2%, 어플라이드머티리얼즈 -5.6%.
• 삼성전자·SK하이닉스는 'AI 투자 최대 수혜주'였던 만큼, 투자 효율 논란이 커지면 메모리 '고점론'이 다시 불붙을 수 있다는 우려가 나왔습니다.

반대편엔 최태원 SK 회장의 낙관론이 있습니다. "AI 분야만 봐도 메모리 수요가 내년에 올해보다 최소 60~100% 늘 것"이라는 거죠.

---

다섯 매체를 겹쳐 읽고 나면, 저는 '중국이 이겼다'보다 '벤치마크 헤드라인을 조심하라' 쪽이 진짜 교훈이라고 봅니다. K3가 코딩·에이전틱에서 프론티어급인 건 비판자인 Zvi 조차 인정할 만큼 사실이에요. 그런데 1위라는 숫자 옆에 환각률 51%, 증류 의혹, 안전 정보 공백이 나란히 붙어 있으면 그 1위는 '조건부'로 읽어야 합니다. Simon 과 Zvi 가 파고든 이면이, 벤치 상단의 굵은 숫자보다 실무에선 훨씬 값집니다.

한국 독자한테 이게 왜 중요하냐면 — 오픈웨이트라 국내 기업·개발자가 K3를 직접 받아서 쓸 수 있다는 점입니다. 특정 클라우드 종속이나 데이터 주권 걱정을 던 채로요. 다만 증류 의혹과 안전장치 미공개라는 리스크도 그대로 딸려 옵니다. 검증 없이 프로덕션에 바로 꽂는 건 환각률 51%짜리 뇌관을 안는 셈이고요. 반도체 쪽은 조금 다르게 봐야 합니다. 단기 주가는 출렁였지만, 오픈웨이트 모델이 널리 퍼질수록 추론(inference) 수요는 오히려 늘어나거든요. 그 관점에선 하루짜리 시장 공포보다 최태원 회장의 메모리 낙관 쪽이 결이 맞아 보입니다.

한 줄로 줄이면 이겁니다. 키미 K3는 진짜 세다. 그런데 '벤치 1위'라는 라벨만 보고 지갑이나 코드를 여는 건 위험하다.

여러분이라면 어떻게 하시겠어요? 지금 실무에 K3를 붙여보시겠어요, 아니면 환각률 51% 보고 일단 지켜보시겠어요? 👇