Gemini Deep Think, 에르되시 미해결 난제 4개 자율 해결 — AI 수학의 현주소

[속보] 구글 딥마인드가 방금 확인한 사실 하나. AI가 이제 사람이 만든 시험 문제를 푸는 단계를 넘어, 아직 아무도 답을 모르는 진짜 연구 난제에 손을 대기 시작했다. 그것도 수학자·물리학자·컴퓨터과학자들과 나란히 앉아서.

지난주 딥마인드는 Gemini Deep Think를 활용한 논문 2편을 공개했다. 핵심은 하나다. 수학의 미해결 난제 4개가 AI에 의해 자율적으로 풀렸다는 것. 하지만 딥마인드는 "돌파구"라는 말을 극도로 아꼈다. 왜일까.

올림피아드를 넘어 '연구 수준'으로

Gemini Deep Think는 '에이전트형 추론' 모델이다. 2025년 7월 국제수학올림피아드(IMO)에서 금메달 수준의 성적을 냈고, 이후 대학생 프로그래밍 대회(ICPC) 수준까지 도달했다.

여기까지는 '정답이 존재하는 문제'였다. 채점 기준이 명확하고, 어딘가에 모범답안이 있다. 이번에 달라진 건 그 선을 넘었다는 점이다. 이제는 정답이 알려지지 않은 개방형(open-ended) 연구 문제로 무대를 옮겼다.

IMO가 '가장 어려운 시험'이라면, 연구 난제는 '아직 시험지에 실린 적 없는 문제'다.

'Aletheia' — 스스로 검증하고, 못 풀면 인정하는 에이전트

딥마인드는 연구용 수학 에이전트 'Aletheia'(내부 코드명)를 만들었다. 세 가지 장치가 핵심이다.

• 자연어 검증기(natural language verifier): 후보 풀이의 논리적 결함을 스스로 찾아내고, 생성–수정을 반복한다. 사람이 일일이 채점하지 않아도 오류를 걸러낸다.
• '못 풀었음'을 인정하는 기능: 억지로 답을 지어내지 않고 실패를 선언한다. 역설적으로 이 기능이 연구 효율을 크게 끌어올렸다.
• 검색·웹브라우징 연동: Google 검색으로 실재하는 문헌을 확인해, 허위 인용이나 계산 오류를 줄인다.

성능도 확인됐다. 수학 증명 벤치마크 IMO-ProofBench Advanced에서 추론 연산을 늘리자 최대 90%까지 올랐다. 올림피아드 수준을 넘어 박사급 문제(내부 FutureMath)까지 스케일링 법칙이 이어졌다.

단, 여기서부터 냉정해질 필요가 있다. 박사급 문제 정답률은 약 38~46%다. 올림피아드의 90%와 비교하면 절반 수준. '연구의 벽'은 여전히 높다는 뜻이다.

에르되시 미해결 4개, 그리고 협업 논문들

구체적인 성과를 보자.

• 완전 자율 논문(Feng26): arithmetic geometry의 'eigenweights' 구조상수를 사람 개입 없이 계산했다.
• 인간–AI 협업 논문(LeeSeo26): 상호작용 입자계의 독립집합 경계를 함께 증명했다.
• 에르되시 추측 DB 평가: 수학자 Bloom이 정리한 700개 미해결 문제를 반자율로 평가하던 중, 미해결 4개를 AI가 자율 해결했다. 그중 'Erdős-1051'은 자율 해결에 더해 일반화까지 해냈다(BKKKZ26).

에르되시(Erdős) 문제는 20세기 최고의 '문제 수집가'가 남긴 난제 모음이다. 그 목록에서 4개가 지워졌다는 것은 그 자체로 상징적이다.

물리·CS로 번진 '틀 밖 사고'

수학만이 아니다. 딥마인드는 전문가들과 18개 연구 문제를 협업했고, 정체돼 있던 난제들을 다수 돌파했다.

• Max-Cut·Steiner Tree 같은 이산 알고리즘 문제를, 전혀 무관해 보이는 연속수학 도구(Kirszbraun 정리·측도론·Stone–Weierstrass)로 풀었다. 말 그대로 '틀 밖 사고'다.
• 2015년 제기된 온라인 서브모듈러 최적화의 10년 묵은 추측을, 단 3개 항목짜리 반례를 설계해 '거짓'임을 엄밀히 증명했다.
• 머신러닝 정규화 자동조정 기법이 '왜 작동하는지'를, 숨어 있던 '적응형 페널티'의 존재를 증명하는 방식으로 규명했다.
• 경매 이론의 'Revelation Principle'을 유리수에서 실수 영역으로 확장했고, 우주끈(cosmic string) 중력복사 적분을 Gegenbauer 다항식을 이용한 닫힌형 해로 정리했다.

결과의 절반가량이 상위 학회를 목표로 했고, 일부는 이미 ICLR'26에 채택됐다.

협업 방식도 눈여겨볼 만하다. 인간이 '자문가(Advisor)' 역할을 하며 반복적인 'Vibe-Proving' 사이클로 직관을 검증하고 증명을 다듬는다. 증명과 반증을 동시에 요구하는 '균형 프롬프팅'으로 확증편향을 막고, 코드로 검증을 보조한다.

무엇이 아직 아닌가 — 딥마인드의 신중함

여기서 딥마인드의 태도가 중요하다. 이들은 AI 기여를 정직하게 분류하는 책임 있는 분류법(taxonomy)을 제안했다.

• Level 2(발표 가능 수준): 저명 저널에 투고할 만한 기여. 여기까진 달성했다고 본다.
• Level 3(중대한 진전)·Level 4(획기적 돌파): 현재는 주장하지 않는다.

즉, "AI가 수학의 대발견을 했다"는 식의 선언은 이번 발표 어디에도 없다. 아직은 전문가의 지도가 필요하고, AI는 지식 검색과 엄밀한 검증을 맡는 '증폭기(force multiplier)'에 가깝다. 개념적 깊이와 창의적 방향은 여전히 인간의 몫이다.

한국의 연구·교육 현장에서 이 소식을 읽는 방식은 조금 달라야 한다고 본다. 국내에서 AI는 여전히 '문제 풀이 자동화 도구'로만 소비되는 경향이 있지만, 이번 사례의 진짜 핵심은 AI가 검증 노동을 대신 떠맡아 연구자의 시간을 개념적 사고로 되돌려준다는 데 있다. 실무에 적용한다면 당장 논문을 대신 써 주는 도구를 기대할 게 아니라, '반례 설계기'나 '증명 결함 탐지기'처럼 검증 파이프라인의 한 축으로 붙이는 접근이 훨씬 현실적이다. 동시에 짚어야 할 한계도 분명하다. 박사급 정답률이 절반에 못 미친다는 건, 사람이 방향을 잡아 주지 않으면 AI가 엉뚱한 곳을 깊게 파고든다는 뜻이다. 게다가 이 성과들은 세계 최고 수준의 전문가가 '자문가'로 붙었기에 가능했다 — 검증할 역량이 없는 사용자에게는 그럴듯한 오류(hallucination)를 걸러낼 방법이 없다는 위험이 그대로 남는다. 국내 대학·기업이 이 흐름을 따라가려면 'AI를 얼마나 잘 쓰는가'보다 'AI가 내놓은 결과를 얼마나 엄밀하게 검증할 수 있는가'가 진짜 경쟁력이 될 것이다.

마무리

정리하면 이렇다. AI는 이제 사람이 낸 시험을 푸는 단계를 넘어, 아무도 답을 모르는 문제에 실제로 기여하기 시작했다. 하지만 딥마인드 스스로 '중대한 돌파'라는 표현을 아꼈다는 점이야말로 이 뉴스의 진짜 무게중심이다. 과장 없이, 그러나 분명히, 연구의 지형이 조용히 바뀌고 있다.

여러분은 어떻게 보시나요? AI가 '연구 동반자'로 올라서는 이 변화, 우리는 준비돼 있을까요?

---

📎 출처: 원문 보기