고통스럽지만 매혹적인, 난해하지만 흥미로운 수학난제로의 초대!

수학난제는 천재 수학자의 질문이다. 앞서 언급한 ‘푸앵카레 추측’은 약 100년 전 천재 수학자라고 불리는 푸앵카레가 3차원 공간에 대한 연구 끝에 내놓은 이론이다. 하지만 이를 증명하지 못해 ‘추측’이라고 불려왔는데, 2003년 러시아의 수학자 그리고리 페렐만이 마침내 이를 증명해내었다. ‘은둔의 수학자’라고도 불리는 그는 클레이 수학 연구소의 상금 100만 달러는 물론이고 수학계의 노벨상 격인 필즈상 수상도 거부했고, 학자로서의 최고 영예인 러시아 과학아카데미 정회원 자격도 거부한 독특한 괴짜이다.

괴짜 같은 질문도 있다. 이름만큼은 많은 사람들에게 친숙한 ‘페르마의 마지막 정리’는 수학자 페르마가 디오판토스의 [산학]에 남긴 메모에서 시작한다.

"1개의 세제곱수를 2개의 세제곱수로 나누는 것이나 1개의 네제곱수를 2개의 네제곱수로 나누는 것 혹은 일반적으로 지수가 2를 초과하는 임의의 거듭제곱수를 같은 지수의 2개의 거듭제곱수로 나누는 것은 불가능하다. 이에 대한 참으로 기가 막힌 증명을 발견했지만 여백이 좁아 담을 수가 없다."

수식으로 나타내면 로 아주 간단하다. 이 간단한 수식과 천재 수학자 페르마의 메모 ‘증명을 발견했지만 여백이 좁아 담을 수가 없다.’는 내용이 수학자들의 자존심을 건드렸다. 그뿐만이 아니었다. 간단한 정리를 증명하지 못한다는 것은 기존의 수학 이론에 무언가 필수적인 것이 빠져 있다는 것을 의미했기 때문에 수학계가 술렁였다. 수많은 수학자들이 증명에 나섰고 마침내 1997년 앤드루 와일스라는 영국 수학자가 증명했다. 그는 열 살 때 이 정리를 처음 접한 후 해결해내고야 말겠다는 결심을 했고 ‘7년간의 비밀 연구’ 끝에 마흔두 살이 되어서야 증명해냈다. 결국 해답을 찾는 데 무려 350년이나 걸린 것이다.

자신이 알고 있는 것을 불태워버린 괴짜 천재 수학자도 있다. 소수의 규칙성에 대한 ‘리만 가설’은 현재 널리 쓰이는 암호 알고리즘과 관련이 있다. 일각에서는 만약 리만 가설이 증명된다면 인터넷 암호 체계가 무력화되어 전 세계의 전자상거래가 마비될 것이라는 점에서 우려하고 있기도 하다. 리만은 자신의 가설이 정확하다는 건 증명할 수 있었지만 그것과 관련된 필수 명제(제타함수)를 증명할 수 없었다. 고독벽까지 가지고 있었던 그는 가설의 증거를 공개하지 않고 불태워버렸다. 그 후 150년 동안 내로라하는 수학자들이 리만 가설을 증명하거나 반증하려는 시도를 해왔지만 아직까지 수학의 성배로 남아있다.

우리 미래를 바꾸어놓을, 위대한 수학문제들

수학의 정상은 눈앞에 다가온 듯하면서도 정복하기 쉽지 않다. 누군가는 새로운 가설을 내놓고, 또 다른 누군가는 그 가설을 증명해낸다. 이 가운데 수학이 발전하고, 우리 생활도 조금씩 바뀌어 간다.

이언 스튜어트는 14가지 주요 수학난제뿐만 아니라 우리의 미래를 바꾸어놓을 12가지 문제도 소개한다. 브로카 문제, 홀수 완전수, 콜라츠 추측, 오일러 상수의 무리성, ABC 추측, 랭턴의 개미, 외로운 경주자 추측 등이 있다. 이 중에서 ‘랭턴의 개미’는 특히 흥미롭다. 미국의 크리스토퍼 랭턴은 1986년 가상의 ‘랭턴의 개미’를 만들어 시뮬레이션 해보았더니 개미가 일정한 패턴을 보였다. 하지만 개미의 행동을 통제하는 것이 무엇인지는 아직 미해결 문제로 남아있다. 랭턴의 개미 행동에 대한 비밀을 풀게 되면 집단 인간 행동의 패턴, 예를 들면 10만 명의 사람이 경기장에서 어떻게 움직일지를 예측할 수 있을 것이다.

‘외로운 경주자 추측’이라는 재미있는 이름의 문제도 있다. n명의 경주자가 원형 트랙을 서로 다른 속도로 돈다면, 모든 경주자가 어떤 시점에서 외로워질까? 4, 5, 6, 7명인 경우에는 답을 찾았고 증명이 되었지만 8명 이상일 때에 대해서는 아직 풀지 못했다. 답을 찾게 된다면 도시 교통의 흐름을 더 잘 이해하고 관리할 수 있을 것이다.

예) 제한된 공간에 공을 가장 조밀하게 쌓는 방법이 무엇일까?

수학난제는 세상에 공개될 때마다 수학자들의 마음을 심란하게 했을 수는 있지만, 궁극적으로 수학 발전에 큰 보탬이 되었다.

예를 들면 ‘4색 정리’라는 난제를 보자. ‘최소한의 색깔을 사용해 구역이 구분되게끔 지도를 색칠하라.’고 할 때 4가지 색이면 어떠한 복잡한 지도도 색칠할 수 있다는 정리이다. 어떻게 이렇게 쉬운 문제가 세계적인 난제가 될 수 있냐고? 이 문제가 ‘난제’가 된 이유는 ‘증명’하기 어려웠기 때문이다. 이를 실생활에 응용해보자. 경기를 할 때 일반적으로 상대편과 다른 색깔의 유니폼을 입는다. 만약 16개의 팀이 토너먼트 경기를 한다면 대진표 상에서 유니폼 색깔을 상대편과 겹치지 않도록 결정할 수 있다. 4가지 색깔의 유니폼만 있으면 충분하다는 것이다.

그렇다면 ‘케플러 추측’은 어떨까? 이는 ‘제한된 공간에 공을 가장 조밀하게 쌓는 방법이 무엇일까?’라는 것이다. 증명하는 데 400년이나 걸렸지만, 답은 의외로 쉽다. 여느 과일가게 주인이 과일을 쌓는 방법대로 차곡차곡 쌓으면 된다.

수학사를 뒤흔든 14가지 난제들!

* 2보다 큰 모든 짝수는 두 소수의 합이다. 골드바흐 추측
* 주어진 원과 똑같은 면적을 가진 정사각형을 작도할 수 있을까? 원적 문제
* a, b, c가 0이 아닌 정수이고, n이 2보다 큰 자연수일 때 an + bn = cn을 만족하는 자연수 a, b, c는 존재하지 않는다. 페르마의 마지막 정리
* 2, 3, 5, 7 같은 소수는 어떤 패턴을 가지고 있을까? 리만 가설
* 모든 폐곡선을 수축시켜 하나의 점이 된다면 그 공간의 모양은 구와 같다. 푸앵카레 추측
* 이 방정식의 3차원 해가 항상 존재하는지를 증명할 수 있는가? 나비에-스토크스 방정식
* 3개의 물체가 만유인력으로 서로 끌어당기며 운동할 때, 그 궤도는 구할 수 없다. 3체 문제
* 인접한 면을 각기 다른 색으로 칠할 때 어떤 지도라도 4색만으로 칠할 수 있을까? 4색 정리
......
* 케플러 추측
* 모델 추측
* P/NP 문제
* 질량 간극 가설
* 버치-스위너튼-다이어 추측
* 호지 추측