[재미있는 수학] 수학의 완전성을 증명하기 위한 학자들의 도전

(5) 힐베르트 프로젝트

유클리드는 기하학 원론에서 참이라고 인정하지만 증명할 수 없는 명제를 '공준'이라는 이름으로 따로 두었습니다. 괴델 또한 수학적 체계가 모순이 없다면 참이지만 증명할 수 없는 명제가 반드시 존재한다는 것을 '불완전성 정리'를 통해 증명했습니다.

Getty Images Bank

무엇인가를 정의한다는 것은 신기한 일입니다. 우리는 언어를 사용하고, 그 언어를 사용해 다른 것을 설명합니다. 그렇다면 특정한 단어를 설명하기 위해서는 어떻게 하고 있나요? 다른 단어들로 설명하고 있지 않나요? 한국어로 영어 단어를 설명하거나 그 반대의 경우는 비교적 자연스럽게 납득되는 과정입니다. 그러나 국어사전은 어떨까요? 한국어로 한국어 단어를 설명하고 있습니다. 만약 그 설명 중에 뜻을 모르거나 애매모호한 단어가 있다면 그 단어를 다시 찾아봐야 할 것입니다.

‘의자’ 같은 일상적인 단어조차 정의하기가 까다롭죠. 일반적으로 사람이 앉을 수 있는 가구라고 하지만, 가구의 정의에는 ‘실내에서 쓴다’는 설명이 있기에 “그럼 벤치는 의자가 아니냐?”라는 반례를 들 수 있죠. 혹은 앉을 수 있기만 하면 의자라고 한다면 산 중턱에 적당히 놓여있는 바위도 의자가 될 것입니다.

학자들에게 이러한 문제는 매력적인 주제였습니다. 철학자, 언어학자를 비롯한 많은 사람이 이러한 ‘정의 내림’에 대해 그들 나름의 해석과 이론을 정리하기 바빴습니다. 수학자들도 둘째가라면 서러울 지경입니다.

수학자들의 관심은 명확했습니다. 애매모호하고 논쟁이 생길 수 있는 여지가 있는 단어나 표현을 완전히 몰아내는 동시에 어느 것 하나 “원래 그런 거야”라거나 “이건 어쩔 수 없지”라는 식으로 넘어가지 않는 완벽한 시스템을 구축하는 것입니다. 즉 완벽한 무모순의 논리체계를 만드는 것이라고 볼 수 있겠습니다. 이러한 시도는 기원전 그리스의 수학자 유클리드(에우클레이데스)의 원론이 그 시작입니다.

개인적인 생각으로는 그의 저술 의도가 상기한 목적과 직접적으로 겹치지는 않았을 것입니다. 그보다는 원론의 내용과 구성으로 미루어 보아 정의되는 용어와 그 논리적 구성의 완벽함에 목적이 있었으리라 생각합니다. 그러니 그 과정에서 자연스럽게 모순 없는 체계를 만들어가게 되었겠지요. 꽤 긴 시간 동안 원론은 그 자체로 받아들여져왔으며, 완벽한 체계라고 인정되었습니다.

하지만 완벽하지는 않았습니다. 단어들의 정의와 별개로 증명하지 못하는 명제가 있었기 때문입니다. 유클리드는 그것을 ‘공준’이라는 이름으로 따로 두었습니다. 원론에서 다섯 개인 공준은 그것이 참이라고 인정하지만, 증명할 수 없는 명제입니다. 즉 유클리드 기하학의 참인 명제들은 23개의 정의와 5개의 공준에서 연역적 추론을 통해 끌어낸 것입니다. 공준에 대한 진위를 의심하게 되면 모든 내용이 의심스러운 상황이 되죠.

참인 모든 명제를 증명할 수 있어야 하는 동시에 그 속에 모순이 있어서는 안 되는 체계라니. 꿈 같은 이야기입니다. 이성을 바탕으로 학문을 하는 입장에서 ‘모를 수도 있다’는 것을 인정하지 않으려 한 힐베르트의 심정이 이해가 갑니다. 그래서인지 이러한 체계를 만들고자 혹은 발견하고자 하는 노력은 ‘힐베르트 프로젝트’라는 이름으로 불렸습니다.

단순히 낭만적인 이야기가 아닙니다. 이러한 체계가 있다면 모든 진실은 모르는 것이 아닌 아직 밝혀지지 않았을 뿐인 것이 되며, 다양한 응용으로 인해 인간 지식의 한계가 양적·질적으로 이전과 비교할 수 없을 정도로 팽창되리라고 생각할 수 있습니다.

힐베르트의 이러한 노력은 수학의 근본적 취약점을 보호하기 위한 것이기도 했습니다. 유클리드 기하학의 다섯 번째 공준을 정면으로 반박하는 비유클리드 기하학이나, 집합론의 한계를 지적한 논리학자 러셀의 역설과 같은 것들은 명백히 참이라고 생각한 사실들의 진위를 의심하고 위협했습니다.

힐베르트 프로젝트는 과연 성공했을까요?

만 25세의 괴델은 1931년에 발표한 불완전성 정리를 통해 그러한 체계는 없음을 증명했습니다. 보다 자세히 말하면, 자연수를 포함하는 수학적 체계가 모순이 없다면 참이지만 증명할 수 없는 명제가 반드시 존재한다는 것입니다. 비슷하지만 다른 표현으로는 “무모순 체계는 스스로 무모순임을 증명할 수 없다” 정도가 되겠네요.

이정현 푸른숲발도르프학교 교사

다소 허무하다고 느낄 수도, 상상치 못한 반전의 결과라고 느낄 수도 있겠습니다. 다만 힐베르트와 괴델을 포함한 모든 지식인이 상심에 빠지지 않고 계속해서 연구에 매진하고 있는 것을 보면 불완전성 정리가 수학이 의미 없다고 말한 것이 아니라고 생각할 수 있지 않을까요.