[재미있는 수학] 수학 체계도 '증명할 수 없는 참'이 있음을 보여줬죠

괴델의 불완전성 정리

괴델의 정리는 이후 수학뿐 아니라 철학, 컴퓨터 과학, 논리학에까지 커다란 영향을 주었습니다. 특히 컴퓨터 과학의 ‘정지 문제’(어떤 프로그램을 실행했을 때 결과를 내고 멈출지 아니면 영원히 계속 돌아갈지 미리 알 수 있는지의 문제)는 괴델의 발견과 놀랍도록 닮아 있습니다. 수학에서 ‘참이지만 증명할 수 없는 명제’가 존재하는 것처럼, 컴퓨터 과학에서도 ‘풀 수 없는 문제’가 존재한다는 것이 밝혀졌기 때문입니다. 괴델이 보여준 ‘완전한 체계의 불가능성’이 디지털 시대에도 그대로 적용되는 셈입니다.

Getty Images Bank

이전 칼럼에서는 수학의 증명이 얼마나 강력하고 아름다운 도구인지 살펴보았습니다. 증명을 통해 우리는 세지 않아도, 보지 않아도, 어떤 명제가 ‘항상 참’임을 논리적으로 밝힐 수 있다는 점이 수학만의 독특한 힘이었지요.

그렇다면 여기서 한 걸음 더 나아가 이런 질문을 던질 수 있습니다. “수학에서 참인 모든 명제는 언젠가 반드시 증명될 수 있을까요?” 20세기 초, 수학자 다비트 힐베르트(David Hilbert)는 수학의 기초를 완전히 세우고자 하는 야심 찬 계획을 세웠습니다. 그는 1900년 파리에서 열린 국제수학자대회에서 유명한 23가지 문제를 제시했고, 그 중심에는 ‘모든 수학적 진리를 인간의 이성으로 완전히 밝힐 수 있다’는 신념이 있었습니다.

힐베르트는 수학이 논리적으로 완전하고 일관되며, 기계적 방식으로 모든 참을 판별할 수 있다고 믿었습니다. “우리는 반드시 알게 될 것이다. 우리는 모를 수 없다!”라는 그의 말은 그 시대의 낙관적 분위기를 잘 보여줍니다.

그러나 1931년, 오스트리아의 수학자 쿠르트 괴델(Kurt Gödel, 1906~1978)은 수학계에 충격적 결론을 발표합니다. “어떤 체계가 충분히 강력하다면, 그 안에는 참이지만 증명할 수 없는 명제가 반드시 존재한다.” 이것이 바로 괴델의 제1 불완전성 정리입니다.

이를 이해하기 위해 간단한 예를 들어보겠습니다. “이 문장은 증명할 수 없다”라는 문장을 상상해보세요. 만약 이 문장이 참이라면, 정말로 증명할 수 없다는 뜻입니다. 반대로 이 문장이 거짓이라면, 즉 증명할 수 있다면 그 순간 모순이 발생합니다.

괴델은 이런 자기언급적 구조를 수학 안에서 정교하게 구성해 실제 수학 체계 안에도 이런 ‘증명할 수 없는 참’이 존재함을 엄밀하게 보여주었습니다. 괴델의 제2 불완전성 정리는 더욱 놀라운 결과를 보여줍니다. “어떤 수학 체계도 자기 자신의 무모순성을 그 안에서 증명할 수 없다”

괴델의 정리는 힐베르트가 꿈꿨던 ‘완전하고 결정 가능한 수학’에 근본적 제약이 있음을 보여주었습니다. 하지만 이는 단순히 수학의 실패를 의미하는 것이 아닙니다. 오히려 괴델은 수학이 얼마나 섬세하고 깊이 있는 학문인지를 보여주었습니다.

증명을 통해 밝혀낼 수 있는 진리는 여전히 무수히 많고, 우리가 수학을 통해 세계를 이해하는 데 가장 강력한 도구로 남아 있습니다. 괴델은 단지 그 도구의 ‘한계’를 밝혔을 뿐, 그 ‘가치’를 부정하지 않았습니다.

괴델의 정리는 이후 수학뿐 아니라 철학, 컴퓨터 과학, 논리학에까지 커다란 영향을 주었습니다. 특히 컴퓨터 과학의 ‘정지 문제’(어떤 프로그램을 실행했을 때 결과를 내고 멈출지 아니면 영원히 계속 돌아갈지 미리 알 수 있는지의 문제)는 괴델의 발견과 놀랍도록 닮아 있습니다. 수학에서 ‘참이지만 증명할 수 없는 명제’가 존재하는 것처럼, 컴퓨터 과학에서도 ‘풀 수 없는 문제’가 존재한다는 것이 밝혀졌기 때문입니다. 괴델이 보여준 ‘완전한 체계의 불가능성’이 디지털 시대에도 그대로 적용되는 셈입니다.

이런 깊이 있는 질문들이 정말 우리와 먼 이야기일까요? 사실 우리는 매일 수학 문제를 풀면서 괴델이 던졌던 질문들과 조용히 마주하고 있었는지도 모릅니다. 학생이 문제를 풀며 “이건 왜 항상 그렇지?”, “이게 진짜 증명 가능한 명제일까?”와 같은 의문을 가질 때, 그것은 바로 괴델이 던진 “우리가 아는 것과 증명할 수 있는 것의 경계는 어디인가?”라는 근본적 질문과 맞닿아 있습니다.

괴델의 정리는 수학의 끝을 말하는 것이 아니라, 수학을 더 깊이 바라보는 새로운 눈을 열어줍니다. 수학은 여전히 탐구할 가치가 있는 끝없는 세계이며, 그 안에서 증명은 우리가 진리를 향해 나아가는 가장 정직한 방법입니다.

그 길 위에서, 때로는 한계와 마주하면서도 계속 질문하고, 사유하고, 증명하려는 우리의 태도 자체가 수학을 살아 있는 학문으로 만들어주는 것이 아닐까요?

이정현 푸른숲발도르프학교 교사

결국 괴델이 우리에게 전하는 메시지는 이것이라고 생각합니다. “모든 것을 알 수는 없다”는 겸손함과 “그런데도 계속 탐구해야 한다”는 용기를 동시에 가져야 한다는 것. 이런 마음가짐으로 수학을 바라본다면, 어려운 문제 앞에서도 포기하지 않고 끝까지 생각해보는 힘을 기를 수 있지 않을까요? 앞으로 다가오는 2학기에도 이런 마음가짐으로 좋은 수학 공부 시간이 될 수 있기를 바랍니다.