기계학습의 과학성에 대한 고찰

해당 글은 현재 매사추세츠 앰허스트(애머스트) 대학에서 재직 중이신 Sridhar Mahadevan 교수님의 '기계학습은 그저 뜬소문에 흥행하는 알맹이 없는 분야인가요 아니면 제대로 된 과학인가요?' (Is machine learning all hype or solid science?) 쿼라(Quora) 질문에 대한 답변을 번역한 글입니다. 해당 글에는 필자가 한국인 독자에게 적절하다고 생각하는 의역이 있을 수도 있음을 알려드립니다.

해당 글은 쿼라 컨텐츠 이용약관 3조 c(i)항을 따릅니다. https://www.quora.com/about/tos

원글: qr.ae/pNKygb

Is machine learning all hype or solid science?

좋은 질문입니다. 항상 그래 왔듯이, 그런 질문들에 대한 답은 여러분의 입장에 따라서 다를 겁니다. 그런 질문들에 대한 옳거나 그른 답은 없으며, 해당 질문에 상반된 입장을 취하는 양측 모두 좋은 주장을 가지고 있습니다.

예를 들자면, 2017 저명한 NIPS 학회에서 Ali Rahimi가 던진 주장이 살짝 논란을 야기했죠^[각주:1]:

 "기계학습은 연금술이 되었다"

해당 프레젠테이션: youtu.be/ORHFOnaEzPc

해당 기계학습에 대한 비판은 새로운 것이 아닙니다. 몇십 년 전에도 AI와 현대 컴퓨터 공학 분야의 창시자 중 한 명이고 스탠퍼드 대학교의 AI 랩을 창설한 존 매카시조차도 AI 분야의 많은 결과물들에서 "엄마 나 좀 봐요!" (Look Ma, No Hands!)^[각주:2] 느낌이 났다고 말했습니다. 존 매카시가 말하고자 했던 바는 아직도 AI와 기계학습 전반에서 너무나 많은 "와, 내가 페타바이트의 데이터, 5,000개의 GPU, 그리고 100억 단계의 계산을 가지고 뭘 이루는지 봐라!" 뉘앙스를 풍기는 결과물이 넘치고 있었다는 사실입니다. 그런 쇼맨십은, 주류 언론에서 칭송받을지라도 결국에는 엄격한 방법론을 기반으로 하는 과학이나 공학 분야의 진보로 이어지지는 않습니다.

맛보기로 기계학습 및 데이터 "과학"과 제가 개인적으로 오리지널 데이터 과학이라고 생각하는 전통적 통계학과의 차이점을 다뤄볼까요? 현대 기계학습 대부분은 통계학의 기반에서 유래했고, 통계학자들은 오랫동안 무엇이 기계학습의 범주에 들어가는지 의심해왔습니다. 저는 30년 이상 통계학자와 결혼 생활을 이어왔고, 매번 제가 그녀에게 기계학습 논문을 보여줄 때마다 반응은 보통 "에휴"와 (시니컬한) "어머나"입니다. 제 아내의 반응이 시사하는 바는 현대 기계학습 대부분이 전혀 데이터 "과학"이 아니라는 것입니다. 오히려  (뭔가 걸릴 때까지 계속하는) 낚시질하러 가는 것에 가깝다고 해야 할 겁니다. 제가 생각하기엔 기계학습 중심적인 데이터 "과학"을 가리키기에 적합한 단어는 고속 푸리에 변환 알고리즘을 발명한 프린스턴 대학교의 수학자 존 튜키가 언급한 "탐색적 데이터 과학" (exploratory data science)이라고 생각합니다.

예를 들어보겠습니다. 몇백 개의 예시로 사용할만한 논문들 중에서 랜덤으로 Arxiv에서 논문 하나를 골라와 봤습니다.

인터넷 단위로 이해하는 접촉하고 있는 사람 손: https://arxiv.org/pdf/2006.06669v1.pdf

해당 논문이 무엇을 주장하고 있는지 볼까요?

"손은 인간이 세상에 영향을 주는 주 수단이며, 여러 손 상태(state) 정보를 인터넷 영상에서 신뢰성 있게 추출할 수 있음은 곧 페타바이트의 영상 데이터에서 배울 수 있는 시스템을 구축할 수 있는 가능성을 말한다. 해당 논문은 손의 위치, 앞 뒤, 접촉 상태, 손과 접촉하고 있는 물체 주위에 그린 박스 등을 포함한 정보를 통해 물체와 상호 작용하고 있는 손들이 행하는 다양한 행위를 추측하는 방법론을 제시하여 그 목적지에 도달할 수 있는 몇 단계를 보여주고자 한다. 이를 위해서 우리는 131일 치의 영상 및 10만 개 가량의 레이블 달린 비디오 프레임이 포함된 거대한 데이터 집합을 축적했다. 이 데이터 집합으로 훈련된 모델은 비디오에서 이루어지는 손 접촉 행위를 이해하는 것에 대한 기반이 될 수도 있을 것이다."

해당 논문의 기본적인 아이디어는 "물체와 상호 작용하고 있는 손들이 행하는 다양한 행위를 추측"하기 위해 거대한 양의 데이터, 그러니까 "페타바이트의 영상 데이터"를 축적하는 것입니다. 이게 바로 고전적인 튜키 스타일 "탐색적 데이터 과학"입니다. 제 아내는 이것이 고전적인 통계학적 방법론을 배운 통계학자들의 방식이 아니기 때문에 이것을 "낚시질하러 가는 행위"라고 표현할 겁니다. 고전적인 방법론을 배운 통계학자들은 보통 그들이 시험해보고자 하는 어떤 가설을 세우고 작업을 시작합니다. 제 아내는 실험계획법 전문가입니다. 데이터를 모으기 전에 어떤 가설을 세우고자 하는지 생각하고, 그 가설을 최대한 효율적으로 시험해보기 위한 적절한 데이터 축적 메커니즘을 만들어야 하죠. (그리고 보통 통계학자들은 그 실험 계획을 통계적 검증력 분석(statistical power analysis)을 통해 미리 분석하고 평가해 봅니다.) 제 사전에서 진짜 데이터 "과학자"에 해당되는 통계학자들은 수많은 실험 설계가 인간을 살리거나 수명을 연장시킬 수 있는 새로운 약품 발명과 같은 삶과 죽음을 결정짓는 상황들과 맞닿아 발전했기에 이런 방식의 통계 방법론으로 훈련받아 왔습니다. 오늘날에도 전 세계에서 이런 방법론에 기반한 몇 백개의 새로 등장한 코로나 바이러스에 대한 실험이 진행되고 있고, 이들은 누군가에게 진지하게 고려되기 전에 통계학적으로 검증을 받아야만 합니다.

현대 데이터 "과학"인 기계학습은 이와 완전히 다른 방식입니다. 대부분은 튜키식 탐색적 데이터 과학 방식의 낚시 모험이죠. 기계학습은 인터넷이 엑사바이트 가량의 텍스트, 이미지, 사운드 등을 포함한 넓은 데이터 저장고라는 사실을 이용합니다. "고대 항해사처럼 이 데이터를 분석하고 탐험하는 게 어떠한가?"가 기계학습의 분야의 철학입니다. 콜럼버스가 아메리카를 "발견"했을 때, 그는 사실 그 당시 스파이스, 보석 등을 포함한 물자들의 거대 교환 장소였던 인도로 도달할 새로운 길을 찾는 목적을 가지고 출항하였기에 잘못된 방향으로 향하고 있었던 것이었습니다. 이와 같이 탐험은 항상 새로운 발견의 가능성과 동시에 잘못된 방향으로 향하고 있을 수도 있다는 위험성을 동반합니다. 게다가 발견한 것들 대부분이 사실 여러분이 찾는 것들이 아닐 수도 있습니다. 이와 같은 맥락에서 고전적인 통계학자에게 기계학습은 의심할 여지도 없이 연금술입니다.

불난 집에 부채질하는 것 마냥 기계학습에서 논쟁의 여지가 있는 방식을 추구한다는 점도 기계학습 관련 논란을 가중시킵니다. 예를 들어 이론적으로 검증이 안된 심층학습이나 GAN이 있지요. 대부분의 현대 심층학습, 그러니까 GAN이나 심층 강화 학습 같은 것들은 이론적인 검증이 없습니다. 그저 존 매카시가 비판한 "엄마, 나 좀 봐요!" 스타일의 쇼에 불과합니다. 이것이 저에게 시사하는 바는 대부분의 기계학습 연구자들은 과학자가 아니라 오히려 장인, 그러니까 대단한 걸작을 만들지만 엄격한 과학적 검증의 벽을 넘지는 못하는 결과물들을 만드는 사람들에 더 가깝다는 것입니다. 인공지능을 연구하는 저조차도 사실 원래 전기전자 공학 기술자가 되고자 했습니다. 제 코스웍은 물리, 수학, 그리고 섀넌의 정보이론 같은 신나는 주제를 포함한 단단한 기반이 있었죠. 저는 학부 전공을 컴퓨터 공학 대신 전기 전자 공학을 택했는데 이는 당시에 (컴퓨터 "사이언스"라는 이름에 불구하고도) 컴퓨터 공학이 저에게 전혀 과학적이지 않은 분야로 다가왔기 때문이었습니다. 당시에 컴퓨터 공학 기초 강의는 FORTRAN 프로그래밍 따위(...)였습니다. 이와 비교하면 전지전자공학과는 훨씬 발전된 분야였죠.

그러나 기계학습 연구자들에게 공정해지기 위해서 우리는 많은 과학 분야들이 초기 단계에 확실한 목적지에 대한 정보가 없는 탐험의 성격이 강했다는 것을 명심해야 합니다. 아인슈타인이 이르길 (해당 문구는 현대 강화 학습의 요람인 매사추세츠 암허스트 대학의 자가 학습(autonomous learning) 랩 문에 붙어있기도 했었습니다):

"우리가 뭘 하는지 정확히 안다면, 그걸 연구라고 부르지 않겠지?"

많은 현대 인공지능과 기계학습 연구는 미지의 세계를 향한 탐험이며, 항상 분야의 최전선에선 엄격한 이론적 기반이 결여되어 있습니다. 물론 제가 인공지능과 기계학습 분야에서 40년 동안 일할 동안 많은 것들이 변했습니다. 특히 기계학습에서 제일 아름다운 이론 중 하나인 VC 차원 (Vapnik-Chervonenkis Dimension) 이론을 세운 것으로 알려진 두 러시아인 바프니크와 체르보넨키스의 연구에 대부분 기반한 엄격한 통계적 학습 이론이 등장했습니다.

이 책은 기계학습 분야에서 읽기 제일 어려운 책 중 하나입니다. 그리고, 단연코 말하는데, 이 책에는 심층학습의 '심' 자 하나도 언급되지 않을 겁니다. 이 책을 열어본다면, 여러분이 첫 번째로 보게 되는 것은 저자 바프니크의 말 "절대 당신이 정말 풀어야 하는 문제보다 어려운 문제는 풀지 말라!" 일 겁니다. 바프니크는 사실 현대 기계학습 대부분이 만능 귀납적 추론 기계를 발명하고자 노력하는 것을 포함한 정말 풀어야 하는 것보다 어려운 문제들을 풀고자 한다고 말해줄 것입니다. 제가 볼 때 현대 심층 학습의 지지자들의 주장에는 "어떤 것이든 충분한 데이터와 컴퓨팅 파워만 있다면 심층 학습 알고리즘이 배울 수 있으며 이게 바로 인공지능 문제를 해결하는 방식이다"라는 뉘앙스가 강하게 풍깁니다. 이는 모든 물질을 금으로 바꿔 줄 수 있는 궁극의 물질 엘릭서를 찾고자 했던 연금술사의 주장과 크게 다를 것이 없다고 봅니다.

이제 이 이야기를 저명한 과학자들 전반에 걸쳐 발생하는 거대한 과학적 돌파구를 발견했음에도 동시에 개인적인 미신과 신비를 향한 고집을 포기하지 못하는 현상이라는 이상한 모순에 대한 이야기로 마무리짓고자 합니다. 이 이야기의 중심에는 다름 아닌 아이작 뉴턴 경이 있겠죠. 농부의 자식으로 비교적 소박한 배경을 가지고 태어나 위대한 지식인으로 사망한, 그리고 장례 행렬엔 당시 영국 사회의 최고위층의 귀족들이 섰었던 사람이었죠.

뉴턴의 이야기는 슬픈 기억을 환기시킵니다. 뉴턴의 창의적 능력이 최고점을 찍었을 때, 1600년도의 런던에서는 오늘 우리가 마주하고 있는 것처럼, 몇 천명의 런던 시민들을 죽인 전염병이 대유행하고 있었죠. 당시 뉴턴은 350년 이후에 같은 이유로 임시 폐쇄될 캐임브리지 대학의 학부생이었습니다. 뉴턴은 울즈소프의 농가로 돌아가 농장일을 돕길 원하는 어머니의 불쾌감에도 자식 키워봤자 소용없어 불구하고 고독 속에서 작업에 착수했습니다. 17세기 그가 "집 생활"중에 발견한 것 중 대표적인 것들은 미적분학, 만유인력의 법칙, 그리고 현대 광학의 기반이 되는 빛이 사실 여러 색과 주파수의 빛으로 이루어져 있다는 사실이었습니다. 그가 기적의 해라고 불리는 1665년과 1666년 사이의 기간에 이뤄낸 업적은 인류 학부생 역사상 가장 위대한 발견일 겁니다.

이런 위대한 업적과 뛰어난 과학적인 통찰력을 가졌음에도 그는 연금술에 취해있었습니다. 게다가 사실 연금술이 그의 주 관심사였습니다.

뉴턴의 오컬트 연구 활동: https://en.wikipedia.org/wiki/Isaac_Newton's_occult_studies

따라서 시대상 가장 위대한 과학자임에도 동시에 연금술 같은 이상한 미신을 가질 수도 있습니다. 뉴턴은 본인은 다음과 같은 본인의 겸손함과 본인의 업적에 대한 개인적인 견해를 드러내는 말로 자신의 과학 분야 업적을 낮게 평가했죠.

"나는 내가 세상에 의해 어떻게 보이는지 알지 못한다. 하지만 나에겐 나는 그저 내 앞에 펼쳐진 광대한 진리의 바다를 발견하지 못하고 해변가에서 놀다가 이따금씩 다른 것보다 매끄러운 자갈이나 보통 것보다 아름다운 조개를 찾는 아이였을 뿐이었다." 

현대 물리학을 발명하고 미적분학을 창시한 사람에게서 이 얼마나 눈에 띄는 겸손한 발언입니까? 오늘같이, 특히나 거대 기술기업들의 숨 막히는 기술 진척과 이를 항상 따르는 '어떻게 이 신기술이 인공지능 분야를 바꾸고 우리를 기술적 특이점에 한 걸음 더 가까이 데려가 줄 것인가' 같은 주제를 다루는 뉴스 기사 발간이 가득한 오늘날에 이 발언은 다시 상기해볼 만한 가치가 있다고 생각합니다. 뉴턴은 오히려 고독과 연금술 실험을 추구했고, 눈에 띌 정도로 본인의 과학 분야 업적에 대해 겸손하길 선택했습니다.

또 하나 주목할 만한 점은 17세기의 왕립학회, 그러니까 뉴턴의 시간대에 설립된 당시 가장 명예로운 과학 사회는 사실 대부분 미신과 신비에 심취한 영국 귀족 사회의 최고 지위 귀족들로 이루어져 있었다는 사실입니다. 대부분은 매우 종교적인 믿음이 강했고, 당시의 전염병 대유행이 인간들의 죄에 분노한 신들의 분노의 표현이라고 믿고 있었다고 합니다. 그들은 전부 위대한 과학자이었음에도 동시에 연금술사이고 깊은 종교적인 믿음을 가졌었죠.

이 당시의 과학과 연금술 섞인 이상한 17세기 사회에 대한 마음을 사로잡는 묘사를 읽어보고자 하는 분들에게는 「뉴턴의 시계」를 읽으시길 추천드립니다. 해당 책에서 저자 에드워드 돌닉은 17세기 잉글랜드의 생활이 어땠는지, 그리고 어떻게 뉴턴과 왕립학회 회원들이 신비주의와 과학 사이에 걸친 삶을 살았는지 빼어난 글 솜씨를 통해 자세하게 묘사합니다.

왕립학회의 주간 데모는 현대 인공지능 학회의 데모들과 유사했습니다. 대부분 "이것 봐 엄마!" 성격의 데모였습니다. 본인의 부로 "딥 마인드"같은 타입의 화학 실험실에 자금을 대던 엄청난 부유층 귀족이었던 로버트 보일과 그의 엣지한 화려함으로 관심을 끌었던 조수 로버트 훅 같은 유명한 과학자들은 영국 과학자들과 왕족들이 한대 모인 청중들의 관심을 본인들의 데모로 사로잡곤 했죠. 데모가 선정적일수록 관심은 더욱 뜨거워졌습니다. 심지어 한 데모에서 훅은 유리병에 손을 집어넣고, 진공상태로 만든 뒤, 손에서 핏줄이 붓고, 부풀어 오르고, 보라색으로 변하는 것을 보여주기도 했죠. 뱀, 새, 육해공 온갖 동물들이 결과도 고려되지 않은 채 실험들에 동원되었습니다. 그들은 전염병을 치유하기 위해서, 감염된 환자에게 양의 신선한 피를 주입하는 치료법을 보여주기도 했죠.

이 모든 미친 짓의 도가니 속에서 물화생지수를 포함한 현대 과학의 기반이 세워졌습니다.

그러니까, 여러분이 현대 인공지능 및 기계학습 연금술사들에 의해 낙담했다면, 그러시지 않으셔도 된다고 말하고 싶습니다. 그들이 곧 엄격한 과학 및 공학과 신비주의 및 연금술 사이에 걸쳐져 있는 21세기의 중 16세기 왕립학회 회원들이니까요. 16세기에 통했던 접근 방식이 21세기에 와서 안 통한다는 법은 없습니다. 그리고 그건 "인공적인 것들에 대한 과학"^[각주:3]으로 이어질 것이라고 생각합니다.

그럼 몸조심하시고 늘 건강하세요!

[Copyright ⓒ 블로그채널 무단전재 및 재배포 금지]

1. 당시 얀 르쿤(Yann LeCun)도 해당 발언을 듣고 오히려 그런 입장들이 1980년대에 학자들이 인공신경망의 능력을 과소평가하게 된 원인이라고 반발하기도 함. [본문으로]
2. 다르게 말하면 어린애 장난 수준의 결과물들 같았다고 평하는 것이기도 하다. "Look Ma, No Hands!"는 보통 두 손으로 행하는 작업을 손 없이 행하는 것을 자랑하는 말이다. 그러니까 어릴 때 자전거 핸들에서 두 손 떼고 탄다고 엄마한테 자랑하는 상황도 포함된다. [본문으로]
3. 해당 문구는 유일한 노벨상을 받은 AI 연구자이기도 한 허버트 사이먼이 지었습니다. [본문으로]