인공지능이 자각을 하게 된다면?

해당 글은 현재 매사추세츠 앰허스트(애머스트) 대학에서 재직 중이신 Sridhar Mahadevan 교수님의 '인공지능 연구자로서 제일 두려운 것은 무엇인가요?' (As an A.I. researcher, what is your biggest fear?) 쿼라(Quora) 질문에 대한 답변을 번역한 글입니다. 해당 글에는 필자가 한국인 독자에게 적절하다고 생각하는 의역이 있을 수도 있음을 알려드립니다.

해당 글은 쿼라 콘텐츠 이용약관 3조 c(i)항을 따릅니다. https://www.quora.com/about/tos

원글: qr.ae/pNKMWa

As an A.I. researcher, what is your biggest fear?

제 오랜 동료이자 인공지능 분야에 대해 제일 깊은 철학을 가진 사상가 중 한 명인 스튜어트 러셀은 최근에 이 질문에 책 출판을 통해 답변을 내놓았습니다.

Human Compatible: Artificial Intelligence and the Problem of Control

우리를 생각에 잠기게 만드는 이 책은 여러분이 직접 읽어볼 만한 가치가 있다고 생각합니다. 하지만 이 글에서도 제가 직접 그의 핵심 주장들을 간단하게 열거해 보도록 하겠습니다. 그는 서두에서 문학 비평가들을 모아놓고 그들 중 한 명만 사실 옳았다고 판명되는 상황을 상상해보라고 하는 가정 상황을 언급합니다. 상대와의 지적 논쟁을 위해서만 움직이던 비평가들은 그런 상황은 상상조차 해보지 못합니다.

비슷하게 저와 스튜어트 같이 40년 동안 기계에게 진정한 지능을 부여하는 어려운 문제 해결에 몰두하던 인공지능 연구자들은 "만약 우리가 성공한다면?"라는 더 중요한 질문에 대해 생각해본 적이 없습니다. 

잠시 멈추고 생각해봅시다. 마시던 커피를 내려놓읍시다. 헤드폰도 끄고. 그리고 다시 자신에게 질문해 봅시다. 만약 인공지능이 정말로 성공한다면 무슨 일이 벌어질까? 스튜어트가 이르길, 일단 그것은 물론 우리보다 똑똑하고 모든 면에서 월등한 종의 개발이란 과학과 기술 분야의 진보라는 면에서 커다란 사건일 겁니다.

비유적 표현을 위해 스튜어트는 인류가 외계종한테서 사실상 "우리 30년 이내에 도착한다"라는 내용이 담긴 이메일을 받는 상황을 상상해보라고 합니다. 무슨 반응이 일어날까요? 대혼란이란 단어로는 부족할 겁니다. 우리가 그 힘과 의도조차 파악할 수 없는 외계 종족에게 침략당한다는 우리가 두려워하던 최악의 상황 중 하나와 마주하게 된 것일 겁니다. 

이는 사실 우리 인공지능 연구자들이 직면하게 될 거라고 예상하는 상황과 비슷합니다. 가장 확실한 예로서 최근 Open AI의 창립자인 존경받는 심층학습 과학자인 Ilya Sutskever는 짧으면 5년 이내에 인공 일반 지능(AGI)이 구현될 것이라는 예견을 내놓았습니다.

물론, 모두가 그런 확신을 가지고 있지는 않습니다. 저도 심층 학습 자체로는 그런 단계까지 갈 것이라는 확신은 없습니다. 하지만 그건 제 생각입니다. 다른 사람들은 더 긴 시간이 지난 후 인공 일반 지능이 반드시 구현될 것이라고 믿고 있습니다.

여기서 중요한 점은 아무도 인공지능 개발이 실패할 것이라고 주장하고 있지 않고 있다는 점입니다. '만약'이라는 질문이 아니라 '언제'라는 질문이 주목받고 있다는 거죠. 어떻게 보면 이것은 무서울 수도 있습니다. 왜냐고요? 그건 바로 우리가 진정한 지능을 가진 기계들이 어떻게 행동할지 모르기 때문입니다. 그것들을 우리가 통제할 수 있을까요? 그것들이 우리를 위해 일해줄까요? 우리는 그들의 등장 후 쓸모가 없어질까요? 이 질문들은 20세기의 핵처럼 중요한 질문이어야만 합니다. 국가들은 핵 기술이 최대한 한정되도록 온갖 노력을 기울였죠. 대부분의 국가가 핵확산 방지조약에 서명했습니다.

인공지능에서는 그런 것이 전혀 일어나고 있지 않습니다. 아무도 이 질문을 이리저리 돌아다니며 던지고 있지 않습니다. 스튜어트가 고개를 내밀고 "야 잠깐! 우린 지금 인류에게 결국엔 해가 되는 것을 연구하고 있을지도 몰라!"라고 말한 첫 번째 인공지능 연구자일지도 모릅니다. 우린 이 분야에 대해 다시 고찰해야만 합니다. 우리는 어떻게든 인공지능이 우리를 위해 작동하도록, 그리고 악이 아닌 선을 위한 힘이 되도록 보증할 수 있을까요?

비유적으로 거대한 소셜 네트워크를 통제 불능의 열차라고 생각해 봅시다. 소셜 네트워크는 확실하게 조작이 가능하며 많은 국가들에서 인종 청소, 선거 조작, 죄 없는 여자를 마녀로 몰아가 린칭의 대상으로 만들기, 연쇄 대량 살인 선동 등의 도구로 변형되어 사용되었습니다. 이 모든 것은 설계의 일부가 아닙니다. 이 매체들의 창조자들은 이런 남용을 두둔하고자 한 의도가 없었습니다. 그들이 분명히 명예로운 의도를 가지고 있었음에도 다른 사람들에 의한 이 매체들의 남용은 발생했죠.

스튜어트와 저와 같은 인공지능 연구자들을 이와 같이 우리의 연구가 안좋은 목적을 위해 사용되는 일이 없길 바라고 있습니다. 그러나 우리가 그것을 보증할 수 있을까요? 못합니다. 스튜어트의 책은 인공지능 커뮤니티가 빨리 방향을 틀도록 요구하는 기다란 주장이며, 인공지능이 설계에 의해 인간과 "상호작용이 가능"하도록 보증하는 가이드라인을 제시합니다.

이마저도 너무 늦은 것일까요? 누군가가 우리의 말을 들어줄까요? 스튜어트는 지나친 걱정을 하고 있다고 비판하는 사람들을 향해 비유를 통한 질문을 던집니다. 우리 같은 인공지능 연구자들이 인류를 태운 버스를 몰고 절벽을 향해 나아가고 있다고 합시다. 만약 우리가 버스가 절벽에 도착하기 전에 기름이 떨어질 것이라고 여러분을 진정시킨다면 여러분은 우리를 믿겠습니까?

이게 저의 제일 큰 두려움입니다. 우리가 성공할 지도 모른다는 거죠. 통제 불능의 물건을 만드는 데 성공할지도 모른다는 겁니다. 2차 세계대전 중 아인슈타인은 루스벨트 대통령에게 원자 폭탄 개발 속도에 박차를 가하길 부탁하는 편지를 보냈죠. 그와 다른 여럿의 물리학자들은 히틀러가 그러한 무기를 지닌다는 가능성의 어마어마한 위협을 이해하고 있었습니다. 결국 천재적인 물리학자들에 의해 주도된 맨해튼 프로젝트는 이 무기들을 개발하는 데 성공하고야 말았죠. 아인슈타인은 자신의 손을 차라리 태워야 했다면서 이 모든 과정에 본인의 막중한 책임이 있다는 사실에 깊은 후회를 했습니다.

스튜어트의 책은 인공지능과 같이 강력한 기술의 개발은 항상 축복이자 불행일 수도 있다는 사실을 다시 상기시켜 주기 적당한 시기에 등장했습니다. 특히 이 기술의 개발은 우리를 지배할 힘이 있을 수도 있을 외계 종족을 창조하는 것이나 다름없다고 생각합니다.

웹 서치 엔진들은 인간이 인생을 백만번 반복해서 읽을 수 있는 정보보다 훨씬 많은 데이터를 소화해낼 수 있습니다. 이것들이 자각을 하고 이 데이터를 이해할 수 있다고 생각해 보세요. 무슨 일이 일어날까요? 그들은 우리에게 자비로울까요? 지구 생물 역사는 그렇지 않을 것이라고 말합니다. 우리를 포함한 종들은 항상 경쟁 상대를 완전히 말살하여 우위를 점했습니다. 우월한 지능을 지닌 인공지능이라고 다르게 행동할 거라는 이유가 있을까요?

생각해 볼 게 참 많습니다.

[Copyright ⓒ 블로그채널 무단전재 및 재배포 금지]