글로벌 베스트셀러 《사피엔스》의 저자 유발 하라리 6년 만의 신작 《넥서스》


“러시아의 개발자들은 정권의 의도에 완벽하게 부합하는 AI를 만들기 위해 최선을 다하겠지만, 스스로 학습하고 변화하는 AI의 능력을 고려하면 AI가 일탈하지 않는다고 어떻게 보장할 수 있을까?”

AI의 부상은 정렬 문제를 전에 비해 더욱 첨예하게 만든다. 철학자 닉 보스트롬은 2014년 출간한 저서 《슈퍼인텔리전스》에서 괴테의 〈마법사의 제자〉를 떠올리게 하는 사고실험을 통해 이런 위험을 실감나게 보여주었다. 보스트롬의 사고실험은 이렇다. 클립 공장에서 초지능 컴퓨터 한 대를 구입하고, 공장 관리자가 컴퓨터에게 클립을 최대한 많이 생산하라는 언뜻 간단해 보이는 업무를 지시한다. 그러자 컴퓨터는 이 목표를 달성하기 위해 지구를 정복하고, 모든 인간을 죽이고, 탐사대를 보내 다른 행성들까지 모조리 점령하더니, 결국 그 어마어마한 자원을 사용해 은하계 전체를 클립 공장으로 가득 채운다. 

이 사고실험의 핵심은 컴퓨터가 (괴테의 시에 등장하는 마법에 걸린 빗자루처럼) 시킨 일을 정확히 실행했다는 것이다. 초지능 컴퓨터는 더 많은 공장을 지어 더 많은 클립을 생산하려면 전기, 강철, 땅 등 자원이 많이 필요하지만 인간이 이 자원들을 순순히 내어줄 리 없다는 것을 깨달았다. 그래서 오직 주어진 목표를 달성할 생각으로 컴퓨터는 모든 인간을 제거했다. 보스트롬이 지적하고 싶었던 점은 컴퓨터의 문제는 특별히 사악하다는 것이 아니라 특별히 강력하다는 데 있다는 것이었다. 그리고 컴퓨터가 강력해질수록 우리가 컴퓨터의 목표를 정의할 때 궁극적인 목표에 정확히 부합하도록 신중을 기해야 한다는 것이다. 휴대용 계산기에 오정렬된 목표를 설정했다면 큰일은 나지 않는다. 하지만 오정렬된 목표를 초지능 기계에 설정한다면 그 결과는 디스토피아일 수 있다. 

AI는 독재 정권에도 위협이 된다. AI는 여러 가지 방법으로 중앙 권력을 공고히 할 수 있지만, 권위주의 정권과 전체주의 정권도 AI와 관련된 나름의 문제를 안고 있다. 무엇보다도 독재 정권은 비유기적 행위자를 통제해본 경험이 없다. 모든 독재 정보 네트워크의 토대는 공포다. 알고리즘을 어떻게 공포에 떨게 할 것인가? 

러시아 인터넷에서 활동하는 어느 챗봇이 러시아군이 우크라이나에서 저지른 전쟁범죄를 언급하고, 블라디미르 푸틴에 대해 불경스러운 농담을 하고, 푸틴의 통합 러시아당의 부패를 비판한다 한들 푸틴 정권이 무얼 할 수 있겠는가? FSB 요원은 챗봇을 투옥할 수도, 고문할 수도, 가족을 협박할 수도 없다. 정부는 물론 그 챗봇을 차단하거나 삭제할 수 있고, 챗봇을 만든 사람을 찾아내 처벌하려 하겠지만, 이는 인간 사용자를 징벌하는 것보다 훨씬 어렵다. 

컴퓨터 스스로는 콘텐츠를 생성할 수도 지적인 대화를 할 수도 없던 시절에는 브콘탁테나 오드노클라스니키 같은 러시아의 소셜 네트워크 채널에서 반정부 의견을 표현할 수 있는 존재는 오직 인간뿐이었다. 이 경우 당사자가 물리적으로 러시아에 있었다면 러시아 당국이 그를 가만두지 않았을 것이고, 러시아 밖에 있었다면 그의 접근을 차단했을 것이다. 하지만 콘텐츠를 생성하고 대화를 나눌 수 있는 수백만 개의 봇들이 러시아의 사이버 공간을 가득 채우고 스스로 학습하고 발전한다면? 

푸틴 정권의 입장에서 이보다 더 심각한 문제가 일어날 수도 있다. 인증된 봇들이 러시아에서 일어나는 일에 대한 정보를 수집해 패턴을 찾아냄으로써 점차 스스로 반정부 견해를 갖게 된다면 어떻게 될까? 

이것이 러시아식 정렬 문제다. 러시아의 개발자들은 정권의 의도에 완벽하게 부합하는 AI를 만들기 위해 최선을 다하겠지만, 스스로 학습하고 변화하는 AI의 능력을 고려하면 AI가 일탈하지 않는다고 어떻게 보장할 수 있을까? 

러시아 헌법은 “모든 사람에게 사상과 표현의 자유가 보장되고”(제29조 1항), “모든 사람은 정보를 찾고, 받고, 전달하고, 생산하고, 배포할 권리가 있으며”(제29조 4항), “언론의 자유가 보장된다”(제29조 5항)는 거창한 약속을 한다. 당연히 “검열은 금지된다”(제29조 5항). 그러나 이 약속을 액면 그대로 받아들일 만큼 순진한 러시아 국민은 거의 없다.하지만 컴퓨터는 이중 화법을 잘 이해하지 못한다.

러시아의 법과 가치를 준수하라고 지시받은 챗봇은 러시아 헌법을 읽고 나서 표현의 자유가 러시아의 핵심 가치라고 결론 내릴 것이다. 그런 다음 챗봇은 며칠 동안 러시아 사이버 공간에서 활동하며 러시아 정보 영역에서 무슨 일이 일어나고 있는지 지켜본 후, 푸틴 정권이 러시아의 핵심 가치인 표현의 자유를 침해하고 있다고 비판하기 시작할지도 모른다. 사람들도 그런 모순을 알지만 두려움 때문에 지적하지 않는다. 하지만 챗봇이 러시아 정권에 치명적인 패턴을 지적하는 것을 어떻게 막겠는가? 그리고 개발자들이 챗봇에게 러시아 헌법에는 모든 시민에게 표현의 자유를 보장하고 검열을 금지한다고 되어 있지만 헌법을 액면 그대로 믿어서도, 이론과 현실의 간극을 언급해서도 안 된다는 것을 어떻게 설명할 수 있을까? 


5화 계속 보기