글로벌 베스트셀러 《사피엔스》의 저자 유발 하라리 6년 만의 신작 《넥서스》
“전 세계 독재자들 중 몇몇만 AI를 신뢰해도, 인류 전체에 엄청난 파장이 미칠 수 있다.”
민주주의 국가도 챗봇이 불쾌한 말을 하거나 위험한 질문을 던지는 등의 비슷한 문제에 직면한다. 마이크로소프트나 페이스북 개발자들의 최선의 노력에도 불구하고 그들이 프로그래밍한 챗봇이 인종차별적인 욕설을 내뱉기 시작한다면 어떻게 될까? 민주주의의 장점은 이런 악당 알고리즘에 유연하게 대처할 수 있다는 것이다. 민주주의 국가는 표현의 자유를 중요하게 여기므로 감추는 것이 훨씬 적고, 반민주적인 발언에도 비교적 높은 수준의 관용을 보여왔다. 반정부 메시지를 퍼뜨리는 봇들은, 숨기는 것이 많고 비판은 전혀 허용하지 않는 전체주의 정권에 훨씬 위협적일 것이다.
장기적으로 전체주의 정권은 훨씬 더 큰 위험에 직면할 가능성이 높다. 알고리즘이 정권을 비판하는 대신 아예 장악할지도 모르기 때문이다. 만일 21세기의 독재자가 컴퓨터에 지나치게 많은 권한을 부여한다면 그는 컴퓨터의 꼭두각시가 될지도 모른다. 독재자가 가장 원하지 않는 것이 자신보다 힘 있는 존재, 어떻게 통제해야 할지 모르는 힘이 등장하는 것이다.
알고리즘에게 보스트롬의 클립 사고실험에서와 같은 능력이 생긴다면, 민주주의 국가보다 독재 정권이 알고리즘의 장악에 훨씬 더 취약할 것이다. 미국 같은 분권화된 민주주의 체제에서는 슈퍼마키아벨리주의자 AI조차 권력을 장악하기 어려울 것이다. 설령 미국 대통령을 조종하는 방법을 학습한다 해도, 의회, 대법원, 주지사, 언론, 주요 기업, 각종 시민 단체의 반대에 부딪힐 것이다. 예를 들어, 알고리즘이 상원의 필리버스터에 어떻게 대처하겠는가? 고도로 중앙 집중화된 시스템에서는 권력을 장악하는 것이 훨씬 쉽다. 모든 권력이 한 사람의 손에 집중되어 있으면, 그 독재자에게 접근하는 것을 통제하는 권한만 가지면 독재자뿐만 아니라 국가 전체를 통제할 수 있다. 딱 한 사람을 조종하는 방법만 알면 시스템을 해킹할 수 있다.
알고리즘이 정권을 장악하는 문제에 앞서 앞으로 몇 년 내에 전 세계 독재자들에게 닥칠 더 시급한 문제가 있다. 현재의 AI 시스템은 아직 정권을 장악할 힘이 없지만, 전체주의 체제에는 알고리즘을 지나치게 신뢰할 위험이 내재되어 있다. 민주주의는 모든 사람이 오류를 범할 수 있다고 가정하는 반면, 전체주의 체제는 집권당이나 최고 지도자가 항상 옳다고 가정한다. 그런 전제 위에 세워진 정권은 오류 없는 지능의 존재를 언제든 믿을 준비가 되어 있으며, 최고 권력자를 감시하고 규제할 수 있다는 이유로 강력한 자정 장치를 만들기를 꺼린다. 그런 정권은 지금까지는 인간의 정당과 인간 지도자를 맹신했기 때문에 개인 우상화의 온상이었다. 하지만 21세기에 이런 전체주의 전통은 그런 정권들에게 AI의 무오류성을 기대하게 만든다. 무솔리니, 차우셰스쿠, 호메이니의 완벽한 천재성을 믿을 수 있는 시스템은 초지능을 가진 컴퓨터의 결함 없는 천재성도 믿을 준비가 되어 있다.
전 세계 독재자들 중 몇몇만 AI를 신뢰해도, 인류 전체에 엄청난 파장이 미칠 수 있다. 만약 ‘위대한 지도자 동지’가 자국의 핵무기 통제권을 AI에게 넘긴다면? 과학소설에는 인간의 통제를 벗어난 AI가 인류를 노예로 만들거나 제거한다는 이야기가 자주 등장한다. 대부분의 과학소설은 이런 시나리오를 민주적인 자본주의 사회의 맥락에서 탐구한다. 그도 그럴 것이, 민주주의 국가에 사는 작가들은 당연히 자신의 사회에 관심이 있지만 독재 체제에 사는 작가들은 통치자를 비판하는 것을 꺼리기 때문이다. 하지만 인류의 AI 방어막에서 가장 취약한 지점은 아마 독재자일 것이다. AI가 권력을 장악하는 가장 쉬운 방법은 프랑켄슈타인 박사의 실험실을 탈출하는 것이 아니라 편집증에 사로잡힌 ‘위대한 지도자 동지’의 환심을 사는 것이다.
-끝-
10월 7일 유발 하라리 《넥서스》 정식 출간됩니다!