글로벌 베스트셀러 《사피엔스》의 저자 유발 하라리 6년 만의 신작 《넥서스》

“사람들 마음속 분노, 공포, 혐오 버튼을 누르면, 그들은 모니터에서 떠나지 않았다.
알고리즘은 교묘하게 분노를 퍼뜨렸고, 전 세계적으로 음모론, 가짜 뉴스,
사회적 소요를 불러일으켜 민주주의의 기반을 흔드는 가장 주요한 원인으로 지목받고 있다.”

AI는 지금까지 인류가 만든 가장 강력한 기술이다. 스스로 결정을 내리고 새로운 아이디어를 생성할 수 있기 때문이다. 원자폭탄은 누구를 공격할지 스스로 결정하지 못했고, 새로운 폭탄이나 새로운 군사 전략을 만들어내지도 못했다. 이와 달리 AI는 스스로 결정해 특정 타깃을 공격할 수 있고 새로운 폭탄을 만들거나 심지어 또다른 AI를 만들어낼 수도 있다. AI에 관련해 알아야 할 가장 중요한 사실은 그것이 우리 손안의 도구가 아니라는 것이다. AI는 네트워크의 자율적인 구성원이다.

물론 아직 우리는 AI의 목표를 설정할 수 있다. 하지만 AI가 우리가 설정한 목표를 수행하면서 예상치 못한 위험한 결과를 낳을지 모르는 하위 목표와 전략을 채택할 경우 문제가 된다.

예를 들어, 최근 몇 년간 페이스북, 유튜브, 트위터 등 소셜 미디어 기업이 AI 알고리즘에 ‘사용자 참여 극대화’라는 언뜻 보기에 문제될 것 없고 간단해 보이는 목표를 부여했다. 사람들이 소셜 미디어 플랫폼에서 더 많은 시간을 보낼수록 해당 기업은 부자가 되었다. 그런데 사용자 참여를 늘리라는 목표를 추구하면서 알고리즘은 의미심장한 사실을 발견했다. 수백만 사용자들을 대상으로 실험하면서 분노가 참여도를 높인다는 사실을 알아낸 것이다. 사람들 마음속 분노, 공포, 혐오 버튼을 누르면, 그들은 모니터에서 떠나지 않았다. 알고리즘은 교묘하게 분노를 퍼뜨렸고, 전 세계적으로 음모론, 가짜 뉴스, 사회적 소요를 불러일으켜 민주주의의 기반을 흔드는 가장 주요한 원인으로 지목받고 있다.

페이스북, 유튜브, 트위터 경영진이 기대한 결과는 아니다. 그들은 사용자 참여를 늘리면 돈이 될 것이라고 생각했지, 사회적으로 혼란이 증가할 것이라고는 예상하지 않았을 것이다. 이 사회적 재난은 인간 사회에 대한 깊은 이해와 AI가 채택한 전략 사이에서 발생한 문제에서 비롯되었다. 이를 전문용어로 ‘정렬 문제’라고 부른다. AI 구성원에게 목표를 부여할 때, AI가 택한 전략이 우리의 궁극적 목표와 부합할 것이라고 어떻게 확신할 수 있을까?

물론 정렬 문제는 새로운 문제도 아니고 알고리즘에만 생기는 문제도 아니다. 그것은 컴퓨터 발명 이전부터 수천 년 동안 인류를 괴롭혀온 문제다. 예를 들어, 정렬 문제는 현대 군사이론의 토대를 이루는 문제로, 카를 폰 클라우제비츠의 전쟁 이론에 잘 정리되어 있다. 클라우제비츠는 나폴레옹전쟁에서 프로이센 장군으로 활약했다. 1815년에 나폴레옹이 최종 패배한 후 클라우제비츠는 프로이센 전쟁 대학의 학장이 되었다. 또한 그는 전쟁에 대한 포괄적인 이론을 체계적으로 정리하기 시작했다. 《전쟁론》은 전쟁을 이해하는 합리적인 모델을 세웠으며 지금도 널리 받아들여지는 군사이론이다. 이 이론의 핵심은 “전쟁은 수단이 다를 뿐 정치의 연장이다”라는 것이다. 즉 전쟁은 감정의 폭발도, 영웅적인 모험도, 신의 징벌도 아니다. 전쟁은 심지어 군사 현상도 아니다. 오히려 전쟁은 정치 도구다. 클라우제비츠에 따르면 군사행동은 어떤 궁극적인 정치적 목표에 부합하지 않는 한 완전히 비합리적이다.

역사에는 결정적인 군사적 승리가 정치적 낭패로 이어진 사례가 부지기수다. 클라우제비츠에게 가장 명백한 예는 가까운 곳에 있었다. 즉 나폴레옹이 갔던 길이다. 나폴레옹의 군사적 천재성에는 아무도 이의를 제기하지 않는다. 나폴레옹은 전략과 전술 모두에 능통했다. 하지만 그는 일련의 승리로 광대한 영토를 일시적으로 장악할 수 있었을망정 지속적인 정치적 성과를 얻지는 못했다. 그의 군사 정복은 대부분의 유럽 열강들이 그에게 맞서 연합할 빌미를 제공했을 뿐이며, 그의 제국은 그가 스스로 황제에 오른 지 10년 만에 무너졌다. 군사적 승리가 정치적 패배로 이어진 더 최근의 사례는 2003년 미국의 이라크 침공이다. 미국은 모든 중요한 교전에서 승리했지만 장기적인 정치적 목표는 단 하나도 달성하지 못했다. 미국의 군사적 승리는 이라크에 우호적인 정권을 세우지도, 중동에 우호적인 지정학적 질서를 확립하지도 못했다. 이 전쟁의 진정한 승자는 이란이었다. 미국의 군사적 승리는 이라크를 이란의 전통적 적국에서 속국으로 바꾸었다. 이로써 중동에서 미국의 입지는 크게 약화된 반면 이란은 지역의 패권국으로 부상했다.

나폴레옹과 조지 W. 부시 모두 정렬 문제의 희생자였다. 그들의 단기적인 군사 목표가 자국의 장기적인 지정학적 목표에 부합하지 않았던 것이다. 우리는 클라우제비츠의 《전쟁론》을, ‘승리의 극대화’는 ‘이용자 참여의 극대화’만큼이나 근시안적인 목표라는 경고로 이해할 수 있다.

-계속-

1화 다시 보기
2화 다시 보기