▲ ⓒ Vatican Media지난 회까지 우리는 「Antiqua et Nova」를 따라 인간 지성과 인공 지능의 본성적 차이를 살펴보았다. 인간 지성은 몸을 통해 배우고, 관계 안에서 자라며, 윤리적 책임을 지고, 죽음과 의미의 질문 앞에서 흔들린다. 반면 인공 지능은 데이터를 처리하고, 패턴을 계산하며, 확률적으로 응답을 생성한다. 그러므로 둘은 같지 않다. 그러나 회칙 「Magnifica Humanitas」는 여 기서 한 걸음 더 나아간다. AI는 단순한 기술이 아니다. AI는 점점 권력의 형태가 되고 있다. 그래서 이제 물음은 “AI가 무엇을 할 수 있는가”에 머물 수 없다. 더 근본적인 질문은 이것이다. 누가 AI를 소유하는가. 누가 데이터를 모으는가. 누가 알고리즘의 기준을 정하는가. 누가 이익을 얻고, 누가 배제되는가.
기술은 중립적인 도구처럼 보인다. 그러나 인간 사회 안으로 들어온 기술은 언제나 권력의 질서를 만든다. 망치 하나는 집을 지을 수도 있고 사람을 해칠 수도 있다. 그러나 AI는 망치보다 훨씬 더 깊은 곳에 들어온다. 그것은 우리의 언어를 배우고, 선택을 예측하고, 욕망을 유도하고, 노동을 재편하고, 여론을 움직이며, 심지어 인간이 자기 자신을 이해하는 방식까지 바꾸려 한다. 그러므로 AI 시대의 첫 번째 식별은 기술적 질문이 아니라 사회교리적 질문이어야 한다. “더 빠른가?”보다 “더 인간적인가?”를 물어야 한다. “더 효율적인가?”보다 “더 정의로운가?”를 물어야 한다. “더 강력한가?”보다 “그 힘이 누구를 살리는가?”를 물어야 한다.
더 강력한 것이 더 나은 것은 아니다
회칙의 가장 단호한 문장 가운데 하나는 93항에 있다.
“Più potente non significa necessariamente migliore.”
더 강력하다는 것이 반드시 더 낫다는 것을 의미하지는 않는다.1)
짧지만 무서운 문장이다. 이 한 문장은 AI 시대를 향한 회칙의 비판적 시선을 거의 모두 담고 있다. 현대인은 강력한 것을 좋은 것과 혼동한다. 더 빠르면 더 낫다고 생각한다. 더 많이 계산하면 더 정확하다고 믿는다. 더 많은 데이터를 소유하면 더 진실에 가까워진다고 착각한다. 그러나 복음은 언제나 다른 길을 가리켰다. 작음 안에 진리가 있고, 약함 안에 구원이 있으며, 느린 동행 안에 인간이 있다. 회칙이 비판하는 것은 기술 자체가 아니다. 교회는 기술을 악마화하지 않는다. 인간의 지성이 만들어 낸 기술은 하느님께서 인간에게 주신 창조적 능력의 한 표현일 수 있다.
문제는 기술이 아니라 기술관료적 패러다임이다.2) 효율, 통제, 이윤이 모든 것을 결정하도록 내버려 두는 정신적 습관이다. 인간의 존엄보다 생산성을 앞세우고, 공동선보다 시장의 속도를 앞세우며, 형제애보다 경쟁의 논리를 앞세우는 세계관이다. 이 개념은 이미 프란치스코 교황의 회칙 「찬미받으소서」에서 분명하게 제시되었다. 기술관료적 패러다임은 세상을 선물로 보지 않는다. 그것은 세상을 사용할 수 있는 자원으로 본다. 인간도 예외가 아니다. 인간의 시간, 감정, 관계, 몸, 질병, 신앙, 정치적 성향까지 모두 분석하고 예측하고 수익화할 수 있는 데이터가 된다.
「Magnifica Humanitas」는 바로 이 문제를 AI 시대에 다시 적용한다. 회칙은 이렇게 말한다. 마치 실재와 선과 진리가 기술과 경제의 힘에서 저절로 생겨나는 것처럼, 인간의 존엄성과 형제애는 효율성이라는 이름 아래 뒤로 밀려난다.3) 이 문장은 오늘의 세계를 너무 정확히 찌른다. 우리는 더 편리해졌지만, 더 자유로워졌는가. 우리는 더 연결되었지만, 더 깊이 만나는가. 우리는 더 많은 정보를 얻지만, 더 진실해졌는가. 그러므로 AI에 대한 첫 번째 질문은 “찬성인가 반대인가”가 아니다. 그렇게 단순하게 나눌 수 없다. 진짜 질문은 이것이다.
누구를 위한 AI인가. 누구의 고통을 줄이고 있는가. 누구의 노동을 지우고 있는가. 누구의 데이터를 가져가고 있는가. 누구의 침묵 위에서 작동하고 있는가.
누가 AI를 소유하는가
「Antiqua et Nova」 53항은 이미 핵심을 짚었다. 주요 인공 지능 애플리케이션에 대한 권한이 소수의 강력한 기업의 손에 집중되어 있다는 사실은 심각한 윤리적 우려를 불러일으킨다.4) 이 문장은 가볍게 지나칠 수 없다. AI의 권력은 눈에 잘 보이지 않는다. 군대처럼 행진하지 않고, 경찰처럼 제복을 입지 않는다. 그러나 그것은 데이터센터 안에 있고, 클라우드 서버 안에 있으며, 검색창과 플랫폼과 스마트폰 앱 안에 있다. 오늘의 권력은 총칼만이 아니라 연산력이다. 영토만이 아니라 데이터다. 공장만이 아니라 알고리즘이다.
산업혁명 시대의 권력은 기계와 공장과 자본을 소유한 자에게 집중되었다. AI 시대의 권력은 데이터, 연산력, 플랫폼, 모델을 소유한 자에게 집중된다. 그리고 이 네 가지를 동시에 가진 이들은 많지 않다. 소수의 거대 기업, 소수의 국가, 소수의 기술 엘리트가 세계의 언어와 지식과 행동 패턴을 점점 더 깊이 장악하고 있다. 문제는 그들이 단지 더 많은 돈을 번다는 데 있지 않다. 더 심각한 문제는 그들이 인간 사회의 기준을 정하게 된다는 데 있다. 무엇이 검색되는가. 무엇이 추천되는가. 무엇이 보이지 않게 되는가. 어떤 말이 증폭되는가. 어떤 사람이 위험하다고 분류되는가. 어떤 노동이 대체 가능한 것으로 평가되는가. 이런 기준들이 민주적 토론 없이 코드 안에 새겨질 때, 기술은 이미 정치가 된다.
「Magnifica Humanitas」 161항은 더 직설적으로 말한다. 소수가 너무 많이 가지고, 너무 많은 사람이 너무 적게 가지고 있다. 이것이 오늘의 논리다.5) 이것은 단지 경제 불평등의 문제가 아니다. 인공지능 시대에는 불평등 자체가 더 지능화된다. 가진 자는 더 많은 데이터를 통해 더 많은 기회를 얻고, 갖지 못한 자는 데이터의 대상이 되지만 결정의 주체가 되지 못한다. 의료 분야에서 이 문제는 더욱 분명하다. 어떤 지역에서는 인간 능력의 강화, 수명 연장, 유전자 편집, 개인 맞춤형 치료가 논의된다. 그러나 다른 지역에서는 아직도 기본적인 의료 장비와 의약품이 부족해 수백만 명이 생명을 잃는다. 기술은 인류 전체의 선물이라고 말하지만, 실제 혜택은 불평등하게 배분된다. 이것이 회칙이 보는 AI 시대의 새로운 사회 문제다.
데이터는 새로운 희토류다
회칙에서 가장 충격적인 분석은 178항에 나온다. 오늘의 식민주의는 전례 없는 얼굴을 보인다. 그것은 단지 몸을 지배하지 않고 데이터를 차지한다. 곧 개인의 삶을 착취 가능한 정보로 변형시킨다.6) 이 문장은 오늘의 세계를 해석하는 매우 중요한 열쇠다. 과거의 식민주의가 토지, 금, 노동력, 항구, 철도, 광산을 빼앗았다면, 오늘의 디지털 식민주의는 생체 정보, 보건 데이터, 이동 경로, 소비 습관, 유전자 정보, 감정 반응, 정치적 성향을 가져간다. 과거의 제국이 땅을 점령했다면, 오늘의 제국은 삶의 흔적을 점령한다.
회칙은 보건 흐름, 역학 프로필, 유전자 지도, 인구 데이터를 “권력의 새로운 희토류”라고 부른다. 아주 정확한 표현이다. 희토류는 스마트폰과 배터리와 첨단 산업에 필수적인 자원이다. 그런데 AI 시대에는 인간의 삶 자체가 희토류가 된다. 우리의 클릭, 검색, 위치, 사진, 목소리, 질병 기록, 상담 기록, 신앙적 고민까지 모두 누군가에게는 학습 데이터가 된다. 여기서 더 무서운 점은 착취가 선의의 언어로 포장된다는 것이다. 도움, 연구, 혁신, 편의, 맞춤형 서비스라는 이름으로 데이터가 모인다. 그러나 그 데이터를 누가 소유하는가. 누가 분석하는가. 누가 이익을 얻는가. 당사자는 그 데이터가 어디로 가는지, 어떤 모델을 훈련시키는지, 나중에 어떤 방식으로 자신에게 되돌아오는지 알지 못한다.
전체 인구의 보건 데이터를 가진 자는 단지 정보를 가진 것이 아니다. 그는 미래를 예측하고 시장을 설계하며 정책의 우선순위에 영향을 미칠 수 있는 구조적 지렛대를 가진다. 어떤 질병에 투자할 것인가. 어떤 약품을 개발할 것인가. 어떤 지역을 위험 지역으로 분류할 것인가. 누구에게 보험료를 더 물릴 것인가. 이런 결정들이 데이터 권력의 손에 들어갈 수 있다. 그래서 회칙의 경고는 단호하다. 디지털 시대는 후기 식민주의의 종말이 아니라, 다른 형태의 식민주의가 될 수 있다. 식민주의는 끝난 것이 아니라 변장했다. 총독부가 사라진 자리에 플랫폼이 들어섰고, 광산 채굴의 자리에 데이터 추출이 들어섰다.
보이지 않는 통제와 가시성의 건축술
더 미묘한 위협은 171항에 있다. 회칙은 통제가 명시적 금지를 통해서만 작동하지 않는다고 말한다. 통제는 “가시성의 건축술”을 통해서도 작동한다. 무엇이 증폭되고 무엇이 보이지 않게 되는가. 무엇이 보상받고 무엇이 처벌받는가. 이것이 결국 사람들의 의견과 선택을 빚어내며 동조와 자기검열을 낳는다.7) 이 표현은 대단히 중요하다. 오늘의 통제는 예전처럼 “말하지 말라”고만 하지 않는다. 오히려 말하게 만든다. 계속 표현하게 하고, 계속 반응하게 하고, 계속 자신을 전시하게 한다. 그러나 그 많은 표현 가운데 어떤 것은 보이게 하고 어떤 것은 묻히게 한다. 어떤 분노는 증폭되고 어떤 고통은 사라진다. 어떤 뉴스는 알고리즘을 타고 번지고, 어떤 진실은 검색되지 않는다.
푸코가 말한 판옵티콘은 감시자가 중앙에서 죄수를 바라보는 구조였다. 그러나 디지털 시대의 판옵티콘은 더 깊고 더 미묘하다. 이제 감시자는 꼭 보이지 않아도 된다. 우리는 스스로 자신을 감시한다. 이 말이 ‘좋아요’를 받을까. 이 글이 공격받지는 않을까. 이 표현이 계정을 위험하게 만들지는 않을까. 나는 어떤 이미지로 보여야 할까. 이렇게 알고리즘은 바깥의 감시자가 아니라 내면의 검열자가 된다.
융합심리분석의 자리에서 보면 이것은 매우 익숙한 풍경이다. 프로이트가 말한 초자아는 본래 외부의 권위가 내면화된 자리였다. 부모, 교사, 종교, 사회의 금지가 내 안에 들어와 나를 감시하고 판단하는 구조다. 그런데 알고리즘 시대의 초자아는 데이터로 짜인다. 무엇이 인정받는지, 무엇이 조롱받는지, 무엇이 퍼지고 무엇이 사라지는지의 통계가 우리 욕망 자체를 변형시킨다. 우리는 자유롭게 선택한다고 생각한다. 그러나 이미 추천된 것 안에서 선택한다. 우리는 자유롭게 말한다고 생각한다. 그러나 이미 보상받는 언어를 배운다. 우리는 자유롭게 욕망한다고 생각한다. 그러나 이미 플랫폼이 설계한 욕망의 길을 걷고 있다. 이것이 보이지 않는 통제의 무서움이다. 노예가 되었는데도 스스로 자유롭다고 착각하게 만든다.
AI는 중립적이지 않다
그러면 어떻게 해야 하는가. 회칙 107항이 결정적이다. 필요한 것은 “더 도덕적인 AI”가 아니라고 말한다. 만일 그 도덕이 소수에 의해 결정된다면 말이다. 필요한 것은 “더 현존하는 정치”다. 모든 것이 가속할 때 멈출 줄 알고, 공동체가 여전히 참여하고 물을 수 있는 공간을 보호할 수 있는 정치다.8) 이 문장은 AI 윤리 논의의 허점을 찌른다. 오늘날 많은 기업이 “윤리적 AI”를 말한다. 그러나 누가 윤리를 정하는가. 기업이 스스로 만든 윤리 기준이 정말 공동선을 보장할 수 있는가. 이윤을 목적으로 하는 조직이 인간 존엄을 최종 기준으로 삼을 수 있는가. 윤리가 홍보 문구가 되고, 책임이 면책 조항이 되며, 투명성이 선택적 보고서가 되는 순간, “윤리적 AI”라는 말은 오히려 위험한 장식이 된다.
회칙은 그래서 더 깊은 정치의 회복을 요청한다. 여기서 정치는 정당 정치만을 뜻하지 않는다. 공동체가 자기 운명을 함께 묻고 결정하는 공적 능력을 말한다. 시민이 데이터의 운명에 참여할 수 있어야 한다. 노동자가 자동화의 결정 과정에 참여할 수 있어야 한다. 환자가 자기 의료 데이터의 사용에 대해 알 권리와 거부할 권리를 가져야 한다. 학생과 교사는 교육 현장에 도입되는 AI의 기준을 함께 물을 수 있어야 한다. 회칙은 동시에 분명히 말한다. 우리는 AI를 도덕적으로 중립적인 것으로 여길 수 없다.9) 이것은 매우 중요한 선언이다.
알고리즘은 자연현상이 아니다. 그것은 누군가가 만든 것이다. 어떤 데이터를 넣을지, 어떤 목표를 최적화할지, 어떤 오류를 감수할지, 어떤 결과를 성공으로 볼지 모두 인간의 선택이다. 그 선택 안에는 인간관이 들어 있고 세계관이 들어 있으며 권력의 이해관계가 들어 있다. 그러므로 AI가 내놓는 결정 앞에서 인간은 다시 물어야 한다. 왜 이런 결과가 나왔는가. 누구에게 유리한가. 누구에게 불리한가. 어떤 데이터가 빠졌는가. 어떤 삶이 보이지 않게 되었는가. 알고리즘이 결정했다고 해서 인간의 책임이 사라지는 것이 아니다. 오히려 책임은 더 커진다. 얼굴 없는 시스템 뒤에 숨어 인간을 해치는 일이야말로 현대적 죄의 한 형태가 될 수 있다.
정치의 자리, 시민의 자리, 양심의 자리
AI는 도구일 수 있다. 인간을 돕고, 질병을 진단하고, 반복 노동을 줄이고, 교육 자료를 넓히고, 사회적 약자를 지원하는 도구가 될 수 있다. 그러나 그것이 도구로 남으려면 조건이 있다. 권력이 감시되어야 한다. 데이터가 민주적으로 통제되어야 한다. 알고리즘이 설명 가능해야 한다. 시민이 참여해야 한다. 그리고 무엇보다 인간의 양심이 최종 자리를 빼앗기지 않아야 한다. 회칙이 말하는 “공유된 책임”은 바로 여기서 시작된다.10) AI 시대의 책임은 기술자에게만 있지 않다. 정치인에게만 있지도 않다. 기업에게만 있지도 않다. 교회, 학교, 시민사회, 언론, 상담 현장, 노동 현장 모두가 함께 물어야 한다. 우리가 만들고 있는 기술은 인간을 더 인간답게 하는가. 아니면 인간을 더 효율적인 데이터 단위로 축소하는가.
AI 시대에 가장 위험한 태도는 무지보다 체념이다. “어차피 기술은 막을 수 없다”는 말은 겉으로는 현실적이지만 사실은 비겁한 말일 수 있다. 기술은 저절로 방향을 정하지 않는다. 인간이 방향을 정한다. 정치가 부재하면 시장이 방향을 정하고, 시민이 침묵하면 기업이 기준을 정하며, 양심이 물러서면 효율이 인간을 지배한다. 그러므로 지금 필요한 것은 기술 혐오가 아니다. 더 깊은 식별이다. AI를 거부하자는 것이 아니다. AI가 인간의 자리를 빼앗지 못하도록, AI 권력이 공동선을 파괴하지 못하도록, 인간이 다시 묻고 멈추고 결정할 수 있는 자리를 세우자는 것이다. AI는 도구일 수 있다. 그러나 깨어 있는 시민과 책임 있는 정치가 부재할 때, AI는 도구이기를 그치고 권력이 된다. 그리고 그 권력이 인간의 얼굴을 잊어버릴 때, 교회는 다시 말해야 한다.
더 강력한 것이 더 나은 것은 아니다. 더 빠른 것이 더 인간적인 것도 아니다. 인간을 살리지 않는 기술은 진보가 아니다. 그것은 이름만 바꾼 지배일 뿐이다.
1) 회칙 Magnifica Humanitas, 93항. “Più potente non significa necessariamente migliore.”
2) 같은 문헌, 92-96항 참조. 기술관료적 패러다임 개념의 원천은 프란치스코 교황, 회칙 「찬미받으소서
(Laudato Si')」, 2015, 106-109항. 3) 같은 문헌, 95항. 4) 교황청 신앙교리부 · 문화교육부, Antiqua et Nova, 53항. 5) 회칙 Magnifica Humanitas, 161항. 프란치스코 교황의 발언 인용. 6) 같은 문헌, 178항. 7) 같은 문헌, 171항. 8) 같은 문헌, 107항. 9) 같은 문헌, 104항. “Non possiamo considerare l'IA moralmente neutra.”
10) 같은 문헌, 181항. 공유된 책임의 사회교리적 함의.
▶ 5회 예고 : 노동의 미래와 인간 존엄
- TAG
