우리는 지금 AI가 만들어내는 이미지와 텍스트가 예술과 창작의 영역에서 어떤 역할을 할 수 있는지 고민해야 하는 시점에 있다. 기억이라는 관점에서 AI는 단순한 재현 도구가 아니라 인간의 기억을 확장하고 변형하는 새로운 방식으로 작동할 수도 있다. 생성형 AI가 기억을 형성하는 방식의 대표적인 사례로 2022년부터 국제연합(UN)과 구글의 지원을 받아 전 세계의 난민 공동체를 위해, 도메스틱 데이터 스트리머스(Domestic Data Streamers)사가 시도한 합성 기억 프로젝트를 들 수 있다. 난민들은 전쟁이나 정치적 이유로 인해 고향을 떠날 수밖에 없었고, 특히 10대 때 고향을 떠난 경우라면 남아 있는 기억이 흐릿한 경우가 많다. 또한, 급박한 상황에서 제대로 된 사진 한 장 챙기지 못한 난민들도 있다. 유엔 난민기구는 도메스틱 데이터 스트리머스에게 이러한 난민들에게 _생성형 인공지능을 활용해 고향의 풍경을 재구성하는 기획을 제안했다.
이 프로젝트는 AI 이미지 생성 기술을 기반으로 한다. AI는 역사적 사진 데이터를 학습하여 특정 지역의 풍경을 복원할 수 있으며, 이를 통해 난민들은 잊혀 가는 고향의 모습을 다시 떠올릴 수 있다. 그러나 여기서 중요한 문제는, 생성된 이미지가 실제 존재했던 장소가 아니라 확률적으로 가장 유사한 가상의 이미지라는 점이다. 즉, AI는 난민이 기억하는 고향과 유사한 이미지를 생성하지만, 그것이 반드시 현실과 일치하는 것은 아니다. 이를 해결하기 위해 연구자들은 AI가 생성하는 이미지의 해상도를 일부러 떨어뜨리는 방식을 사용했다. 즉, 이미지가 너무 선명하게 재현될 경우, 그것이 허구임에도 불구하고 난민들에게는 진짜 기억처럼 인식되는 위험이 있기 때문이다. 반대로 해상도를 낮추고, 흑백 처리 등을 거쳐 어느 정도 추상적인 형태로 제공하면, 난민들은 그 이미지 속에 자신만의 기억과 감정을 투영할 수 있다. 이 과정에서 중요한 것은 단순히 "가짜" 이미지를 제공하는 것이 아니라, 기억을 환기할 수 있는 듬성 듬성 빈 공간을 가진 기억의 구조물을 만들어주는 것이다.
과거에는 AI의 해상도를 낮추는 것이 비교적 쉬웠지만, 현재의 AI 모델들은 너무 정밀하게 이미지를 생성할 수 있기 때문에 오히려 해상도를 낮추는 것이 더 어려운 기술적 과제가 되었다. 즉, AI가 만들어내는 이미지는 점점 더 현실과 구분이 어려워지고 있으며, 이로 인해 가짜 기억을 실제 기억처럼 인식하게 될 위험도 커지고 있다. 현재 도메스틱 데이터 스트리머스는 초기 버전의 생성AI 서비스를 유지할 수 있는 권리를 요구하고 있지만, 기술적인 문제로 인해 롤백은 해결이 쉽지 않은 상황이다.
이와 같은 사례에서 다시 상기할 점은, 생성형 AI가 새로운 이미지를 무작위로 만들어내는 것이 아니라 기존의 데이터에서 개연성이 높은 요소를 추출하여 확장하는 방식으로 작동한다는 사실이다. 즉, AI는 완전히 새로운 세계를 창조하는 것이 아니라 존재했을 법한 것들을 조합하여 만들어내는 기술이라는 것이다. 사실 근본적인 차원에서 이러한 접근은 예술에서의 창작 방식과도 유사한 점이 많다. 예술가들은 종종 기존의 경험과 자료를 바탕으로 새로운 형태의 작품을 만들어내는데, AI 또한 비슷한 원리로 작동한다고 볼 수 있다.
이와 관련해, 나는 모더레이터 자격을 가지고 작년에 뉴욕에 거주하는 아티스트 샘 로튼(Sam Lawton)을 콘진원의 라이선싱콘 2024에 연사로 초대하여 그의 작품 <Expanded Childhood>를 소개한 적이 있다. 이 작업은 AI의 아웃 페인팅(Outpainting) 기법을 활용하여 어린 시절의 사진을 확장하는 프로젝트다. 예를 들어, 누군가가 어릴 때 찍은 작은 사진 한 장이 있다면, AI는 이를 바탕으로 사진 바깥에 있었을 법한 풍경과 사람들을 확장하여 생성한다. 중요한 점은, 이것이 실제 있었던 장면을 복원하는 것이 아니라 확률적으로 가장 개연성 있는 이미지들을 덧붙여 만들어낸 것이라는 점이다. 이 과정에서 흥미로운 질문이 생긴다. 우리가 기억하는 특정 장면을 묘사해 보라고 하면, 과연 얼마나 구체적으로 설명할 수 있을까? 대부분의 사람들은 자신의 기억을 언어로 표현할 때 해상도가 매우 낮은 상태로 남아 있다. 예를 들어, 어린 시절의 한 장면을 떠올리더라도 몇 문장 이상 구체적으로 묘사하기 어렵다. 또한, 우리가 가지고 있는 실제 사진 역시 프레임에 갇혀 있는 제한적인 정보일 뿐이다. 반면, AI가 확장한 기억은 인간의 기억보다 오히려 더 개연성이 높을 수도 있다. 그렇다면, 우리는 무엇을 "진짜 기억"이라고 부를 수 있을까?
개인적으로도 1950년대 한국의 시장 풍경이 담긴 사진을 AI에 샘플로 제공한 뒤, 그 장면을 확장시키는 실험을 할 수 있었다. 한영수의 사진 <닭장수>(1957)를 비롯해 비슷한 분위기의 작품들을 제공했다. 그 결과, AI는 사진 속의 시장 풍경을 바탕으로 새로운 배경과 인물들을 생성했다. 그러나 AI가 생성한 이미지에는 실제 한국 전쟁 당시의 환경과는 맞지 않는 요소들이 포함되어 있었다. 예를 들어 한국적이지 않은 건물 구조가 등장하거나, 한글이 제대로 표현되지 않는 등의 문제가 발생했다. 이는 AI가 서구 중심의 데이터를 기반으로 학습했기 때문이다. 이러한 문제는 AI 기반 예술이 우리의 기억을 순수한 방식으로 재현 확장하는 것이 아니라, 데이터의 편향성과 역사적 맥락을 고려해야 한다는 점을 시사한다. 결국, AI를 활용한 기억의 재구성 과정에서 가장 중요한 것은 ‘무엇이 부재하는가’를 비판적으로 바라보는 일이다.
*최초 생성된 1번 사진부터 순차적으로 아웃페인팅 기법으로 확장한 6번 사진
AI가 생성하는 이미지에 대한 무비판적인 수용이 아니라, 그 과정에서 누락된 정보와 맥락을 적극적으로 보완하는 예술적·학문적 접근이 필요하다. AI 시대에 기억을 다룰 때 가장 중요한 것은, 가짜 현실을 제공하는 일보다는 상상력이 개입할 수 있는 다공성(多孔性 , Porosity)의 구조물을 만들 수 있어야 한다는 점이다. 생성형 AI는 인간의 기억을 확장하고 변형할 수 있는 강력한 도구이지만, 그것이 기억을 대체하는 것이 아니라 기억을 환기시키고 새롭게 해석할 수 있도록 도와주는 방식으로 사용되어야 한다. 예술가들은 이 과정에서 단지 무엇을 생성할 것인가보다 어떤 부재를 수락하고 다시 채울 것인가를 고민하는 태도를 가져야 할 것이다. 우선 위 사진에서 무엇이 부재하고 있는 지 음미해 보자.
留言