인간은 처음 보는 새로운 것 앞에서는 거부감을 느끼기 마련이다. 특히 그 프로세스는 결과를 정확하게 알 수 없고 자신이 체계적으로 준비할 수 없는 것에 대해선 더욱더 불안해한다. 그것들이 기존의 안정적으로 돌아가는 것들을 다 흔들어 놓을 것으로 생각한다. 그럼에도 불구하고, 인류는 문제 해결이라는 미명하에 실험했고, 선악의 구별을 넘어 진화하였다. 그리고 현재, 인공지능의 성장은 나의 선택과 상관없이 브레이크 없는 질주 중이다.
2022년은 가시적으로 느낄 수 있는 인공지능 모델들이 비교적 사용하기 쉽게 오픈되면서 매주 쏟아지는 폭포수처럼 업데이트가 공개되는 등 엄청난 발전의 가속도를 보여 주었다. 항간에는 그 변화의 속도를 일컬어 현재의 한 달이 과거의 3~5년의 발달 속도와 같다고 했다. (최근 GPT 3에서 3.5로 가는 것만으로도 엄청난 발전을 보였다.) 개인적으로 AI가 그 어느 때보다 친숙하게 다가온 것은, GPT3(Code-Davinci-002 모델), Midjourney(Beta 테스트), DALLE-2 등 자연어를 기반으로 한 프롬프트 프로그래밍이 등장한 때였다고 생각한다.
작년 4월쯤, 인문학, 기계 비평, 컴퓨터 철학, 뉴미디어 아트 등을 주로 다루는 사람들이 인공지능에 대해 생각하는 모임인 LMWS가 결성된 것을 시작으로 그 변화의 속도를 더 잘 느낄 수 있었고 그때부터 나는 AI 기반의 창의성을 탐구하기 시작했다.
이 그룹 활동을 통해 많은 것을 사유하고, 워크숍도 진행하면서 기술의 속도에 놀라기도 하고 기술 발전에 대한 당혹감을 처음 경험했으며, 며칠을 멍해지기도 하고 다시 정신을 차리기를 수십 번을 반복했던 것 같다. 그 가속도에 즐거울 수만은 없었던, 카오스 그 자체의 2022년이었다. Midjourney로 처음 이미지를 생성했을 때 한 줄의 텍스트로 과정 없이 너무나 쉽게 결과물이 나오는 것에 대한 충격이 있었다. 이미지 생성의 시스템은 이해했지만 왜 이렇게 결과를 도출했는지의 구조가 알 수 없었다. 트레이닝된 모델이 이미지를 생성할 때마다 어떤 이유로 어떤 가중치를 주는지 알 수 없는 것과, 내가 컨트롤한다기보다 계속 이미지를 생성시키며 프롬프트 프로그래밍에서 흔히 말하는 '매직 워드'를 찾아, 사금 캐기 같은 감각으로 생성하는 것에 대한, 경이로움 이전에 답답함이 있었다. 인공지능의 도출 과정인 확률과 신호를 통한 트랜스폼은 인간의 뇌 안에서 경험의 연결로 어떤 결과를 내는 것과 유사해 보이지만 다르다고 느꼈다.
반면, 비슷한 사금 캐기 같은 감각이지만 텍스트 기반의 [GPT3](platform.openai.com/playground)은 좀 달랐다. 처음에는 질문하고 대답 듣는 방식으로 접근했지만, 사용하다 보니, 질의에 나만의 조건을 추가하거나, 답변한 문장에 일부 수정하거나 새로운 내용을 첨삭하고 이어서 작성하게 했다. 이런 과정에서 GPT3모델이 가지고 있는 방대한 실타래 같은 지식들 안의 내용을 나에게 맞게 조합해가며 도출해 가는 느낌이 있었다. (현재 대중들에게 많이 알려진 ChatGPT도 베이스는 같은 모델이지만 단순화시킨 인터페이스로서 조합에 한계가 있다.) 디지털 테크놀로지를 주 매체로 다루는 미술 작가로서 나는, 이런 경험을 통해 기술을 사유체로써 새로이 감각하고 체화하여 창작하는 것에 대한 관점으로 "신체 감각, 디지털 보철 그리고 인공지능"에 대해 이야기해보려 한다.
신체감각의 해상력
어느 순간부터 신체감각을 모방해 만들어진 기술의 발달이 인간의 감각 능력을 초과했고 우리의 환경은 높은 해상도로 세상을 보게 하는 디지털 기술들로 채워지기 시작했다. 그리고 이런 디지털 기계 감각의 스케일 안에서 인간의 인지 범주를 이해하는 것이 더 자연스러운 일이 되었다. 이러한 해상력으로 읽어내는 세계는 우리가 오랫동안 인식해 왔던 단편적인 세계가 아닌, 보다 입체적이고 다중적으로 주변을 감각하고 인지할 수 있는 환경에 놓이고 있다. 보편적으로는 높은 해상도의 기술들을 소비의 매체로만 사용하는 사람들이 다수이고, 나머지 소수가 그 기술을 통해서 다중적으로 환경을 감각하고 다름을 관찰하는 방식으로 사용한다. 디지털의 등장 이후 인간의 해상력에 대해 고찰했던 것들에 대해, 국립현대미술관의 ‘다원예술 2021: 멀티버스’ 《디코딩 되는 랜드스케이프》(2021) 전시를 준비하면서 매뉴얼 중 하나로 작은 이야기책 *『바라보고 읽어내는 장치 Through The Looking Apparatus』1)에서 신예슬과 내가 쓴 글의 일부를 발췌해 봤다.
"예컨대 안경을 맞출 때도 자신의 시력을 보완하는 일이 필요하지만 처음 그 다른 시야에 위화감을 적응을 못 하고 안경을 포기하거나, 렌즈를 포기하고 그냥 해상도를 낮게 사는 삶에 적응하는 경우도 있다. 그 경우, 더욱 흐릿하고 뭉툭하게 세상을 읽어낼 수밖에 없다.
나아가 이 해상력이라는 것이 사실 정말로 감각의 민감도에만 한정되는 것인지 고민해볼 필요가 있다. 안경처럼 감각기관에 직접 이식하는 경우 외에도, 한 발짝 더 나아가 우리가 세상을 읽어내는 데 사용하는 여러 기계와도 맞닿을 수 있기 때문이다. 신체에 거의 장착된 것이나 다름없는 스마트폰을 누구나 다 적절하게 사용하고 원하는 기능을 얻어내며 생활에 유용한 방식으로 사용할 수 있는 것은 아니다. 디지털 미디어가 인간의 생활 반경에 하나둘씩 침투해 가고 있는 지금, 이들을 자신에게 맞추고 디코딩하는 근육을 장착하지 않는다면 마찬가지로 우리는 흐릿하고 뭉툭하게 세상을 읽어낼 수밖에 없다. 이 디지털 미디엄들을 유용하게 장착할 수 있느냐 없느냐에 따라, 많은 것이 달라질 수도 있다. 어쩌면 사람마다 ‘해상력의 격차’가 점차 커지는 시대가 온 것 같다."
2022년 프롬프트 프로그래밍, GPT3가 뜨겁게 달아오르기 전까지는 나의 신체감각의 해상력을 높이기 위해 계산적 사고(computational thinking), 컴퓨터 프로그래밍 같은 미디엄들을 유용하게 장착할 수 있느냐 없느냐가 중요했다. (물론 여전히 계산적 사고는 중요하지만) GPT3 모델 베이스에 쉽고 강력한 성능을 가진 자연어 기반 프롬프트 프로그래밍이 등장하면서, 방대한 데이터의 바다에서 그 수심의 깊이는 생각하지 않고 수면 위에서 무한히 창작할 가능성과, 새로운 해상력으로의 진화가 보인다. 이제 메타 미디엄(컴퓨터)에서 사용되는 언어를 다룰 근육이 없어도 자연어라는 기존 인간의 사고체계로 효과적으로 커뮤니케이션할 수 있게 되었다. 이는 인공지능 모델이 인간의 말을 이해하고 그에 따라 인터랙티브하게 대화할수 있게 해준다는 것을 의미한다. 이러한 모델은 인간의 인터페이스를 개선하고 효율적으로 정보를 다룰 수 있는 여러 가지 응용 프로그램을 개발하는 데 기여할 수 있어 전방위 영역의 지식을 손쉽게 공유하고 가공할 수 있는 가능성을 열었다.
하지만 기존의 계산적 사고 없이 자연어를 통해 정보를 교환하기 때문에 인간의 추론 능력과 여러 가지 분석 기능이 배제되기도 한다. 그것을 보완하기 위해 창작자의 입장에서 파인튜닝(fine-tuning)2)과 같은 머신러닝 기법을 활용하여 딥러닝 모델이 사용자가 요구하는 정보를 정확하게 인식하고 처리할 수 있다. 이를 통해 기존 인간보다 상세한 질문을 하고 기계로부터 의도에 더 맞아떨어지는 응답을 받을 수 있다. 표현 대상을 감각하고 수용하는 능력을 보조하는 "감각의 보철물"로서 신체가 새로 성립한다면 다른 해상력이 구현가능한 신체감각을 얻을 수 있지 않을까?
파인튜닝(fine-tuning)되는 감각의 보철과 작아지는 신체감각
임플란트(implant)는 ‘심다’, ‘뿌리내리다’라는 뜻을 지닌다. 각종 의약적 목적을 위해 몸 내부에 삽입되는 장치를 말한다. 다른 이의 마음에 생각이나 태도 등을 심는다는 의미로도 쓰인다. 흔히 알려진 건 심장박동 장치, 인공치아처럼 내장 기관이나 뼈에 심는 것을 말한다. 신체 부위 일부를 대체하거나 보완하는 ‘보철’이라 할 수 있다. 안경을 사용하는 사람은 시력을 보완하기 위해 깨어있는 시간에는 거의 한시도 빠짐없이 안경을 장착하는 것처럼, 우리 주변의 수많은 디지털 장치는 몸에 직접 장착되지는 않았지만 없으면 일상이 불편할 만큼 우리 신체 감각의 일부로 이미 깊게 뿌리 내리고 연결되어 있지 않은가? 이것 또한 우리의 신체에 임플란트 되어 있다고 할 수 있지 않을까 생각한다.
디지털 시대의 수많은 미디어는 감각을 확장하는 장치일 뿐만 아니라 ‘몸속에 심어진 보철’처럼 느껴진다. 디지털 보철물들은 강력한 감각을 가지게 해주지만, 점차 보철의 의존도가 높아져서 보철을 제거하면 본래의 감각 근육이 그 전과는 다르게 약해지고 있을 것이다. 한편, 약해진 감각 대신 다른 감각의 영역이 높아지고 더 활성화되는 일이 일어나기도 한다. 뇌 신경회로가 외부 자극, 경험, 학습에 의해 구조적으로 움직이면서 재조직을 되풀이하는 일을 뇌 가소성이라고 표현한다. 뇌는 일생 끊임없이 변화하면서 새로운 언어, 운동 등을 습득한다.
실제로 청각장애가 있는 사람 중에는 시각을 잃고 현실에 적응하기 위해 혀로 소리를 내서 공간에 소리를 반사해 공간을 인지하는 경우가 있다고 한다. 시각 처리를 담당하는 뇌 부분이 차단될 경우 시각을 처리하던 부분이 새로운 정보를 처리하는 뇌로 활성화될 수도 있다. 그렇다면 인공지능과 함께 성장하는 감각을 이식하는 경우 그 감각을 임플란트하기 위해 뇌의 진화 과정이라고 생각하고 현재의 변화에 적응해야 하나?
우리는 신체 스스로가 환경을 기민하게 인지·감각해야만 하는 상황에서 점점 벗어나, 지금까지와는 또 다른 차원의, 촘촘하고 렌즈처럼 줌인·아웃하는 세상 읽기가 가능해지고 있다. 그렇다면 지식과 창작의 노동자로서 '파인튜닝(fine-tuning)'되는 '감각의 보철'을 우리 신체감각에 자연스럽게 연결하게 되는 순간이 올까? 또 한편으로는 기존 신체 감각의 근육이 약해지고 퇴화되는 것에는 아무런 문제가 없을까? 시소처럼 생각이 매일 상하운동을 한다. 인류는 수많은 시행착오에 파인튜닝하면서 적정한 사용법을 찾아갈 것이고 나름의 시스템도 안정화할 것이다. 그리고 어느 순간부터는 상호작용하는 행위의 동사가 바뀌지 않을까 싶다. 그때는 더 이상 "학습한다"가 아닌 너무나 당연하게 "장착한다"로 쓰일 것이다.
지금 이후
지금의 인공지능은 인간과 같은 행동과 지능을 흉내 낼 수 있을지는 모르지만, 인간과 같은 생물학적 과정과 경험을 가지고 있지는 않다. 인공지능의 개발은 아직 초기 단계이며, 인공지능 시스템이 인체의 능력에 진정으로 부합할 수 있으려면 해야 할 일이 많다. 하지만 OpenAi의 샘 알트만도 한 인터뷰에서 언급했듯이, 지금의 인공지능은 인간의 지능의 작동 원리에서 영감을 받아 연구되지만 사실은 굉장히 다른 방식의 지능을 발휘한다. 이는 AI와 인간 모두에게 의외의 장단점이 존재한다는 얘기다. 이런 관계에서 인간은 AI를 이용해서 수많은 가능성을 제시할 것이고 과거의 컴퓨터 언어를 이해하지 않아도 세계를 획기적으로 점프시킬 제품들을 내놓는 사람들이 나타날 것이다. 그리고 새로운 지식 노동자들, 창작 노동자들이 탄생할 것이고 수많은 순기능 또한 일어날 것이다. 그런데도 반작용 또한 엄청날 것이다. 인공지능 탄생의 가장 큰 목적은 질문이 아니라 문제 해결이지만 새로운 혁신적 기술은 그렇게만 이용되지는 않는다는 점을 우리는 역사를 통해서 너무나 잘 안다. 가끔은 숨 고르기를 하고 관조하는 시점에서, 사유체로써 인공지능 모델을 바라보는 사람들도 필요하다. 나는 겨우 일 년이라는 시간 동안, 엄청난 스피드로 달려가고 있는 인공지능 모델에게서 빙산의 일각만 경험한 것이다. 그래서 "감각의 보철물"로서 소비하기 이전에 그것을 가능한 한 사유체로써 파인튜닝하고 바라보고 읽을 수 있을 만큼 읽어 보려 한다.
앞으로 우리는 AI가 질병과 같은 수많은 문제를 해결하는 모습도 보게 될 것이다. 그와 동시에 인공지능에 의해 촉발되는, 지금까지 경험해보지 못했던 과학기술의 압축적 성장 속도가 주는 피로도 역시 상당할 것이다. 미술 작가로서, 나는 지속해 조정되고 발달하는 기술에 의해 탄생하고 있는 새로운 타입의 감각들과 기존의 신체감각들과의 공진화를 고민한다. 그것이 나의 표면에 빠르게 발라졌다 그냥 사라지지 않게...
1) 후니다 킴, 신예슬, 『바라보고 읽어내는 장치 Through The Looking Apparatus』(2021), 10-12. 이 책은 ‘국립현대미술관 다원예술 2021: 멀티버스’ 전시의 일환으로 제작했다.
2) "Fine-tuning"이란 기존에 학습되어져 있는 AI모델을 기반으로 아키텍쳐를 새로운 목적에 맞게 변형하고 이미 학습된 모델의 가중치를 미세하게 조정하여 학습시키는 방법을 말한다.
*웹진 한국연구 2023년 1분기 기획논단은 인공지능을 주제로, LMWS(최승준, 권보연, 후니다킴, 김승범, 오영진)팀의 5개 원고가 게재될 예정입니다.
