인공지능 AI는 막대한 빅데이타를 토대로 학습한다. 모든 것을 기억하고 이를 기반으로 예측한다. 음악과 미술, 예술계도 커다란 변혁이 일고 있다. AI 지휘자와 프롬프트 엔지니어링으로 미술을 하는 뉴아티스트도 생겼다. AI와 예술계의 파급 효과를 알아본다.

[서울=뉴스핌] 양진영 기자 = 국립극장(극장장 박인건) 국립국악관현악단이 AI로봇 지휘자 에버6와 최수열 지휘자가 함께 하는 '부재(不在)'로 예술분야에서 인간 존재의 가치를 역설한다.

국립극장에서는 26일 국악관현악단의 신작 '부재'의 연습실 공개와 주요 제작진 인터뷰가 진행됐다. 이 자리에는 여미순 예술감독 직무대리, 한국생산기술연구원 이동욱 박사, 최수열 지휘자, 손일훈 작곡가가 참석했다.

[서울=뉴스핌] 양진영 기자 = 국립국악관현악단의 '부재' 지휘를 맡은 AI 에버6와 최수열 지휘자 [사진=국립극장] 2023.06.26 jyyang@newspim.com

◆ 오케스트라도 아닌 국악관현악 지휘를 로봇이…에버6와 국악의 협연 

이날 국악관현악단 단원들은 AI로봇 지휘자 에버6와 함께 몽골 작곡가 비얌바수렌 샤라브의 '깨어난 초원' 연주를 시연했다. 사람이 아닌 사람 형상의 안드로이드 로봇 에버6는 한국생산기술연구원에서 2006년 개발한 '에버'의 여섯 번째 시리즈로 사람과 상호작용을 목표로 하는 지능형 로봇이다. 에버6는 어시스턴트 지휘자인 정예지 지휘자의 움직임을 모션캡처, 리타겟팅, 최적화 기술을 통해 프로그래밍된 지휘자의 동작, 퍼포먼스를 정확히 구현해낸다.

한국생산기술연구원의 이동욱 박사는 "로봇이 우리를 도와줄 때 사람과 의사소통이 필요하다. 사람과 말을 하고 대화를 하는 것도 중요하지만 비언어적 표현, 감성 표현도 중요하다. 그동안 인간활동을 돕는 로봇으로서 일반적인 제스처에 크게 문제가 없었는데 지휘라는 동작 자체가 상당히 크고 섬세해서 도전적인 영역이었다. 아직까지도 사람이 지휘하는 빠른 동작은 로봇이 따라갈 수 없어서 에버6를 통해 최적화를 통해 최대한 구현하려고 했다"고 말했다.

[서울=뉴스핌] 양진영 기자 = 한국생산기술연구원 이동욱 박사 [사진=국립극장] 2023.06.26 jyyang@newspim.com

현재 국립국악관현악단 악장으로 연주에도 참여 중인 여미순 직무대리는 "부재는 악단 연주자에겐 가장 중요하면서도 너무 당연한 지휘자의 역할에 대해 고민했고 박자만 제대로 셀 수 있다면 지휘자가 없는 연주가 가능할까 하는 호기심으로부터 오늘까지 왔다"면서 "예술영역에서 로봇이 대체할 수 있는 영역이 있을지, 한 명의 예술가로서는 기술이 침해할 수 없는 절대 불가침의 영역이 있을 거라는 생각도 하고 있다. 에버6와 최수열 지휘자를 통해 물과 공기처럼 당연했던 지휘자의 역할을 되돌아보고 성찰해보는 기회가 됐다"고 말했다.

에버6와 함께 포디움에 오르는 최수열 작곡가는 "로봇을 통해 악단의 연주자들이 교감을 할 수 있는 원동력이 될 수도 있구나 하는 걸 느꼈다. 에버6는 지휘 동작을 하는 로봇에 불과하고 치명적인 약점은 듣지 못한다는 점"이라면서도 "지휘자 역할이라는 게 일반 사람들이 보기엔 흔드는 역을 많이 생각하시지만 지휘자도 음악가고 공연의 결과물 이전의 과정이 지휘자의 가장 중요한 역할이다. 리허설 과정에 참여하고 악단의 소리를 듣고 나아갈 방향을 제시하고 교정하고 제안하고 설득하는 리더의 자리다. 에버6에겐 그런 기능은 없다"고 설명했다.

그러면서도 "현재는 지휘 동작을 하는 퍼포머 정도라고 생각하지만 예상보다 에버6의 동작이 굉장히 섬세해서 놀랐다. 로봇 혼자 지휘할 수 있는 곡도 있고 가능하면 균일한 템포를 유지할 수 있는 곡을 골랐다. 로봇의 장점이라고 하면 정확성이다. 그래도 결국 인간이 에버6에 맞춰나가야 한다. 로봇은 호흡이 없다. 모든 음악엔 호흡이 존재하고 당연하게 여겨지는 것들이라 로봇이 정확하게 가고 있음에도 불편함이 느껴진다. 그런 오류들이 있었지만 에버6는 눈치도 안보고 굉장히 냉정한 친구라 우리가 그쪽에 맞추면서 연주자들이 오히려 교감하게 된다는 걸 느꼈다"고 말했다. 

[서울=뉴스핌] 양진영 기자 = 국립국악관현악단 '부재'의 지휘자로 참여하는 AI로봇 에버6 [사진=국립극장] 2023.06.26 jyyang@newspim.com

특히 에버6와 인간 지휘자 최수열이 함께 지휘하는 신곡 '감'을 작곡한 손일훈 작곡가는 "작곡을 의뢰받았을 때 로봇과 사람이 같이 지휘한다고 해서 도전적으로 느껴졌다"면서 "이런 실험적인 시도가 예술시장에 많아졌다. 지금 에버6가 할 수 있는 것을 넘어서서 로봇이 어디까지 인간을 따라올 수 있을까 고민했다. 인간이 가진 것 중 가장 로봇이 따라오기 어려운 것은 교감이라고 생각해서 '감'이라는 곡을 만들었고 악보가 없이 컨셉을 말로 풀어서 전달했고 형식이 분명히 정해져있지만 오선지를 보고 연주하지 않는다"고 말했다.

이어 "연주자들은 귀로 듣고 즉흥적으로 연주에 참여하게 된다. 제가 쓰긴 했지만 이 작품의 주인은 누구일까 하는 생각이 들었다. 실시간으로 연주자들이 만들어나가는 과정이고 20명의 연주자들이 각자의 소리를 내는데 지휘자가 교감을 시도한다. 그것의 길잡이를 해주는 것이 에버의 역할이 된다. 반복적인 패턴을 지휘함으로써 음악적인 것 외에 따라가야 할 템포를 잃지 않게 도와주는 역할을 하게 될 것"이라고 설명했다.

[서울=뉴스핌] 양진영 기자 = 국립극장 국립국악관현악단 최수열 지휘자와 여미순 악장 [사진=국립극장] 2023.06.26 jyyang@newspim.com

◆ 최수열 지휘자 "에버6는 지휘자가 아닌 지휘 퍼포머…연주자들 트레이닝에 적합"

국립극장 레파토리 마지막 작품으로 오는 30일 공연되는 '부재'에서는 최수열 지휘자와 에버6가 각각 연주하는 순서를 지나, 마지막에 함께 연주하는 '감'으로 마무리 될 예정이다.

최수열 지휘자는 "에버6는 이 곡에서 연주자들이 어디에 있는지 정확히 알려주는 역할을 한다. 곡 전체에 30개의 주기가 있고 매 주기에 5초 정도의 휴지부가 있는데 저는 관여하지 않는다. 에버6가 정확한 템포로 주기를 알려주면 거기에 의지해서 각각의 연주를 20명의 연주자 중에 누가, 어떻게 연주할 건지 제가 결정한다. 약속은 있지만 약속을 깨도 된다는 약속도 있다. 누군가가 눈치싸움을 시작하는 순간을 기다린다. 곡 사이사이에 변수나 장난을 쳐도 에버6는 계속 곡을 이끌어간다. 이 곡은 에버6가 없다면 연주가 불가능한 곡이다"라고 완전히 새로운 '교감'의 시도를 로봇 지휘자와 함께 하게 됐음을 설명했다.

AI 지휘자라고는 하지만 에버6는 기술적으로 '지휘 퍼포먼스'를 하는 로봇에 불과하다는 의견이 지배적이다. 에버6가 연주자들의 연주를 듣고 판단할 수 없고, 사람과 사람 사이에 눈을 보고 나누는 호흡과 눈치를 적용하기 어렵다는 이유다. 이동욱 박사는 "현재는 프로그램된 대로 시연하는 것이고 연습 과정 중에서 템포 박자 주기를 지휘자님의 요청에 따라서 프로그램으로 조정했다. 그게 다 결정되고 나면 공연에선 짜여진 대로 하게 되는 것"이라고 하드웨어적인 부분에서 사람의 지휘 동작을 최대한 구현하도록 설계됐음을 밝혔다.

그럼에도 AI 지휘자가 연주자들에게 미치는 영향은 적지 않다. 여미순 악장은 "로봇과 함께 음악을 하면서 연주자들끼리 웃은 적이 있다. 인간 지휘자는 중간에 체크하느라 끊는 경우가 많다. 로봇은 그런 게 없이 끝까지 간다. 제시해준 템포보다 연주자와 소통을 하면서 느려지기도 하고 빨라지기도 하는데 이 지휘자는 달라지지 않는다"고 에피소드를 얘기했다.

이어 "'감'의 경우 연주자들의 창의성이 극도로 필요한 연주곡인데 지휘자가 로봇이기 때문에 일정한 템포로만 움직이는 그 안에서 인간 지휘자를 의지해야 하는 때가 온다. 아직도 우리는 그래도 인간을 통해서 음악을 형성하고 만들어내는 수밖에 없구나 하는 생각이 든다. 오히려 로봇 지휘자를 악단 선생님들이 굉장히 많이 배려한다. 다른 때엔 눈과 소통을 통해 지나가는데 온 집중을 하지 않으면 문제가 생길 수 있다. 그 배려는 인간만이 할 수 있는 것"이라고 강조했다.

[서울=뉴스핌] 양진영 기자 = 국립극장 국립국악관현악단의 '부재' 연주 시연 장면 [사진=국립극장] 2023.06.26 jyyang@newspim.com

최근 챗GPT 도입과 함께 로봇이 인간과 교감하거나, 창의성을 발휘하는 영역에 대한 개발 가능성 논의가 한창이다.

최수열 작곡가는 "국악관현악 뿐만 아니라 오케스트라에서도 연주자들이 시간을 들여 반복적인 연습이 필요한 경우엔 로봇에 템포가 입력되기만 하면 자동으로 오류없이 진행이 가능하다. 그런 경우 쓸모가 있을 수 있겠다. 작품 전체에 관해서는 장담할 수 없다. 연주를 듣지 못하고 소통이 안되는 게 전혀 흔들리지 않고 눈치도 보지 않는 방식 자체가 음악가들에겐 트레이닝할 땐 도움이 될 수 있다고 생각한다"며 현재의 AI 지휘자의 역할을 언급했다.

사실은 그래서 국립국악관현악단에선 에버6와 함께 하기 위해 '감'이라는 곡을 선보였다고 볼 수 있다. 최수열 지휘자는 "로봇은 호흡이 없기 때문에 거기 맞춰나가면서 인위적인 해석이 나올 수밖에 없고 다만 사람들은 로봇이 지휘한다는 것에 대해서 굉장히 관심을 갖게 된다. 로봇이 지휘하는 두 곡을 통해 지휘자의 부재와 필요성을 느끼셨으면 하고 그러실 것 같다. 그래도 '감'에서 공존하면서 특별함을 보여드릴 수 있을 것 같다. 로봇의 도움이 없다면 '감'같은 작품은 연주할 수 없을 것"이라고 말했다.

끝으로 그는 "지휘자는 무대를 흔드는 사람이고 무대에 오르기까지 모든 걸 관여하는 사람이기 때문에 단원들과 신뢰가 필요하고 연습과정에서 계속 들으면서 확인하고 교정하고 원하는 방식으로 음악을 만들어나가고 해석을 개입해야 한다. 에버6는 지휘자라기보다 지휘 퍼포머라고 생각한다. 지휘 동작을 썩 잘하는 거지 지휘를 하고있는 건 아니다. 지휘자 뿐만 아니라 모든 예술적인 영역을 로봇이 대체하는 시대가 쉽게 올 것 같지는 않다. 다만 같이 공존하면서 만들어낼 수 있는 부분은 확실히 있지 않을까 한다"고 말했다.

jyyang@newspim.com