전체기사 최신뉴스 GAM
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 아이에게서 배우는 AI 강화학습

기사입력 : 2019년04월22일 08:00

최종수정 : 2019년04월22일 08:00

우리는 어떻게 배우는가

필자가 처음 영어 공부를 시작한 것은 중학교 들어가기 전, 초등학교 6학년 때로 기억한다. 아마 공책에 a, b, c, d 알파벳을 필기체와 출판 서체로 연습한 기억이 난다. 그리고 영어로 배운 첫 문장이 “I am a boy,아니면 “You are a girl” 이 아닌가 생각한다.

        김정호 교수

본격적으로 영어를 공부한 시기는 고등학교 때이다. 그때 사용했던 영어 교재가 ‘성문종합영어’, ‘영어의 왕도’ , 그리고 ‘1200제’였다. 특히 그 중에 가장 어려운 교재가 ‘1200제”이었는데 아마도 일본 참고서를 번역한 책으로 기억한다.

그런데 이렇게 영어 공부를 시작할 때 재일 재미없었던 부분이 문법을 외우는 과정이었다. 명사, 대명사, 동사, 가정법 등 외우는 내용도 많고, 예외도 많았다. 그 규칙을 파악하고 외우고 이를 토대로 문장을 이해하고, 해석하고 작문하였다.

인공지능에서도 전통적으로 이와 비슷한 학습 방법을 써 왔다. 전통적 인공지능에서는 먼저 뇌와 지능의 동작 원리를 이해하고, 그에 맞추어 모델을 세우고 이를 컴퓨터 프로그램으로 구현하는 방법이다. 이 방법은 인간의 뇌의 동작을 인간의 논리로 파악하려 하는 방법이다. 영어 배울 때 문법으로 언어를 배우려는 시도와 같은 방법이다.

성문종합영어 참고서 내의 영어 문법과 작문 부분, [출처: tistory]


하지만 최근 딥뉴럴네트워크(DNN)으로 표현하는 인공지능은 빅데이터를 제공하고 그 데이터를 통해서 인공지능이 스스로 학습하는 방법이다. 이러한 방법을 ‘머신러닝' 인공지능이라고 한다. 여기서는 데이터를 믿고 학습한다. 이러한 머신러닝 학습 방법 중에서 인공지능 스스로 데이터를 만들어 내고 최적의 답을 만들어 내는 방법이 등장했는데, 이를 ‘강화학습(RL: Reinforcement Learning)’이라고 한다. 이를테면 컴퓨터 스스로가 자율학습을 해서 지능을 쌓아가는 방법이다.

아기가 처음 말을 배울 때 하는 말을 ‘옹알이’라고 한다. 옹알이를 통해서 엄마와 소통하면서 말을 배워나간다. 그때 처음 배우는 말이 ‘엄마’, ‘맘마’, ‘아빠’ 와 같은 단어들이다. 맘마라고 부르면 엄마가 우유를 주고, 엄마라고 부르면 엄마가 따뜻한 눈길을 주고 사랑으로 안아준다. 이처럼 아기가 언어를 배우는 과정에서는 아기가 주변 환경과 교류하면서 보상을 얻는 과정에서 말을 배운다. 우리처럼 문법을 통해서 배우지 않는다.

또한 아기가 걸음마를 배우는 과정도 비슷하다. 걷고, 넘어지고 다치면서, 시행착오를 거치면서 아장 아장 걷기를 배운다. 이때 환경은 거실 마루이고, 보상은 걷는 기쁨과 엄마의 웃음이다. 이처럼 주변환경 속에서 행동하고 보상 받으면서, 그 결과 최선의 결정과 행동을 하면서 학습하는 방법을 ‘강화학습’ 인공지능이라고 한다. 그래서 강화학습은 인간이 본능적으로 배우는 학습 방법이다.

아기가 옹알이를 하며 말을 배우고 있다. [출처: tistory]


시행착오 통한 강화학습, 로봇과 게임에도 적용 가능

강화학습에서는 주변 환경(Environment)이 있고 그 상태(State)를 벡터로 표현한다. 다양한 시도(Action)와 보상(Reward)를 얻으면서 스토리(Episode)를 만들고, 그 결과로 환경을 파악해 간다. 이렇게 시행착오를 거쳐서 학습하게 된다. 그리고 최적의 정책(Policy)을 찾아간다.

생쥐의 미로 찾기 게임이 강화학습의 좋은 한 예가 된다. 이 때 미로의 구조가 환경이 되고, 최종적으로 치즈를 먹게 되면 보상을 얻게 된다. 그렇지만 최단 시간 내에 찾아야 하는 조건이 붙게 된다. 이처럼 각 상태에 따라 미래를 정할 수 있고, 과거는 묻지 않는 조건을 강화학습에서는 마르코프(Markov) 조건이라고 한다. 강화학습을 적용하려면 마크코프 조건을 만족해야 한다. 과거는 묻지 않고, 현재 상태로만 그의 미래를 점치는 조건이다. 과거까지 따지면 너무 복잡해서 보상을 예측하기 어렵기 때문이다.

강화학습은 로봇의 걷기 제어에도 적용될 수 있다. 로봇이 넘어지고 걷기를 반복하면서 인간에게 가까운 최적의 보행 제어를 이러한 강화 학습 방법으로 찾을 수 있다. 마찬가지로 이러한 학습은 드론의 조종, 헬리콥터 조종, 항공기의 조종 제어에 사용할 수 있다. 더 나아가 자율주행 자동차의 자동 운전에 강화학습이 사용되어 주어진 조건(State) 에서 최적의 자율 운전을 할 수 있다. 이때 최종적으로 주어지는 보상이 연료비의 절약이나 사고율 저하, 안전성 향상 등이 될 수 있다.

이때 시행착오의 과정은 시간과 비용이 든다. 자동차를 부수기에는 비용이 비싸다. 경우에 따라 시행과 보상을 컴퓨터 시뮬레이션으로 대신 하기도 한다.

강화학습은 게임에 적용되기도 한다. 블록깨기(Atari Breakout)게임을 강화학습으로 하는 경우 금방 최적의 조건을 찾는 것을 볼 수 있었다. 돌이 블록 뒤로 들어가면 여러 번의 반사과정을 반복하면서 저절로 대부분의 블록이 격파되고 점수가 올라간다.

그래서 강화학습을 수행한 컴퓨터와의 인간과의 게임이 이제 더 이상 상대가 되지 않는다. 인공지능은 이런 경우뿐만 아니라 주식투자, 재고관리, 웹사이트의 광고 배치, 상품추천 등 다양한 분야에서 중요한 결정을 인간을 대신해서 할 수 있다. 인간처럼 이 때 보상은 경영상 이익이 된다. 컴퓨터는 졸거나, 피곤해 하거나, 술을 마시지도 불평하지도 않는다. 강화 학습으로 훈련한 보상 체계만 따를 뿐이다.

생쥐 미로게임에서 다양한 시도를 통해 치즈를 얻는 길을 찾는 인공지능 강화학습의 내부 구조, [출처: KAIST]
강화학습 인공지능으로 무장한 컴퓨터의 블록깨기(Atari Breakout) 게임, [출처:Ecosia]


강화학습은 인공지능의 '무기' 

이와 같이 강화학습은 데이터와 정답 없이 스스로 학습이 가능한 인공지능 알고리즘이다. 공부로 치면 자율학습 공부 방법이다. 인공지능이 데이터를 이용해서 학습하기 위해서는 데이터를 모으는 작업에서 많은 비용을 지불 해야 한다. 데이터 수거 장치, 전송 장치, 저장 장치에 투자해야 한다. 5G 무선 통신도 투자 비용이 크다. 그러면서도 데이터를 모으려면 개인의 허락을 받아야 하고, 개인 정보 보호 문제도 극복해야 한다. 그렇지만 강화학습은 데이터 없이 학습한다. 인공지능이 점점 강력해지는 또 다른 이유이기도 하다. 

 

joungho@kaist.ac.kr

[김정호 카이스트 전기 및 전자공학과 교수]

[뉴스핌 베스트 기사]

사진
관세협상 쟁점…쌀·쇠고기·구글지도 [세종=뉴스핌] 최영수 선임기자 = 한미 관세협상이 막판까지 '진통'을 겪고 있다. 오는 8일 1일까지 관세 유예기한이 연장되면서 일단 3주간 시간을 벌었다. 하지만 이견을 좁히지 못한 쟁점이 여전히 남아 있어 앞으로의 협상도 난항이 예상된다. 수차례 협상에도 이견을 좁히지 못한 것은 결국 '비관세장벽' 때문이다. 특히 한국 측이 민감분야로 설정하고 있는 ▲쌀 시장 개방 ▲30개월 이상 쇠고기 수입 허용 ▲구글 정밀지도 반출 허용 등 3가지 쟁점이 분수령이 될 전망이다. ◆ '제조업 협력' 카드 제시했지만…美, 농축산물 개방까지 요구 미국 정부는 오는 8월 1일부터 한국에 대한 품목관세(25%)를 부과할 방침이라고 8일 밝혔다. 도널드 트럼프 대통령은 8일 오전 1시 20분(한국시간) 트루스소셜(Truth Social)을 통해 한국에 대한 상호관세율 및 발효일자 등이 포함된 서한을 공개했다고 밝혔다. 이는 지난 4월 2일 발표한 국가별 관세와 같은 수준이다. 협상 시한이 3주간 연장된 셈이다. 도널드 트럼프 미국 대통령 [사진=로이터 뉴스핌] 한국 정부는 앞서 미국 측에 '제조업 협력 로드맵'을 제시했지만, 이것만으로는 미국 측의 합의를 이끌어내지 못한 것으로 알려졌다. 한국 측이 농축산물 등 민감분야를 사수하면서 '제조업 협력' 카드만으로 협상을 진행해 왔지만, 결국 한계에 봉착한 것 아니냐는 분석이 나온다. 산업부는 "새 정부 출범 이후 짧은 시간동안 국익 최우선 원칙을 갖고 치열하게 협상에 임했으나 현실적으로 모든 이슈들에 대해 합의 도출까지 시간이 부족했다"고 밝혔다. ◆ 자동차·철강 품목관세 인하 vs 농·축산물 개방 '저울질' 한미 간 몇 차례 협상에도 진통을 겪고 있는 이유는 결국 미국 정부가 농축산물 시장까지 요구하고 있기 때문이다. 더불어 한국의 정밀지도를 구글에 허용해 달라는 요구 역시 한국 정부로서는 민감한 쟁점이어서 난항이 예상된다. 한국 정부의 목표는 이 같은 민감분야를 사수하면서 자동차·철강 품목관세를 경쟁국 대비 불리하지 않은 수준으로 인하하는 것이다. 여한구 산업통상자원부 통상교섭본부장은 지난 6일 협상 결과에 대해 "자동차와 철강 등 품목관세 철폐 또는 완화가 반드시 포함돼야 한다"고 못 박았다. 여한구 산업통상자원부 통상교섭본부장(오른쪽)과 제이미슨 그리어(Jamieson Greer) USTR 대표가 5일 오후(현지시간) 미국 워싱턴 D.C.에서 관세협상에 앞서 기념사진을 찍고 있다. [사진=산업통상자원부] 2025.07.06 dream@newspim.com 문제는 농업계와 소관부처(농림축산식품부)를 어떻게 설득하느냐다. 과거 정부도 쌀 시장 개방과 쇠고기 수입을 검토했다가 강한 저항에 부딪혀 보류한 바 있다. 정부 안팎에서는 품목관세를 완전히 철폐하는 조건이라면 농축산물 시장을 개방하는 것도 고려해 볼만하다는 분위기가 읽힌다. 산업부는 8일 미국 정부의 발표에 대해 "미국 측의 주된 관심사인 무역적자 해소를 위한 국내 제도 개선, 규제 합리화 등과 함께, 양국 간 제조업 르네상스 파트너십을 통해 핵심산업 도약의 기회로 활용할 계획"이라고 밝혔다. 이는 한국 측의 요구대로 자동차, 철강 등 품목관세를 원하는 수준으로 인하(철폐)될 경우, 미국 측이 요구하고 있는 비관세장벽 개선에 대해서도 전향적으로 검토할 수 있다는 뜻으로 해석된다. 결국 품목관세 철폐와 비관세장벽 개선 두 가지 요소를 놓고 얼마나 균형적이고 합리적이 수준으로 타결되느냐가 관건이 될 전망이다. 한국 정부가 '상호호혜적이고 균형적인 협상'을 기본 원칙으로 내세우는 것도 이 때문이다. 산업부는 "관세로 인한 불확실성을 조속히 해소하기 위해 남은 기간 동안 상호 호혜적인 협상결과 도출을 위해 협상에 박차를 가할 것"이라고 강조했다. dream@newspim.com 2025-07-08 11:38
사진
'어느덧 20살' 슈퍼주니어 [서울=뉴스핌] 오광수 문화전문기자 = 슈퍼주니어(SUPER JUNIOR, 에스엠엔터테인먼트 소속)가 8일 정규 12집 'Super Junior25'(슈퍼주니어 이오)로 컴백했다. 이번 앨범은 슈퍼주니어 데뷔 20주년을 기념하는 앨범이다. 총 9곡이 수록되어 있으며, 타이틀 곡은 'Express Mode'(익스프레스 모드)다. 'Express Mode'는 댄서블한 사운드와 중독적인 후렴구가 특징인 업템포 클럽 팝 곡으로, 가사에는 현재에 멈추지 않고 다음 목표를 향해 나아가고자 하는 패기 넘치는 태도를 담았다. 어느덧 20년이 된 슈퍼주니어가 컴백을 기념하여 일문일답을 진행했다. [서울=뉴스핌] 오광수 문화전문기자 = 데뷔 20주년을 맞은 슈퍼주니어.[사진= SM엔터테인먼트] 2025.07.08 oks34@newspim.com 1. 드디어 정규 12집, 데뷔 20주년 기념 앨범이 발매되는 소감은?- 이특: 슈퍼주니어가 20년을 함께했다. 저 역시 너무나 놀라운 시간이었는데, 이번 앨범을 시작으로 앞으로 더욱 놀라운 시간을 만들어 가도록 하겠다.- 시원: 믿기지 않을 만큼 긴 시간이었던 것 같다. 하지만 그만큼 값진 시간이었다. 지금까지 함께해 준 멤버들, 스태프들, 그리고 무엇보다 변함없이 곁을 지켜준 팬분들 덕분에 이 앨범이 더욱 의미 있게 완성될 수 있었던 것 같아 감사하다. 2. 앨범명도 특별하다. 'Super Junior05'에서 'Super Junior25'가 됐는데, 슈퍼주니어에게 있어 가장 많이 바뀐 것과 그래도 여전히 바뀌지 않은 것은 무엇인지?- 희철: 가장 많이 바뀐 것은 저의 외모. 이번 앨범 준비하면서 다이어트도 하고 식단도 했는데… 여전히 바뀌지 않은 것은 이특, 은혁의 동안력과 몸무게. 둘을 보며 좋은 자극을 많이 받는다.- 예성: 정신 연령? ㅎㅎ 우리는 아직 20대 같다.- 려욱: 멤버들의 입담과 '티키타카'는 변함없는 것 같다. 대본 없이 우리끼리 카메라 하나 두고도 콘텐츠 백만 개는 나올 것 같다. [서울=뉴스핌] 오광수 문화전문기자 = 데뷔 20주년을 맞은 슈퍼주니어. [사진= SM엔터테인먼트] 2025.07.08 oks34@newspim.com 3. '히트곡 부자'로 유명한 만큼 타이틀 곡을 정하면서도 많은 고민이 있었을 것 같은데, 'Express Mode'가 선정된 이유가 있다면?- 예성: 다른 좋은 곡들도 많았지만 이 노래가 가장 '타이틀 곡' 같다고 느껴졌다.- 신동: 저희는 항상 새로운 걸 시도하려고 하지 않나, 이번에도 고민 진짜 많이 했다. 그런데 'Express Mode'를 듣자마자 다들 "이거다!" 싶었다. 슈퍼주니어다운 에너지와 재치, 그리고 요즘 감성까지 딱 잘 버무려진 곡이라, 들으면 그냥 바로 타이틀! 하는 느낌이다.- 은혁: 20주년이라는 숫자와 지금의 위치에 안주하지 않고 앞으로도 한발 한발 더 나아가겠다는 의미도 있고, 음악과 퍼포먼스도 우리를 잘 표현할 수 있다는 생각이 들었다.- 려욱: 데모 들을 때만 해도 'Haircut'에 한 표를 던졌던 나였지만, 녹음을 하고 보니 'Express Mode'가 우리의 에너지를 잘 담고 있었고 퍼포먼스까지 멋지게 보여줄 수 있을 거라 생각돼서 인정하게 됐다. 4. 최근 일상에서 나를 제일 'Express Mode'로 설레게 혹은 달리게 만드는 것은?- 희철: 반려견 기복이 산책.(웃음) 기복이 활동량이 상당해서 하루에 몇 번씩 산책을 하는데 이리 뛰고, 저리 뛰고 아주 난리도 아니다. 기복이가 저를 미친 듯이 달리게 만든다.- 예성: E.L.F.들과 어서 만나고 싶다는 생각이 저를 'Express Mode'로 달리게 만든다. 우리 더 가까워지자!- 려욱: 노래 연습을 꾸준히 하고 있다. E.L.F.들에게 멋진 노래를 들려주고 싶고, 하루빨리 콘서트로 보답하고 싶은 마음이다.- 규현: 퇴근 후 접속하는 '33 원정대'.(웃음) 오랜만에 빠지게 된 게임이다. [서울=뉴스핌] 오광수 문화전문기자 = 데뷔 20주년을 맞은 슈퍼주니어. [사진= SM엔터테인먼트] 2025.07.08 oks34@newspim.com 5. 타이틀 곡 'Express Mode' 퍼포먼스, 준비하면서 어렵지는 않았는지?- 예성: 디스크 때문에 조금 고생했지만 안무가 좋아서 더 열심히 했다.- 신동: 솔직히… 좀 힘들었다. 하하! 퍼포먼스가 진짜 'Express Mode'로 달려야 해서, 예전처럼 체력으로만 밀어붙이긴 어렵더라. 대신 디테일한 표현, 팀워크를 더 살리려고 노력했다. 근데 또 무대 올라가면 신기하게 힘이 난다. E.L.F. 앞이라 그런가 보다.- 은혁: 멤버들 모두 즐거운 분위기 속에서 열심히 잘 준비했다. 그래서 그런지 전혀 어렵지 않았다.(웃음) 6. 앨범 콘셉트인 'SUPER AWARDS'처럼 서로에게 주고 싶은 상 이름을 직접 정해본다면?- 신동: 은혁이한테 '몸이 한 개로 부족했상'을 주고 싶다. 안무 짜랴, 디렉팅 보랴, 촬영 챙기랴… 진짜 슈퍼 히어로다. 그리고 희철이 형한테는 '말은 많았지만 행동도 많았상', 은근히 뒤에서 멤버들 챙기고 조용히 마음 써준 거 다 알고 있다. 나머지 멤버들에겐? '아직도 이렇게 잘생겼상' 드린다. 왜냐면… 정말 아직도 잘생겼으니까.(웃음)- 려욱: '너네가 짱이야 상' 7. 지난 20주년을 돌아보며 가장 기억에 남는 순간은 언제인지?- 시원: 나이가 드는지 데뷔 무대가 갑자기 기억이 난다.- 려욱: 데뷔했던 순간이 제일 마음에 와 닿는다. 무중력 상태에서 우주를 떠다니듯 춤추고 노래했던 기억이 난다. 꺼진 마이크에 크게 목놓아 부른 'Twins'는 아직도 잊지 못한다.- 규현: 'SUPER SHOW' 투어를 다닐 때인 것 같다. 어느새 너무 오랜 시간 공연을 해와서 기억도 뒤죽박죽이긴 하지만 역시 남는 건 벅차게 느꼈던 공연 순간의 감동이다. [서울=뉴스핌] 오광수 문화전문기자 = 데뷔 20주년을 맞은 슈퍼주니어. [사진= SM엔터테인먼트] 2025.07.08 oks34@newspim.com 8. 슈퍼주니어하면 콘서트도 빼놓을 수 없는데, 'SUPER SHOW 10' 투어가 곧 시작된다. 200회 공연도 앞두고 있는데, 앞으로 새롭게 세워보고 싶은 기록이 있다면?- 이특: 숫자에 대한 기록이라면 300회, 400회, 계속해서 새로운 숫자를 써 나가는 것이 목표다. 그리고 시간이 더 흘렀을 때 'SUPER SHOW'가 더욱 다양한 콘텐츠로 새롭게 재탄생하기를 바라본다.- 예성: 기록에 대해선 큰 생각은 없지만 하다 보니 200회 공연이 되다니 신기하다. 벌써 우리가 이렇게 오래 공연을 하고 있다니!- 려욱: 300회까지 가면 좋을 것 같다. 슈퍼주니어 멤버들과 관객들과 함께하는 시간들이 쌓일수록 그 횟수가 어떻든 행복할 것 같다.- 규현: 가보지 못했던 곳들도 갈 수 있었으면 좋겠다. 전 세계에 E.L.F.가 살게 되는 기록도 꿈꿔본다! 9. 슈퍼주니어에게 붙는 수식어가 많은데, 제일 마음에 드는 것은? 앞으로 어떤 수식어를 더 만들어가고 싶은지?- 은혁: 너무 거창한 수식어들은 솔직히 좀 민망하고 쑥스러운 것 같다. 그냥… '수식어가 필요 없는 그룹' 슈퍼주니어라는 표현이 가장 좋지 않을까?- 려욱: '한류 광개토대왕'이 제일 좋다. 어렸을 때 광개토대왕을 좋아해서 그런지 몰라도… 내 마음에 콕 박힌다. 10. 이번 앨범으로 이루고 싶은 목표는?- 희철: 이제 우리가 무슨 바라는 목표가 있겠나… 무탈히 즐겁게 활동 잘 마치길 바란다. 사랑한다 멤버들아!! 건강하자!!- 예성: 활동 끝까지 무사히 잘 해내고 싶다. 즐겁고 행복하게 마무리하고 싶은 마음이다.- 시원: 이번 앨범은 단순한 앨범이 아니라, 저희가 걸어온 20년의 시간과 그 안에 담긴 이야기들을 다음 세대에게 전하고 싶은 마음이 크다. 이 여정이 누군가에겐 시작점의 작은 용기나 희망이 되고, 후배들에게는 '이렇게 꾸준히, 진심으로 해 나가면 가능하구나'라는 좋은 선례가 되었으면 한다. 11. 20년 동안 슈퍼주니어를 지켜준 E.L.F.에게 한 마디- 이특: 한결같이 우리를 응원해주고 사랑해주는 E.L.F.! 이제는 우리가 받았던 사랑을 돌려주고, 그 사랑에 보답하기 위해 노력하겠다. 늘 고맙고 사랑한다!- 동해: E.L.F.가 없었다면 모든 것이 불가능이라고 말하고 싶다. 아무리 꽃이 예뻐도 하늘에 햇빛이 없고 물을 주지 않으면 시들듯이, 우리는 E.L.F.라는 존재가 없으면 내일 당장 시들어 버릴 거다. E.L.F.에게 너무 고맙고 앞으로도 잘 부탁한다. 진심으로 사랑해!- 려욱: 우리와 함께해 준 영원한 친구 E.L.F.들 정말 고마워. 함께 울고 웃던 시간들이 너무 소중하다. 내 인생에 큰 선물이고 오래오래 기억하고 싶어. 20주년 너무 감사하고 우리 앞으로 함께하자. 사랑해. 슈퍼주니어는 8월부터 데뷔 20주년 기념 투어 'SUPER SHOW 10'(슈퍼쇼 10)에 돌입한다. 투어의 막을 올리는 서울 공연은 8월 22~24일 올림픽공원 KSPO DOME에서 개최된다. 또한 서울 공연을 시작으로 9월 홍콩, 자카르타, 10월 마닐라, 멕시코시티, 몬테레이, 리마, 산티아고, 11월 타이베이, 방콕, 12월 나고야, 2026년 1월 싱가포르, 마카오, 쿠알라룸푸르, 가오슝, 3월 사이타마까지 슈퍼주니어는 전 세계 16개 지역에서 투어를 이어가며 '레전드 공연킹'다운 면모를 보여주고 20주년을 화려하게 마무리할 전망이다. oks34@newspim.com 2025-07-08 13:40
안다쇼핑
Top으로 이동