전체기사 최신뉴스 GAM
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 아이에게서 배우는 AI 강화학습

기사입력 : 2019년04월22일 08:00

최종수정 : 2019년04월22일 08:00

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

우리는 어떻게 배우는가

필자가 처음 영어 공부를 시작한 것은 중학교 들어가기 전, 초등학교 6학년 때로 기억한다. 아마 공책에 a, b, c, d 알파벳을 필기체와 출판 서체로 연습한 기억이 난다. 그리고 영어로 배운 첫 문장이 “I am a boy,아니면 “You are a girl” 이 아닌가 생각한다.

        김정호 교수

본격적으로 영어를 공부한 시기는 고등학교 때이다. 그때 사용했던 영어 교재가 ‘성문종합영어’, ‘영어의 왕도’ , 그리고 ‘1200제’였다. 특히 그 중에 가장 어려운 교재가 ‘1200제”이었는데 아마도 일본 참고서를 번역한 책으로 기억한다.

그런데 이렇게 영어 공부를 시작할 때 재일 재미없었던 부분이 문법을 외우는 과정이었다. 명사, 대명사, 동사, 가정법 등 외우는 내용도 많고, 예외도 많았다. 그 규칙을 파악하고 외우고 이를 토대로 문장을 이해하고, 해석하고 작문하였다.

인공지능에서도 전통적으로 이와 비슷한 학습 방법을 써 왔다. 전통적 인공지능에서는 먼저 뇌와 지능의 동작 원리를 이해하고, 그에 맞추어 모델을 세우고 이를 컴퓨터 프로그램으로 구현하는 방법이다. 이 방법은 인간의 뇌의 동작을 인간의 논리로 파악하려 하는 방법이다. 영어 배울 때 문법으로 언어를 배우려는 시도와 같은 방법이다.

성문종합영어 참고서 내의 영어 문법과 작문 부분, [출처: tistory]


하지만 최근 딥뉴럴네트워크(DNN)으로 표현하는 인공지능은 빅데이터를 제공하고 그 데이터를 통해서 인공지능이 스스로 학습하는 방법이다. 이러한 방법을 ‘머신러닝' 인공지능이라고 한다. 여기서는 데이터를 믿고 학습한다. 이러한 머신러닝 학습 방법 중에서 인공지능 스스로 데이터를 만들어 내고 최적의 답을 만들어 내는 방법이 등장했는데, 이를 ‘강화학습(RL: Reinforcement Learning)’이라고 한다. 이를테면 컴퓨터 스스로가 자율학습을 해서 지능을 쌓아가는 방법이다.

아기가 처음 말을 배울 때 하는 말을 ‘옹알이’라고 한다. 옹알이를 통해서 엄마와 소통하면서 말을 배워나간다. 그때 처음 배우는 말이 ‘엄마’, ‘맘마’, ‘아빠’ 와 같은 단어들이다. 맘마라고 부르면 엄마가 우유를 주고, 엄마라고 부르면 엄마가 따뜻한 눈길을 주고 사랑으로 안아준다. 이처럼 아기가 언어를 배우는 과정에서는 아기가 주변 환경과 교류하면서 보상을 얻는 과정에서 말을 배운다. 우리처럼 문법을 통해서 배우지 않는다.

또한 아기가 걸음마를 배우는 과정도 비슷하다. 걷고, 넘어지고 다치면서, 시행착오를 거치면서 아장 아장 걷기를 배운다. 이때 환경은 거실 마루이고, 보상은 걷는 기쁨과 엄마의 웃음이다. 이처럼 주변환경 속에서 행동하고 보상 받으면서, 그 결과 최선의 결정과 행동을 하면서 학습하는 방법을 ‘강화학습’ 인공지능이라고 한다. 그래서 강화학습은 인간이 본능적으로 배우는 학습 방법이다.

아기가 옹알이를 하며 말을 배우고 있다. [출처: tistory]


시행착오 통한 강화학습, 로봇과 게임에도 적용 가능

강화학습에서는 주변 환경(Environment)이 있고 그 상태(State)를 벡터로 표현한다. 다양한 시도(Action)와 보상(Reward)를 얻으면서 스토리(Episode)를 만들고, 그 결과로 환경을 파악해 간다. 이렇게 시행착오를 거쳐서 학습하게 된다. 그리고 최적의 정책(Policy)을 찾아간다.

생쥐의 미로 찾기 게임이 강화학습의 좋은 한 예가 된다. 이 때 미로의 구조가 환경이 되고, 최종적으로 치즈를 먹게 되면 보상을 얻게 된다. 그렇지만 최단 시간 내에 찾아야 하는 조건이 붙게 된다. 이처럼 각 상태에 따라 미래를 정할 수 있고, 과거는 묻지 않는 조건을 강화학습에서는 마르코프(Markov) 조건이라고 한다. 강화학습을 적용하려면 마크코프 조건을 만족해야 한다. 과거는 묻지 않고, 현재 상태로만 그의 미래를 점치는 조건이다. 과거까지 따지면 너무 복잡해서 보상을 예측하기 어렵기 때문이다.

강화학습은 로봇의 걷기 제어에도 적용될 수 있다. 로봇이 넘어지고 걷기를 반복하면서 인간에게 가까운 최적의 보행 제어를 이러한 강화 학습 방법으로 찾을 수 있다. 마찬가지로 이러한 학습은 드론의 조종, 헬리콥터 조종, 항공기의 조종 제어에 사용할 수 있다. 더 나아가 자율주행 자동차의 자동 운전에 강화학습이 사용되어 주어진 조건(State) 에서 최적의 자율 운전을 할 수 있다. 이때 최종적으로 주어지는 보상이 연료비의 절약이나 사고율 저하, 안전성 향상 등이 될 수 있다.

이때 시행착오의 과정은 시간과 비용이 든다. 자동차를 부수기에는 비용이 비싸다. 경우에 따라 시행과 보상을 컴퓨터 시뮬레이션으로 대신 하기도 한다.

강화학습은 게임에 적용되기도 한다. 블록깨기(Atari Breakout)게임을 강화학습으로 하는 경우 금방 최적의 조건을 찾는 것을 볼 수 있었다. 돌이 블록 뒤로 들어가면 여러 번의 반사과정을 반복하면서 저절로 대부분의 블록이 격파되고 점수가 올라간다.

그래서 강화학습을 수행한 컴퓨터와의 인간과의 게임이 이제 더 이상 상대가 되지 않는다. 인공지능은 이런 경우뿐만 아니라 주식투자, 재고관리, 웹사이트의 광고 배치, 상품추천 등 다양한 분야에서 중요한 결정을 인간을 대신해서 할 수 있다. 인간처럼 이 때 보상은 경영상 이익이 된다. 컴퓨터는 졸거나, 피곤해 하거나, 술을 마시지도 불평하지도 않는다. 강화 학습으로 훈련한 보상 체계만 따를 뿐이다.

생쥐 미로게임에서 다양한 시도를 통해 치즈를 얻는 길을 찾는 인공지능 강화학습의 내부 구조, [출처: KAIST]
강화학습 인공지능으로 무장한 컴퓨터의 블록깨기(Atari Breakout) 게임, [출처:Ecosia]


강화학습은 인공지능의 '무기' 

이와 같이 강화학습은 데이터와 정답 없이 스스로 학습이 가능한 인공지능 알고리즘이다. 공부로 치면 자율학습 공부 방법이다. 인공지능이 데이터를 이용해서 학습하기 위해서는 데이터를 모으는 작업에서 많은 비용을 지불 해야 한다. 데이터 수거 장치, 전송 장치, 저장 장치에 투자해야 한다. 5G 무선 통신도 투자 비용이 크다. 그러면서도 데이터를 모으려면 개인의 허락을 받아야 하고, 개인 정보 보호 문제도 극복해야 한다. 그렇지만 강화학습은 데이터 없이 학습한다. 인공지능이 점점 강력해지는 또 다른 이유이기도 하다. 

 

joungho@kaist.ac.kr

[김정호 카이스트 전기 및 전자공학과 교수]

[뉴스핌 베스트 기사]

사진
트럼프, 韓 4대 그룹 총수들과 골프 [서울=뉴스핌] 송은정 기자 = 도널드 트럼프 미국 대통령이 한국을 비롯한 아시아 주요 기업 총수들과 함께 한나절 동안 '골프 회동'을 진행했다. 글로벌 통상 현안이 산적한 가운데 열린 자리여서 관세와 대미 투자 관련 의견 교환 여부에 관심이 쏠린다. (왼쪽부터)이재용 삼성전자 회장, 최태원 SK 회장, 정의선 현대차 회장, 구광모 LG 회장 [사진=뉴스핌DB] 19일 외신에 따르면 18일(현지시각) 트럼프 대통령은 오전 9시쯤 플로리다주 팜비치의 마러라고 별장을 나와 인근 '트럼프 인터내셔널 골프클럽'으로 이동해 오후 5시쯤까지 라운딩을 즐겼다. 백악관 풀기자단은 "트럼프 대통령이 오전 9시15분 골프장에 도착했다"고 전했다. 이날 행사에는 이재용 삼성전자 회장, 최태원 SK그룹 회장, 정의선 현대차그룹 회장, 구광모 LG그룹 회장, 김동관 한화그룹 부회장 등 한국 주요 대기업 총수들이 참석한 것으로 알려졌다. 일본 소프트뱅크 손정의 회장이 이들을 초청했으며, 일본과 대만 주요 기업인들도 함께 자리했다. 한국의 주요 재벌기업 총수들이 집단적으로 미국의 대통령 및 정·관계 주요 인사들과 함께 골프를 즐긴 것은 사상 유례가 없는 일이다. 통상 4인 1조로 진행되는 아마추어 골프 경기에서 트럼프 대통령이 누구와 한 조를 이뤘는지는 알려지지 않았다. 백악관은 풀기자단의 확인 요청도 거부했다. 골프장 입구는 경호원들에 의해 외부인의 접근이 차단됐다. 골프장 주변도 높은 나무로 빽빽이 둘러싸여 내부 확인은 어려웠던 것으로 알려졌다. 트럼프 대통령이 한국 기업인들과 동반 라운딩을 하지 않았더라도 경기 전후 또는 점심시간이나 휴식시간 등을 활용해 대화를 나눴을 가능성이 있다. 이 자리에서 반도체·자동차·배터리·조선 등 분야에서 이들 기업의 대미 투자 및 관세에 대한 의견이 오갔을지에 대해 관심이 쏠리고 있다. 한편 마러라고 별장 일대에서는 경찰이 기자와 시민의 접근을 통제하며 "VIP들이 있다"며 경계태세를 유지한 것으로 전해졌다. yuniya@newspim.com 2025-10-19 10:00
사진
김세영, 고향 땅에서 '5년만의 통산 13승' [서울=뉴스핌] 박상욱 기자 = '빨간 바지의 마법사'가 화려한 금의환향 퍼포먼스를 보여줬다. 고향 팬들과 가족의 열렬한 응원을 받은 김세영(31·메디힐)이 고향 땅에서 와이어 투 와이어로 천금 같은 우승 트로피를 들어올렸다. 2020년 11월 펠리컨 챔피언십 이후 5년이라는 긴 침묵을 깨고 LPGA 통산 13승을 기록했다. 한국은 올 시즌 6승과 함께 7명째 LPGA 우승자를 배출했다. 김세영은 19일 전남 해남군 파인비치 골프링크스(파72·6785야드)에서 열린 미국여자프로골프(LPGA) 투어 BMW 레이디스 챔피언십 최종일 4라운드에서 5언더파 67타를 적어내 최종 합계 24언더파 264를 기록, 단독 2위 하타오가 나사(일본)를 4타 차로 따돌리고 정상에 올랐다. 24언더파는 대회 72홀 최저타 신기록이다. 우승 상금 34만 5000달러(약 4억9000만원)를 보태 통산 1518만 달러의 상금을 쌓아 로레나 오초아(멕시코)를 제치고 역대 상금 10위에 올랐다. 김세영이 19일 열린 LPGA 투어 BMW 레이디스 챔피언십 최종일 우승 트로피를 들고 포즈를 취하고 있다. [사진=LPGA] 이날 4타 차 선두로 출발한 김세영은 초반 불안한 출발을 보였다. 3번 홀에서 짧은 파 퍼트를 놓치며 1번 홀에서 버디를 잡은 노예림에게 2타 차까지 쫓겼다. 그러나 5~7번 홀에서 3연속 버디를 잡아 추격자들의 의지를 꺾었다. 이어 9번 홀(파4)에서 버디를 추가하며 2위와 4타 차로 벌려 우승 가능성을 높였다. 후반에는 추격자들이 타수를 줄이지 못하au 단독 2위 경쟁을 하는 사이 김세영은 편안하게 타수를 지켜가며 우승을 굳히는 상황으로 진행됐다. 후반 첫 4개 홀을 파로 지나간 김세영은 14, 15번 홀에서 버디를 보태 2위로 치고 올라온 셀린 부티에(프랑스)와 6타 차까지 벌려 사실상 우승을 확정했다. 김세영이 19일 열린 LPGA 투어 BMW 레이디스 챔피언십 최종일 챔피언 퍼트를 넣은 뒤 기뻐하고 있다. [사진=LPGA SNS동영상 캡처] 해남 옆동네인 전남 영암군에서 태어난 김세영은 한국 국적 선수로는 2021년 고진영 이후 4년 만에 이 대회 챔피언에 올랐다. 2019년에 시작한 BMW 레이디스 챔피언십은 2023년까지 한국 선수 혹은 한국계 선수들이 우승컵을 가져갔다. 2019년 장하나, 2021년 고진영, 2022년 리디아 고(뉴질랜드), 2023년 이민지(호주)가 우승했고 지난해엔 호주의 해나 그린이 이 대회 최초로 한국 또는 한국계 선수가 아닌 우승자로 이름을 남겼다. 2025 BMW 레이디스 챔피언십 우승자 안세영. [사진=LPGA] 김세영은 2015년 LPGA 투어에 데뷔해 3승을 거두며 신인상을 수상했다. 이후 2020년까지 매년 우승 트로피를 들어 올렸다. 2019년에는 3승을 쓸어 담았고 2020년에는 메이저 대회인 KPMG 위민스 PGA 챔피언십 우승을 포함해 2승을 달성하며 올해의 선수상까지 거머쥐었다. 특히 김세영은 2018년 7월 손베리 크리크 클래식에서 31언더파(63-65-64-65, 257타)로 우승하며 남녀 통틀어 72홀 역대 최저타 및 최다 언더파 신기록을 세웠다. 이전 기록은 LPGA 애니카 소렌스탐의 27언더파, PGA 어니 엘스의 30언더파였다. 한국 선수들은 이날 대약진했다. 김아림이 이날 6타를 줄이며 공동 3위에 올랐고 안나린과 최혜진은 무려 9타씩 줄여 나란히 공동 7위에 랭크됐다. 김효주와 이소미가 공동 10위에 자리해 한국 선수 6명이 톱10에 진입했다. 고진영도 8타를 줄여 고교생 아마추어 오수민과 함께 공동 19위로 순위를 크게 끌어 올렸다. LPGA 투어 BMW 레이디스 챔피언십 대회 중 은퇴 기념 케이크를 선물 받은 지은희(가운데). [사진=LPGA] 19일 열린 LPGA 투어 BMW 레이디스 챔피언십 최종일 캐디로 나선 최나연. [사진=LPGA] 19년 LPGA 투어 생활을 마감하는 은퇴 무대로 이번 대회에 공동 24위로 마친 지은희는 9번 홀에서 현역 마지막 퍼트를 버디로 장식하며 갤러리들의 뜨거운 박수 갈채를 받았다. 루키 윤이나는 3타를 줄이는 데 그쳐 공동 24위로 톱10 진입에 실패했다. 2023년 은퇴한 최나연은 이번 대회에서 이정은5의 캐디로 나서 눈길을 끌었다. psoq1337@newspim.com 2025-10-19 16:10
기사 번역
결과물 출력을 준비하고 있어요.
기사제목
기사가 번역된 내용입니다.
종목 추적기

S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

결과물 출력을 준비하고 있어요.

긍정 영향 종목

  • Lockheed Martin Corp. Industrials
    우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

부정 영향 종목

  • Caterpillar Inc. Industrials
    우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
안다쇼핑
Top으로 이동