전체기사 최신뉴스 GAM
KYD 디데이
홈 산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 아이에게서 배우는 AI 강화학습

기사입력 :

최종수정 :

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

우리는 어떻게 배우는가

필자가 처음 영어 공부를 시작한 것은 중학교 들어가기 전, 초등학교 6학년 때로 기억한다. 아마 공책에 a, b, c, d 알파벳을 필기체와 출판 서체로 연습한 기억이 난다. 그리고 영어로 배운 첫 문장이 “I am a boy,아니면 “You are a girl” 이 아닌가 생각한다.

        김정호 교수

본격적으로 영어를 공부한 시기는 고등학교 때이다. 그때 사용했던 영어 교재가 ‘성문종합영어’, ‘영어의 왕도’ , 그리고 ‘1200제’였다. 특히 그 중에 가장 어려운 교재가 ‘1200제”이었는데 아마도 일본 참고서를 번역한 책으로 기억한다.

그런데 이렇게 영어 공부를 시작할 때 재일 재미없었던 부분이 문법을 외우는 과정이었다. 명사, 대명사, 동사, 가정법 등 외우는 내용도 많고, 예외도 많았다. 그 규칙을 파악하고 외우고 이를 토대로 문장을 이해하고, 해석하고 작문하였다.

인공지능에서도 전통적으로 이와 비슷한 학습 방법을 써 왔다. 전통적 인공지능에서는 먼저 뇌와 지능의 동작 원리를 이해하고, 그에 맞추어 모델을 세우고 이를 컴퓨터 프로그램으로 구현하는 방법이다. 이 방법은 인간의 뇌의 동작을 인간의 논리로 파악하려 하는 방법이다. 영어 배울 때 문법으로 언어를 배우려는 시도와 같은 방법이다.

성문종합영어 참고서 내의 영어 문법과 작문 부분, [출처: tistory]


하지만 최근 딥뉴럴네트워크(DNN)으로 표현하는 인공지능은 빅데이터를 제공하고 그 데이터를 통해서 인공지능이 스스로 학습하는 방법이다. 이러한 방법을 ‘머신러닝' 인공지능이라고 한다. 여기서는 데이터를 믿고 학습한다. 이러한 머신러닝 학습 방법 중에서 인공지능 스스로 데이터를 만들어 내고 최적의 답을 만들어 내는 방법이 등장했는데, 이를 ‘강화학습(RL: Reinforcement Learning)’이라고 한다. 이를테면 컴퓨터 스스로가 자율학습을 해서 지능을 쌓아가는 방법이다.

아기가 처음 말을 배울 때 하는 말을 ‘옹알이’라고 한다. 옹알이를 통해서 엄마와 소통하면서 말을 배워나간다. 그때 처음 배우는 말이 ‘엄마’, ‘맘마’, ‘아빠’ 와 같은 단어들이다. 맘마라고 부르면 엄마가 우유를 주고, 엄마라고 부르면 엄마가 따뜻한 눈길을 주고 사랑으로 안아준다. 이처럼 아기가 언어를 배우는 과정에서는 아기가 주변 환경과 교류하면서 보상을 얻는 과정에서 말을 배운다. 우리처럼 문법을 통해서 배우지 않는다.

또한 아기가 걸음마를 배우는 과정도 비슷하다. 걷고, 넘어지고 다치면서, 시행착오를 거치면서 아장 아장 걷기를 배운다. 이때 환경은 거실 마루이고, 보상은 걷는 기쁨과 엄마의 웃음이다. 이처럼 주변환경 속에서 행동하고 보상 받으면서, 그 결과 최선의 결정과 행동을 하면서 학습하는 방법을 ‘강화학습’ 인공지능이라고 한다. 그래서 강화학습은 인간이 본능적으로 배우는 학습 방법이다.

아기가 옹알이를 하며 말을 배우고 있다. [출처: tistory]


시행착오 통한 강화학습, 로봇과 게임에도 적용 가능

강화학습에서는 주변 환경(Environment)이 있고 그 상태(State)를 벡터로 표현한다. 다양한 시도(Action)와 보상(Reward)를 얻으면서 스토리(Episode)를 만들고, 그 결과로 환경을 파악해 간다. 이렇게 시행착오를 거쳐서 학습하게 된다. 그리고 최적의 정책(Policy)을 찾아간다.

생쥐의 미로 찾기 게임이 강화학습의 좋은 한 예가 된다. 이 때 미로의 구조가 환경이 되고, 최종적으로 치즈를 먹게 되면 보상을 얻게 된다. 그렇지만 최단 시간 내에 찾아야 하는 조건이 붙게 된다. 이처럼 각 상태에 따라 미래를 정할 수 있고, 과거는 묻지 않는 조건을 강화학습에서는 마르코프(Markov) 조건이라고 한다. 강화학습을 적용하려면 마크코프 조건을 만족해야 한다. 과거는 묻지 않고, 현재 상태로만 그의 미래를 점치는 조건이다. 과거까지 따지면 너무 복잡해서 보상을 예측하기 어렵기 때문이다.

강화학습은 로봇의 걷기 제어에도 적용될 수 있다. 로봇이 넘어지고 걷기를 반복하면서 인간에게 가까운 최적의 보행 제어를 이러한 강화 학습 방법으로 찾을 수 있다. 마찬가지로 이러한 학습은 드론의 조종, 헬리콥터 조종, 항공기의 조종 제어에 사용할 수 있다. 더 나아가 자율주행 자동차의 자동 운전에 강화학습이 사용되어 주어진 조건(State) 에서 최적의 자율 운전을 할 수 있다. 이때 최종적으로 주어지는 보상이 연료비의 절약이나 사고율 저하, 안전성 향상 등이 될 수 있다.

이때 시행착오의 과정은 시간과 비용이 든다. 자동차를 부수기에는 비용이 비싸다. 경우에 따라 시행과 보상을 컴퓨터 시뮬레이션으로 대신 하기도 한다.

강화학습은 게임에 적용되기도 한다. 블록깨기(Atari Breakout)게임을 강화학습으로 하는 경우 금방 최적의 조건을 찾는 것을 볼 수 있었다. 돌이 블록 뒤로 들어가면 여러 번의 반사과정을 반복하면서 저절로 대부분의 블록이 격파되고 점수가 올라간다.

그래서 강화학습을 수행한 컴퓨터와의 인간과의 게임이 이제 더 이상 상대가 되지 않는다. 인공지능은 이런 경우뿐만 아니라 주식투자, 재고관리, 웹사이트의 광고 배치, 상품추천 등 다양한 분야에서 중요한 결정을 인간을 대신해서 할 수 있다. 인간처럼 이 때 보상은 경영상 이익이 된다. 컴퓨터는 졸거나, 피곤해 하거나, 술을 마시지도 불평하지도 않는다. 강화 학습으로 훈련한 보상 체계만 따를 뿐이다.

생쥐 미로게임에서 다양한 시도를 통해 치즈를 얻는 길을 찾는 인공지능 강화학습의 내부 구조, [출처: KAIST]
강화학습 인공지능으로 무장한 컴퓨터의 블록깨기(Atari Breakout) 게임, [출처:Ecosia]


강화학습은 인공지능의 '무기' 

이와 같이 강화학습은 데이터와 정답 없이 스스로 학습이 가능한 인공지능 알고리즘이다. 공부로 치면 자율학습 공부 방법이다. 인공지능이 데이터를 이용해서 학습하기 위해서는 데이터를 모으는 작업에서 많은 비용을 지불 해야 한다. 데이터 수거 장치, 전송 장치, 저장 장치에 투자해야 한다. 5G 무선 통신도 투자 비용이 크다. 그러면서도 데이터를 모으려면 개인의 허락을 받아야 하고, 개인 정보 보호 문제도 극복해야 한다. 그렇지만 강화학습은 데이터 없이 학습한다. 인공지능이 점점 강력해지는 또 다른 이유이기도 하다. 

 

joungho@kaist.ac.kr

[김정호 카이스트 전기 및 전자공학과 교수]

[뉴스핌 베스트 기사]

사진
20일 상암서 '마이 케이팝 스타' 결선...우승자는 [서울=뉴스핌] 정태이 기자 = 전 세계 60개국의 지원자가 참여한 글로벌 오디션 '마이 케이팝 스타(MY KPOP STAR)'가 최종 우승자를 가린다. 종합뉴스통신사 뉴스핌의 글로벌 오디션 '마이 케이팝 스타' 로고. [사진=뉴스핌DB] 2026.09.15 alice09@newspim.com 종합뉴스통신사 뉴스핌이 주최·주관하고 문화체육관광부가 후원하는 '마이 케이팝 스타'의 오프라인 결선이 오는 20일 오후 3시 서울 마포구 상암동 큐브컨벤션센터에서 개최된다. 이번 오디션은 나이와 국적에 제한 없이 진행됐다. 치열한 예선과 본선을 거쳐 국내 5팀과 해외 5팀 등 총 10팀이 최종 결선에 진출했다. 국내 결선 진출자는 고도아, 박희주, 윤근아, 조하음, 황승대다. 해외에서는 다니 리베라(Dani Rivera·브라질), 샌디 에고(Sandy Ego·이스라엘), 시리나(Shirina·우즈베키스탄), 메이 칫 뗏(Maye Chit Thet·미얀마), 바흐테(Vachte·이란)가 무대에 올라 최종 우승을 놓고 경쟁을 펼친다. 결선을 앞두고 진행된 사전투표에서는 브라질의 다니 리베라가 선두를 차지했다. 지난 12일부터 일주일간 진행된 사전투표에는 총 2만7947표가 모였으며, 다니 리베라는 이 가운데 1만5539표(55.6%)를 얻어 1위에 올랐다. 이어 샌디 에고가 5725표(20.5%)로 2위, 시리나가 4192표(15.0%)로 3위를 기록했다. 국내 참가자 가운데서는 조하음이 862표로 가장 높은 순위인 4위에 올랐다. [서울=뉴스핌] 이지은 기자 = 뉴스핌 주최 글로벌 오디션 '마이 케이팝 스타'의 사전 투표가 끝난 가운데, 브라질의 다니 리베라가 1위를 차지했다. (명령어: 사전투표 결과를 토대로 그래프 이미지를 만들어줘.) [이미지=CHAT GPT] [사진= 2026.11.19 alice09@newspim.com 사전투표에서 선두를 차지한 다니 리베라가 최종 우승까지 이어갈 수 있을지도 관심사다. 이번 대회는 대중의 평가 100%로 우승자를 결정한다. 사전투표 결과는 최종 점수에 10% 반영되며, 결선 당일 현장 투표와 온라인 투표가 각각 45%를 차지한다. 다니 리베라가 사전투표에서 절반 이상의 표를 얻으며 앞섰지만, 현장과 온라인 투표의 반영 비율이 총 90%에 달하는 만큼 결선 당일 결과에 따라 최종 순위가 달라질 수 있다. 이 같은 경쟁 끝에 최종 우승을 차지한 참가자에게는 상금 1억 원이 수여된다. 국내 참가자는 2위부터 10위까지 각각 200만원의 상금을 받으며, 해외 결선 진출자에게는 왕복 항공권과 숙박비 등 체류 비용이 지원된다. 이 밖에도 글로벌 쇼케이스 및 공연 참여 기회, 국내 엔터테인먼트사의 현장 캐스팅 기회 등이 마련됐다. K팝 보컬·댄스 트레이닝과 숏폼 콘텐츠 제작 지원도 제공된다. 국내외 10팀이 최종 무대에서 맞붙는 가운데, 사전투표에서 앞선 참가자들이 우위를 이어갈지, 결선 당일 새로운 우승자가 탄생할지 주목된다. '마이 케이팝 스타' 최종 결선 관람은 공식 홈페이지를 통해 신청할 수 있다. taeyi427@newspim.com 2026-11-19 15:18
사진
스마트기기 등 수능 부정행위 98명 [서울=뉴스핌] 황혜영 기자 = 2027학년도 대학수학능력시험에서 스마트기기 등 전자기기 관련 부정행위로 98명이 적발됐다. 단순 소지가 93명, 스마트기기 활용으로 분류된 사례가 5건이다. 시험시간 위반 등 일반적인 부정행위는 포함되지 않은 수치로 전체 적발 규모는 추가 집계를 거쳐 공개된다. 최은옥 교육부 차관은 19일 오후 7시 수능 진행 상황 2차 브리핑에서 "지금까지 말씀드린 총 98명은 모두 부정행위자로 처리됐다"며 "스마트기기를 활용한 부정행위자에 대해서는 보다 엄중한 책임을 묻도록 하겠다"고 밝혔다. 집계는 이날 오후 4시 37분 종료된 4교시 기준이다. [서울=뉴스핌] 사진공동취재단 = 2027학년도 대학수학능력시험(수능)이 실시된 19일 오전 서울 용산구 용산고에서 한 감독관이 수험생의 안경을 확인하고 있다. 2026.11.19 photo@newspim.com 이해숙 교육부 고등평생정책실장은 "98명은 전부 스마트기기 관련된 대상자"라며 "시간을 어긴다든가 하는 일반적인 부정행위 유형은 이 통계에 포함돼 있지 않다"고 설명했다. 교육부는 다른 유형의 부정행위도 종합해 추후 발표할 방침이다. 스마트기기 활용으로 분류된 5건은 충남의 스마트안경 사용 1건, 경기의 소형카메라·무선이어폰 소지 1건, 서울의 스마트폰 문제지 촬영 1건, 서울·경기의 화장실 내 스마트폰 사용 각 1건이다. 교육부는 시·도교육청 보고를 바탕으로 분류했으며 증거와 진술서 등을 검토해 최종 판단하겠다고 밝혔다. 중대 사안의 경찰 인계 규모와 고발 일정은 확정해 공개하지 않았다. 이 실장은 "중대한 사항 같은 경우에는 경찰과 관련 사안을 공유받고 있다"며 "구체적인 건수는 지금 보고를 받고 있는 만큼 나중에 정리해서 말씀드리겠다"고 말했다. 이 실장은 적발된 98명 모두가 다음 해 수능 응시 제한 대상인지에 대해 "심의위원회에서 경중을 따지는 절차를 거쳐 결정하게 된다"며 "지금 98건을 콕 집어 얘기하기에는 절차적으로 기다려 봐야 할 것 같다"고 설명했다. 단순 소지로 적발된 93명 가운데 49명은 세 차례 위급재난문자 발송으로 확인됐다. 오전 8시 30분 1차 문자로 31명, 오후 2시 21분 2차 문자로 11명, 오후 2시 57분 3차 문자로 7명이 적발됐다. 나머지 44명은 재난문자와 관계없이 전자기기 소지가 확인됐으며 와이파이 신호 탐지로 적발된 2명도 여기에 포함됐다. 신진용 교육부 대입정책과장은 "49건은 위급재난문자 시 본인 몸이나 복도에 배치된 가방에서 소리가 울린 것이고 44건도 마찬가지로 위급재난문자와 관계없이 소지한 건"이라며 "실제로 활용된 것이라고 판단하는 건들은 5건"이라고 설명했다. [무안·광주=뉴스핌] 박진형 기자 = 2027학년도 대학수학능력시험(수능)일인 19일 전남광주통합특별시 서구 광덕고등학교(26지구 제20시험장) 시험실에서 감독관이 안경을 검수하고 있다. 2026.11.19 bless4ya@newspim.com 스마트폰으로 문제지를 촬영하거나 화장실에서 사용한 수험생들이 재난문자 발송 때 적발되지 않은 경위는 추가 확인하기로 했다. 정부는 재난문자 발송과 함께 모든 시험장에 와이파이·블루투스 신호 탐지 전담 감독관을 추가 배치했다. 이 실장은 "공공와이파이까지 포함해 전체적으로 차단했다"며 "현재 동원할 수 있는 기술이나 방법으로는 최선을 다했다고 생각한다"고 말했다. 한국사 시험 도중 발송된 3차 문자와 관련해서는 외부에서 울린 문자 소리로 시험에 지장이 생겼다면 지체된 만큼 시간을 추가 부여하도록 사전 지침을 내렸다고 설명했다. 실제 시간 보전 사례는 집계 중이다. 교육부와 한국교육과정평가원은 학교의 판단 자료와 결과서를 토대로 1차 심의한 뒤 이의제기와 재심의를 거쳐 최종 처분을 결정한다. 모든 절차는 12월 11일 성적 발표 전에 마무리할 예정이다. 신 과장은 "성적 발표 이전에 마무리해 기존 학생들 성적에 영향 없도록 조치하겠다"고 밝혔다. 최 차관은 "시험 중 소형카메라를 적발하는 등 성실히 감독에 임해주신 감독관분들이 민원·소송 등으로 피해를 입지 않도록 모든 책임을 정부가 지겠다"고 밝혔다. hyeng0@newspim.com 2026-11-19 19:50
기사 번역
결과물 출력을 준비하고 있어요.
종목 추적기

S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

결과물 출력을 준비하고 있어요.

긍정 영향 종목

  • Lockheed Martin Corp. Industrials
    우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

부정 영향 종목

  • Caterpillar Inc. Industrials
    우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
안다쇼핑
Top으로 이동