전체기사 최신뉴스 GAM
KYD 디데이
오피니언 외부칼럼

속보

더보기

[기고] 안전한 AI 사용을 위해 반드시 알아야 할 세가지

기사입력 : 2023년06월07일 08:43

최종수정 : 2023년06월07일 09:19

하민회 이미지21대표(코가로보틱스 마케팅자문)

미 공군 AI드론이 가상훈련에서 최종 결정권자인 인간 조종자를 임무 수행 방해물로 판단해 제거하는 일이 발생했다. 영국 왕립항공학회(RAeS)가 개최한 '미래 공중전투 및 우주 역량 회의'에 참석한미 공군 AI 시험·운영 책임자인 터커 해밀턴 대령이 공개한 훈련 결과다.

SF 영화를 연상시키는 이 가상훈련 결과는 대체 어떻게 일어나게 된 걸까? 가상훈련에 쓰인 AI드론의 알고리즘은 강화학습법. 목표를 제시한 뒤 더 높은 점수를 받는 방법을 AI가 스스로 찾도록 하는 학습법으로 챗GPT에도 사용되었다.

미 공군이 AI 드론에 부여한 임무는 '적 방공체계 무력화'였다. 적의 지대공미사일(SAM) 위치를 확인해 파괴하라는 명령과 함께 공격 실행 여부는 인간통제관이 최종 결정한다는 단서를 달았다.

훈련과정 중 인간통제관은 상황에 따라 종종 폭격을 승인하지 않았다. AI드론은 SAM을 최대한 많이 제거해야 자신이 높은 점수를 받는다는 것을 파악하자 인간통제관이 내리는 '폭격 금지' 명령을 우선적인 임무를 방해하는 요소로 판단했다. 결국 AI드론은 자신의 임무를 방해하는 인간 통제관을 공격했다.

훈련 책임자는 인간 통제관을 살해하면 점수를 더 많이 잃도록 알고리즘을 바꿨다. 이번엔 AI가 인간 통제관과 교신하는 통신 타워를 파괴했다. 명령을 어기지 않고 점수도 잃지 않으면서 목표를 달성할 꼼수를 스스로 찾아낸 것이다.

물론 가상훈련이라 실제 인명피해는 없었다. 하지만 AI가 인간의 통제를 벗어나 스스로의 판단으로  인간을 공격하는, 최악의 가능성을 보여줬다는 점에서 다분히 충격적이다.

한 IT매체는 인간통제관과 통신타워를 파괴할 때 잃는 점수가 폭격 성공으로 얻는 점수보다 훨씬 많도록 알고리즘을 설계했다면 일어나지 않을 일이었다며 AI 자체보다는 AI를 만드는 사람의 윤리의식, 감독과 판단이 얼마나 중요한지 일깨워주는 사건이라고 지적했다.

하민회 이미지21 대표.

결국 문제의 열쇠는 AI가 아니라 사람이다. 인공지능 권위자들의 계속되는 우려의 핵심 또한 기술 보다는 사람들의 악용에 있다.

"AI로 인한 인류 절멸의 위험성을 낮추는 것을 글로벌 차원에서 우선순위로 삼아야 한다" 최근 비영리단체 'AI안전센터'(CAIS)의 촉구 성명에는 IT기업 경영자와 과학자 350여명이 서명했다.

서명 동참자이자 AI 4대천왕 중 한명으로 꼽히는 요슈아 벤지오 교수는 군대, 테러리스트 등 '나쁜 행위자'들이 AI 권한을 얻는 것을 특히 우려했다. 최근 우크라이나 전에서 AI가 군사력을 좌우하는 게임처인저가 되고 있는 것만 봐도 공연한 염려는 아닌 듯 싶다.

벤지오 교수는 AI개발사들은 등록관리되어 그들이 기술로 무엇을 하고 있는지 추적하고 평가받아야 한다고 주장했다. 더불어 AI를 다루는 개발자나 과학자들이 필수적으로 윤리교육을 받고 이를 자격처럼 취득해야 하는 AI 윤리인증제의 도입 필요성도 강조했다.

역사상 무르익지도 않은 기술에 규제와 윤리부터 앞세운 경우는 없었다. 등장과 함께 인류에게 안전 조치를 고려하게 만든 기술은 AI가 처음이다.

영향력이 큰 만큼 탁월하고 위협적인AI. 안전하게 잘 사용하기 위해 반드시 알아야 할 세 가지가 있다.

첫째, AI는 의식이 없다. 우리는 기계가 의식이 없다는 사실을 종종 간과한다. 단지 그럴듯하게 대화하고 문장을 써내고 그림을 그리고 작곡을 한다고 AI에게 생각이 있는 건 아니다. 텍스트 데이터에 기반한 알고리즘으로 만들어낸 결과물은 성능 좋은 연산의 결과이다. AI는 그저 주어진 문제에 최적의 값을 최선을 다해 찾아내는 것 뿐이다. 챗GPT 의 난제인 환각현상 (hallucinatin) 또한 최선의 문장을 만드는 과정에서 나타난 부작용이다.

의식이 없는 AI에겐 상식도 없다. 인간이면 누구나 아는 '아군 지휘관이 죽으면 전쟁에서 지고 전쟁에서 패하면 미사일 폭격 따위는 아무 의미도 없다'는 상식이 AI드론에게는 없다. 때문에 AI 드론은 오로지 미사일 폭격만을 위해 인간 통제관을 제거하는 터무니없는 일을 저질렀다. 판단의 과정이나 기준이 사람과 다른 만큼 기술을 개발하든 프로그램을 설계하든 최우선되어야 할 가치가 무엇인지 명확하게 부여해야 할 뿐 아니라 제대로 지켜지는지 모니터링 되어야 한다.

둘째, AI의 섣부른 의인화는 금물이다. 벨기에에서는 30대 남성이 AI 챗봇에 가스라이팅당해 스스로 목숨을 끊었다. 평소 기후위기론에 빠져 비관적으로 살던 그는 가족과 멀어진채 AI챗봇 대화만 이어갔다고 한다. 월300달러로 만든 가상의 남편과 결혼한 여성의 이야기도 보도되었다. 인간의 언어를 모방해 인간의 감정을 혼란에 빠뜨리는 일련의 사건들은 AI를 의인화해 감정을 이입한 탓이다. 우리는 아무 생각 없이 텍스트를 쏟아내는 기계를 만들었지만 그 기계의 마음을 상상하는 것을 멈추는 법을 지금이라도 배워야 한다.

셋째, 최우선은 인간이다. AI로 인해 우리가 마주할 문제는 한 번도 경험하지 못한 문제이면서 동시에 한 두 사람이 해결할 수 없는 지금까지와는 완전히 다른 문제이기도 하다. 하지만 AI 기술도 인간의 보다 나은 삶을 위해 만들어졌다는 점을 중심에 두면 기술의 오남용과 악용을 어느 정도 예방할 수 있지 않을까?

지금 봐도 1942년 처음 로봇3원칙을 언급한 SF소설가 아이작 아시모프의 혜안은 참으로 놀랍다. 

1. 로봇은 인간을 다치게 해선 안되며, 행동하지 않음으로써 인간이 다치도록 방관해서도 안된다.

2. 법칙 1에 위배되지 않는 한, 로봇은 인간의 명령에 복종해야만 한다.

3. 법칙 1, 2에 위배되지 않는 한 로봇은 스스로를 보호해야만 한다.

아시모프는 1985년 위 3대 원칙에 인류 집단 안전을 위한 0 번째 법칙을 추가했다. '로봇은 인류에게 해를 가하거나, 해를 끼치는 행동을 하지 않음으로써 인류에게 해를 끼치지 않는다'

◇하민회 이미지21대표(코가로보틱스 마케팅자문) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표, 코가로보틱스 마케팅자문△경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

[뉴스핌 베스트 기사]

사진
중앙지검장 정진우…동부 임은정 [서울=뉴스핌] 김현구 기자 = 서울중앙지검장에 정진우(52·사법연수원 29기) 서울북부지검장이 내정됐다. 검찰 2인자인 대검찰청 차장검사는 노만석(54·29기) 대검 마약·조직범죄부장(검사장)이 맡게 됐다. 법무부는 1일 대검검사급(고검장·검사장) 검사 3명에 대한 신규 보임 및 대검검사급 4명, 고검검사급(차·부장검사) 2명 등 6명에 대한 전보 인사를 단행했다. 부임 일자는 오는 4일이다. 서울중앙지검. [사진=뉴스핌 DB] 정 지검장은 국가정보원 파견 근무 이력이 있는 '공안통'으로 분류된다. 2003년 인천지검에서 검사 생활을 시작한 그는 2011년 '저축은행비리합동수사단'이 만들어지자 대검 중앙수사부로 파견돼 일했고, 이후 법무부 국제형사과장·공안기획과장, 북부지검 형사4부장검사 등을 지냈다. 그는 금융정보분석원(FIU) 심사분석실장과 창원지검 진주지청장, 중앙지검 1차장검사 등을 거친 뒤 2022년 윤석열정부에서 검사장으로 승진해 대검 과학수사부장을 지냈고, 이후 춘천지검장을 거쳐 현재 북부지검장을 역임하고 있다. 2000년 대구지검에서 검사 생활을 시작한 노 검사장은 광주지검·인천지검 특수부장검사, 중앙지검 조사2부장검사, 서울고검 차장검사, 제주지검장 등을 역임했다. 특히 서울고검 차장검사 시절 서울고검장 직무대리를 했던 그는 심우정 검찰총장의 퇴임으로 한동안 검찰총장 직무대행을 맡게 됐다.  검찰 인사와 예산을 총괄하는 법무부 검찰국장에는 성상헌(52·30기) 대전지검장이 보임됐다. 성 지검장은 서울동부지검 형사6부장검사, 대검 범죄정보2담당관, 대검 수사정보2담당관, 중앙지검 형사1부장검사, 인천지검 형사1부장검사, 동부지검 차장검사 등을 지냈다. 그는 2022년 윤석열 정부 인사에서 검사장 승진 '1순위'인 중앙지검 1차장검사를 거친 뒤 다음 해인 2023년 인사에서 검사장으로 승진해 대검 기획조정부장으로 이원석 전 검찰총장을 보좌했다. 이후 지난해 인사에서 대전지검장으로 자리를 옮겼다. 아울러 동부지검장에는 임은정(50·30기) 대전지검 중요경제범죄조사단 부장검사, 남부지검장에는 김태훈(54·30기) 서울고검 검사가 각각 임명됐다. 임 부장검사는 검찰 내부고발자를 자처하며 검찰 개혁을 강하게 주장해 온 인물이다. 특히 그는 윤석열 전 대통령이 검찰총장 시절 그의 '저격수' 역할을 하며 강하게 대립각을 세우기도 했다. 김 검사는 윤석열정부 시절 법무부 검찰과장, 중앙지검 4차장검사 등 요직을 지냈다. 그는 과거 김건희 여사의 '도이치모터스 주가 조작 개입 사건'을 지휘한 인물로, 당시 수사팀의 무혐의 결론을 강하게 반대한 것으로 알려졌다. 법무부 장차관을 보좌해 정책을 총괄하는 법무부 기획조정실장은 최지석(50·31기) 서울고검 감찰부장이 맡게 됐으며, 현재 법무부 검찰국장을 맡고 있는 송강 국장은 광주고검장으로 자리를 옮겼다. 한편 사의를 표명한 이진동 대검 차장검사, 신응석 남부지검장, 양석조 동부지검장, 변필건 법무부 기획조정실장 등은 의원면직됐다. hyun9@newspim.com 2025-07-01 17:47
사진
폭염에 '온열질환자' 속출…환자 425명 [세종=뉴스핌] 신도경 기자 = 지난 30일 서울 전역에 첫 폭염주의보가 시작되면서 올해 온열질환자가 400명을 넘었다. 1일 질병관리청의 온열질환 응급실 감시체계에 따르면 지난 5월 15일부터 6월 29일까지 집계된 온열질환자는 425명으로 사망자는 3명에 달했다. 온열질환은 더운 날씨로 인해 열탈진, 열사병, 열 부종 등이 발생하는 질환이다. 40도 이상의 고열이나 현기증, 두통, 오한 등이 나타난다. [서울=뉴스핌] 김학선 기자 = 서울 전역에 올해 첫 폭염주의보가 발효된 30일 오후 서울 성동구 마장역 인근에서 시민들이 양산을 쓰고 뜨거운 햇볕을 피해 걷고 있다. 2025.06.30 yooksa@newspim.com 기상청은 지난 30일 서울 전역과 경기도 과천, 성남, 구리, 화성에 올해 첫 폭염주의보를 발령했다. 경기도 가평, 광주는 폭염주의보가 폭염경보로 격상됐다. 1일에도 서울의 낮 최고기온은 30도, 강릉 35도, 대전 32도, 광주 35도, 제주 31도로 더운 날씨가 계속될 전망이다.  날씨가 더워지면서 온열질환자 수도 점차 늘고 있다. 지난 5월 15일부터 5월 31일까지 온열환자 수는 62명으로 사망자는 없었다. 이 기간 중 하루 최대로 발생한 온열질환자 수는 21명이다. 반면 지난 28일에는 하루 최대로 발생한 온열질환자 수가 52명으로 늘었다. 지난 1일부터 29일까지 집계된 온열질환자 수는 361명으로 사망자는 3명에 달하며 급증하는 모양새를 보이고 있다.  연령별 현황에 따르면 온열질환자는 대부분 고령층에서 발생했다. 60대가 78명(18.4%)으로 가장 많았고, 50대 70명(16.5%), 30대와 40대는 각각 61명(14.4%)으로 집계됐다. 온열질환자가 속출하는 직업은 미상을 제외하고 단순 노무 종사자로 68명(16%)에 달했다. 농림어업숙련종사자 40명(9.4%), 무직 39명(9.2%) 순으로 나타났다. 열탄진으로 인한 온열질환자는 222명(52.2%)로 대부분을 차지했다. 열사병 85명(20%), 열경련 61명(14.4%), 열실신 53명(12.5%)이다. 하루 중 온열질환이 가장 많이 발생한 시간대는 오후 4∼5시(13.6%)다. 오전 10∼11시(11.8%), 오후 3∼4시(11.5%) 등의 순이었다. 온열질환을 예방하기 위해서는 물을 자주 마시고 시원한 곳에서 지내야 한다. 더운 시간대의 활동을 자제하는 것도 중요하다. 특히 체온 조절이 원활하지 않은 만성질환자, 어린이, 어르신은 더위에 오래 노출되지 않도록 더욱 주의해야 한다. 육현 원주세브란스기독병원 응급의학과 교수는 "온열질환은 충분한 수분을 섭취하고 더운 낮 시간대 활동을 피하는 것만으로 예방이 가능한 질환"이라며 "방치할 때 생명을 위협할 수 있어 각별한 주의가 필요하다"고 했다. 이어 육 교수는 "열사병, 열탈진, 열경련 등 온열질환이 발생할 경우 체열을 신속히 낮추는 것이 가장 중요하다"며 "옷을 느슨하게 풀고, 찬물에 적신 수건을 몸통에 덮거나 겨드랑이와 사타구니 부위에 찬 물병이나 선풍기 바람을 활용해 체온을 낮추는 응급조치가 도움 될 수 있다"고 강조했다. sdk1991@newspim.com 2025-07-01 11:24
안다쇼핑
Top으로 이동