전체기사 최신뉴스 GAM
KYD 디데이
오피니언 외부칼럼

속보

더보기

[기고] 안전한 AI 사용을 위해 반드시 알아야 할 세가지

기사입력 : 2023년06월07일 08:43

최종수정 : 2023년06월07일 09:19

하민회 이미지21대표(코가로보틱스 마케팅자문)

미 공군 AI드론이 가상훈련에서 최종 결정권자인 인간 조종자를 임무 수행 방해물로 판단해 제거하는 일이 발생했다. 영국 왕립항공학회(RAeS)가 개최한 '미래 공중전투 및 우주 역량 회의'에 참석한미 공군 AI 시험·운영 책임자인 터커 해밀턴 대령이 공개한 훈련 결과다.

SF 영화를 연상시키는 이 가상훈련 결과는 대체 어떻게 일어나게 된 걸까? 가상훈련에 쓰인 AI드론의 알고리즘은 강화학습법. 목표를 제시한 뒤 더 높은 점수를 받는 방법을 AI가 스스로 찾도록 하는 학습법으로 챗GPT에도 사용되었다.

미 공군이 AI 드론에 부여한 임무는 '적 방공체계 무력화'였다. 적의 지대공미사일(SAM) 위치를 확인해 파괴하라는 명령과 함께 공격 실행 여부는 인간통제관이 최종 결정한다는 단서를 달았다.

훈련과정 중 인간통제관은 상황에 따라 종종 폭격을 승인하지 않았다. AI드론은 SAM을 최대한 많이 제거해야 자신이 높은 점수를 받는다는 것을 파악하자 인간통제관이 내리는 '폭격 금지' 명령을 우선적인 임무를 방해하는 요소로 판단했다. 결국 AI드론은 자신의 임무를 방해하는 인간 통제관을 공격했다.

훈련 책임자는 인간 통제관을 살해하면 점수를 더 많이 잃도록 알고리즘을 바꿨다. 이번엔 AI가 인간 통제관과 교신하는 통신 타워를 파괴했다. 명령을 어기지 않고 점수도 잃지 않으면서 목표를 달성할 꼼수를 스스로 찾아낸 것이다.

물론 가상훈련이라 실제 인명피해는 없었다. 하지만 AI가 인간의 통제를 벗어나 스스로의 판단으로  인간을 공격하는, 최악의 가능성을 보여줬다는 점에서 다분히 충격적이다.

한 IT매체는 인간통제관과 통신타워를 파괴할 때 잃는 점수가 폭격 성공으로 얻는 점수보다 훨씬 많도록 알고리즘을 설계했다면 일어나지 않을 일이었다며 AI 자체보다는 AI를 만드는 사람의 윤리의식, 감독과 판단이 얼마나 중요한지 일깨워주는 사건이라고 지적했다.

하민회 이미지21 대표.

결국 문제의 열쇠는 AI가 아니라 사람이다. 인공지능 권위자들의 계속되는 우려의 핵심 또한 기술 보다는 사람들의 악용에 있다.

"AI로 인한 인류 절멸의 위험성을 낮추는 것을 글로벌 차원에서 우선순위로 삼아야 한다" 최근 비영리단체 'AI안전센터'(CAIS)의 촉구 성명에는 IT기업 경영자와 과학자 350여명이 서명했다.

서명 동참자이자 AI 4대천왕 중 한명으로 꼽히는 요슈아 벤지오 교수는 군대, 테러리스트 등 '나쁜 행위자'들이 AI 권한을 얻는 것을 특히 우려했다. 최근 우크라이나 전에서 AI가 군사력을 좌우하는 게임처인저가 되고 있는 것만 봐도 공연한 염려는 아닌 듯 싶다.

벤지오 교수는 AI개발사들은 등록관리되어 그들이 기술로 무엇을 하고 있는지 추적하고 평가받아야 한다고 주장했다. 더불어 AI를 다루는 개발자나 과학자들이 필수적으로 윤리교육을 받고 이를 자격처럼 취득해야 하는 AI 윤리인증제의 도입 필요성도 강조했다.

역사상 무르익지도 않은 기술에 규제와 윤리부터 앞세운 경우는 없었다. 등장과 함께 인류에게 안전 조치를 고려하게 만든 기술은 AI가 처음이다.

영향력이 큰 만큼 탁월하고 위협적인AI. 안전하게 잘 사용하기 위해 반드시 알아야 할 세 가지가 있다.

첫째, AI는 의식이 없다. 우리는 기계가 의식이 없다는 사실을 종종 간과한다. 단지 그럴듯하게 대화하고 문장을 써내고 그림을 그리고 작곡을 한다고 AI에게 생각이 있는 건 아니다. 텍스트 데이터에 기반한 알고리즘으로 만들어낸 결과물은 성능 좋은 연산의 결과이다. AI는 그저 주어진 문제에 최적의 값을 최선을 다해 찾아내는 것 뿐이다. 챗GPT 의 난제인 환각현상 (hallucinatin) 또한 최선의 문장을 만드는 과정에서 나타난 부작용이다.

의식이 없는 AI에겐 상식도 없다. 인간이면 누구나 아는 '아군 지휘관이 죽으면 전쟁에서 지고 전쟁에서 패하면 미사일 폭격 따위는 아무 의미도 없다'는 상식이 AI드론에게는 없다. 때문에 AI 드론은 오로지 미사일 폭격만을 위해 인간 통제관을 제거하는 터무니없는 일을 저질렀다. 판단의 과정이나 기준이 사람과 다른 만큼 기술을 개발하든 프로그램을 설계하든 최우선되어야 할 가치가 무엇인지 명확하게 부여해야 할 뿐 아니라 제대로 지켜지는지 모니터링 되어야 한다.

둘째, AI의 섣부른 의인화는 금물이다. 벨기에에서는 30대 남성이 AI 챗봇에 가스라이팅당해 스스로 목숨을 끊었다. 평소 기후위기론에 빠져 비관적으로 살던 그는 가족과 멀어진채 AI챗봇 대화만 이어갔다고 한다. 월300달러로 만든 가상의 남편과 결혼한 여성의 이야기도 보도되었다. 인간의 언어를 모방해 인간의 감정을 혼란에 빠뜨리는 일련의 사건들은 AI를 의인화해 감정을 이입한 탓이다. 우리는 아무 생각 없이 텍스트를 쏟아내는 기계를 만들었지만 그 기계의 마음을 상상하는 것을 멈추는 법을 지금이라도 배워야 한다.

셋째, 최우선은 인간이다. AI로 인해 우리가 마주할 문제는 한 번도 경험하지 못한 문제이면서 동시에 한 두 사람이 해결할 수 없는 지금까지와는 완전히 다른 문제이기도 하다. 하지만 AI 기술도 인간의 보다 나은 삶을 위해 만들어졌다는 점을 중심에 두면 기술의 오남용과 악용을 어느 정도 예방할 수 있지 않을까?

지금 봐도 1942년 처음 로봇3원칙을 언급한 SF소설가 아이작 아시모프의 혜안은 참으로 놀랍다. 

1. 로봇은 인간을 다치게 해선 안되며, 행동하지 않음으로써 인간이 다치도록 방관해서도 안된다.

2. 법칙 1에 위배되지 않는 한, 로봇은 인간의 명령에 복종해야만 한다.

3. 법칙 1, 2에 위배되지 않는 한 로봇은 스스로를 보호해야만 한다.

아시모프는 1985년 위 3대 원칙에 인류 집단 안전을 위한 0 번째 법칙을 추가했다. '로봇은 인류에게 해를 가하거나, 해를 끼치는 행동을 하지 않음으로써 인류에게 해를 끼치지 않는다'

◇하민회 이미지21대표(코가로보틱스 마케팅자문) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표, 코가로보틱스 마케팅자문△경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

[뉴스핌 베스트 기사]

사진
김계환 오늘 영장심사...위증 혐의 [서울=뉴스핌] 고다연 기자 = '채해병 사건' 수사외압 의혹의 핵심 인물로 꼽히는 김계환 전 해병대 사령관이 오는 22일 중앙지법에서 구속 심사를 받는다. 순직해병 사망사건 관련 의혹을 수사하는 이명현 특별검사팀이 18일 모해위증 등 혐의로 김계환 전 해병대사령관에 대한 구속영장을 청구했다.  순직해병 사망사건 관련 의혹을 수사하는 이명현 특별검사팀이 18일 모해위증 등 혐의로 김계환 전 해병대사령관에 대한 구속영장을 청구했다. 남세진 영장 전담 부장판사가 22일 오전 10시 30분 김 전 사령관의 영장실질심사(구속 전 피의자 심문)을 진행한다. [사진=뉴스핌 DB] 남세진 영장 전담 부장판사가 22일 오전 10시 30분 김 전 사령관의 영장실질심사(구속 전 피의자 심문)을 진행한다. 이번 구속영장 청구는 지난 2일 순직해병특검 출범 이후 첫 신병확보 시도다. 김 전 사령관은 2023년 7∼8월 채상병 순직 사건 당시 초동 조사한 박정훈 전 해병대 수사단장(대령)에게 윗선의 외압이 가해지는 과정에 관여했다는 의혹을 받고 있다. 김 전 사령관은 지난해 2월 군사법원에서 열린 박 대령의 항명 혐의 재판에 증인으로 출석해 이른바 'VIP 격노설'을 박 대령에게 전달한 적 없다고 주장하며, "나 아니면 안 된다는 착각과 영웅심리로 해병대의 역사와 전통을 흔들어선 안 된다"고 박 대령을 비판했다. 앞서 특검팀은 이날 오후 언론 공지를 통해 구속영장 청구 사실을 알리며 "김계환은 채상병 사망 사건 당시 해병대 사령관으로, 해병대 수사단장 박정훈 대령에게 수사기록 이첩 관련 지시를 한 상관"이라며 "특검은 피의자가 죄를 범하였다고 의심할만한 상당한 이유가 있고, 범죄가 중대하며, 증거인멸의 가능성이 크므로 구속수사가 필요하다고 판단하고 있다"고 밝혔다. gdy10@newspim.com 2025-07-18 20:56
사진
'갑질 의혹' 강선우 살린 까닭 [서울=뉴스핌] 이재창 정치전문기자 = 이재명 대통령이 20일 이진숙 교육부 장관 후보자에 대한 지명을 철회하고 강선우 여성가족부 장관 후보자는 살리기로 했다. 장관 후보자들에 대한 도덕성 논란이 심각한 상황에서 낙마자 없이 넘어갈 수는 없다는 판단에 따라 상징적인 낙마자로 이 후보자를 선택한 것이다. 야당이 강력히 요구한 두 명 중 한 명을 낙마시킴으로써 야당의 체면을 세워주는 모양새를 취하는 동시에 독주한다는 부정적 이미지를 피하려 한 것이다. 이 대통령 입장에서는 이 후보자 낙마가 측근인 강 후보자에 비해 부담이 상대적으로 덜했다. 강 후보자가 낙마할 경우 현역 의원 낙마 1호라는 불명예를 안게 돼 의원직을 수행하기도 여의치 않은 상황이었다. 이 후보자 낙마로 강 후보자를 구제한 것이다. [서울=뉴스핌] 이길동 기자 =강선우 여성가족부 장관 후보자가 26일 서울 종로구 수송동에 마련된 마련된 인사청문회 준비 사무실로 출근하며 취재진의 질문에 답하고 있다.2025.06.26 gdlee@newspim.com 이 대통령과 여권 핵심은 지난주 이미 한 명 낙마 쪽으로 가닥을 잡았다. 우상호 정무수석이 "일부 후보자의 경우 청문회 이후에도 논란이 계속돼 여론이 악화하고 있다"고 말했다. 낙마를 사실상 기정사실화한 것이다. 특히 주말 여야 원내대표를 만나 의견을 구한 것은 최소한 한 명의 낙마를 전제로 한 것이었다. 야당 대표까지 만나고 모든 후보자를 밀어붙일 경우 독주한다는 비판을 피하기 어렵기 때문이다.   더불어민주당이 주장한 낙마자 제로는 이 대통령의 결단을 부각하기 위한 전술이었다. '낙마자는 없다'는 여당의 강경론에도 이 대통령이 지명 철회를 요구하는 야당과 민심을 수용하는 모양을 취할 수 있도록 한 것이다. 자진 사퇴가 아니라 지명 철회라는 강수는 야당의 요구를 수용하는 모양을 취한 것이다. [서울=뉴스핌] 정일구 기자 = 이진숙 부총리 겸 교육부 장관 후보자가 16일 오전 서울 여의도 국회 교육위원회에서 열린 인사청문회에서 모두발언을 하고 있다. 2025.07.16 mironj19@newspim.com 관심은 낙마자가 한 명이냐, 아니면 두 명이냐였다. 두 후보자 모두 낙마 1순위였다. 한 명을 살리기 어려울 정도로 막상막하였다. 논문 표절과 자녀 불법 조기 유학 의혹이 불거진 데다 전문성도 결여돼 있다는 지적을 받은 이 후보자의 낙마는 사실상 결정된 상태였다. 여기에 강 후보자까지 포함시킬지 여부가 초미의 관심사였다. 파상 공세를 취하는 야당이 문제가 아니었다. 두 후보자에 대해 진보색이 강한 시민 단체마저 낙마를 요구했다. 여론을 중시하는 이 대통령 입장에서는 곤혹스러운 상황이 아닐 수 없었다. 자칫 지지 세력이 등을 돌릴 수 있어서다. 이런 상황에서 이 후보자 낙마와 강 후보자 구제는 여당 기류에서 그대로 나타났다. 대통령실 주변에서 "이 후보자는 외부에서 추천했다"는 얘기가 흘러나온 것은 낙마자가 나올 경우 1순위는 이 후보자가 될 수 있음을 강하게 시사한 것이다. 낙마하더라도 부담이 덜할 수 있다는 의미로 받아들여진 것이다. 당 분위기는 더 노골적이었다. 강 후보자에 대해서는 입단속이 이뤄진 것으로 알려졌으나 이 후보자에 대해서는 특별한 지침이 없었다고 한다. 이를 반영하듯 강 후보자에 대해서는 지난주 중반까지 여론이 싸늘했지만 그 이후 당 주변에서는 더 이상 얘기가 나오지 않았다. 이 후보자에 대해서는 달랐다. 김상욱 의원에 이어 강득구 의원이 공개적으로 이 후보자를 비판하며 거취를 거론했다. 강 의원은 "연구 윤리 위반, 반민주적 행정 이력, 전문성 부족 등은 결코 가볍게 넘길 수 없는 중대 결격 사유"라고 말했다. 이 후보자 낙마로 분위기를 몰아가는 듯했다.   이 후보자는 논문 표절 문제가 컸지만 이재명 정부가 전면에 내세운 유능함도 보여주지 못한 게 결정적이었다. 여권이 갑질 논란이 심했던 강 후보자를 감싼 논리가 유능함이었다. 청문회 과정에서 유보 통합 등 교육 정책과 관련된 기본적인 사항조차 숙지하지 못해 전문성에 심각한 의구심이 제기됐다. 여당 의원들조차 "어떻게 그런 것도 대답을 하지 못하느냐"는 비판이 나올 정도였다. 우상호 대통령실 정무수석은 이날 오후 용산 대통령실에서 브리핑을 통해 인사청문회를 거쳤지만 임명이 안 된 11명의 장관 후보자 중 지명 철회는 이 후보자 한 명이라는 점을 분명히 해 강 후보자는 임명 절차를 밟을 것임을 시사했다. 강 후보자의 인사청문경과보고서가 채택되지 않은 상태에서 임명을 강행하려면 절차상 국회에 보고서 재송부를 요청해야 하는 만큼 이 대통령은 이른 시일 내에 관련 조치에 나설 것으로 보인다. 이 대통령이 강 후보자를 임명한다고 해도 부담은 남는다. 강 후보자의 사퇴를 요구한 상당수 민주당 보좌진들과 정서적으로 등을 지게 될 수밖에 없다. 강 후보자 사퇴를 요구한 시민단체의 입장도 부담이다. 야당은 여론을 돌리기 위한 파상 공세에 나서고 있다. 강 후보자도 갑질 장관이라는 낙인이 찍힌 상태에서 업무를 제대로 수행할 수 있을지도 의문이다. 향후 여론 추이에 관심이 쏠리는 이유다.    leejc@newspim.com 2025-07-21 06:45
안다쇼핑
Top으로 이동