전체기사 최신뉴스 GAM
KYD 디데이
오피니언 외부칼럼

속보

더보기

[기고] 안전한 AI 사용을 위해 반드시 알아야 할 세가지

기사입력 : 2023년06월07일 08:43

최종수정 : 2023년06월07일 09:19

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

하민회 이미지21대표(코가로보틱스 마케팅자문)

미 공군 AI드론이 가상훈련에서 최종 결정권자인 인간 조종자를 임무 수행 방해물로 판단해 제거하는 일이 발생했다. 영국 왕립항공학회(RAeS)가 개최한 '미래 공중전투 및 우주 역량 회의'에 참석한미 공군 AI 시험·운영 책임자인 터커 해밀턴 대령이 공개한 훈련 결과다.

SF 영화를 연상시키는 이 가상훈련 결과는 대체 어떻게 일어나게 된 걸까? 가상훈련에 쓰인 AI드론의 알고리즘은 강화학습법. 목표를 제시한 뒤 더 높은 점수를 받는 방법을 AI가 스스로 찾도록 하는 학습법으로 챗GPT에도 사용되었다.

미 공군이 AI 드론에 부여한 임무는 '적 방공체계 무력화'였다. 적의 지대공미사일(SAM) 위치를 확인해 파괴하라는 명령과 함께 공격 실행 여부는 인간통제관이 최종 결정한다는 단서를 달았다.

훈련과정 중 인간통제관은 상황에 따라 종종 폭격을 승인하지 않았다. AI드론은 SAM을 최대한 많이 제거해야 자신이 높은 점수를 받는다는 것을 파악하자 인간통제관이 내리는 '폭격 금지' 명령을 우선적인 임무를 방해하는 요소로 판단했다. 결국 AI드론은 자신의 임무를 방해하는 인간 통제관을 공격했다.

훈련 책임자는 인간 통제관을 살해하면 점수를 더 많이 잃도록 알고리즘을 바꿨다. 이번엔 AI가 인간 통제관과 교신하는 통신 타워를 파괴했다. 명령을 어기지 않고 점수도 잃지 않으면서 목표를 달성할 꼼수를 스스로 찾아낸 것이다.

물론 가상훈련이라 실제 인명피해는 없었다. 하지만 AI가 인간의 통제를 벗어나 스스로의 판단으로  인간을 공격하는, 최악의 가능성을 보여줬다는 점에서 다분히 충격적이다.

한 IT매체는 인간통제관과 통신타워를 파괴할 때 잃는 점수가 폭격 성공으로 얻는 점수보다 훨씬 많도록 알고리즘을 설계했다면 일어나지 않을 일이었다며 AI 자체보다는 AI를 만드는 사람의 윤리의식, 감독과 판단이 얼마나 중요한지 일깨워주는 사건이라고 지적했다.

하민회 이미지21 대표.

결국 문제의 열쇠는 AI가 아니라 사람이다. 인공지능 권위자들의 계속되는 우려의 핵심 또한 기술 보다는 사람들의 악용에 있다.

"AI로 인한 인류 절멸의 위험성을 낮추는 것을 글로벌 차원에서 우선순위로 삼아야 한다" 최근 비영리단체 'AI안전센터'(CAIS)의 촉구 성명에는 IT기업 경영자와 과학자 350여명이 서명했다.

서명 동참자이자 AI 4대천왕 중 한명으로 꼽히는 요슈아 벤지오 교수는 군대, 테러리스트 등 '나쁜 행위자'들이 AI 권한을 얻는 것을 특히 우려했다. 최근 우크라이나 전에서 AI가 군사력을 좌우하는 게임처인저가 되고 있는 것만 봐도 공연한 염려는 아닌 듯 싶다.

벤지오 교수는 AI개발사들은 등록관리되어 그들이 기술로 무엇을 하고 있는지 추적하고 평가받아야 한다고 주장했다. 더불어 AI를 다루는 개발자나 과학자들이 필수적으로 윤리교육을 받고 이를 자격처럼 취득해야 하는 AI 윤리인증제의 도입 필요성도 강조했다.

역사상 무르익지도 않은 기술에 규제와 윤리부터 앞세운 경우는 없었다. 등장과 함께 인류에게 안전 조치를 고려하게 만든 기술은 AI가 처음이다.

영향력이 큰 만큼 탁월하고 위협적인AI. 안전하게 잘 사용하기 위해 반드시 알아야 할 세 가지가 있다.

첫째, AI는 의식이 없다. 우리는 기계가 의식이 없다는 사실을 종종 간과한다. 단지 그럴듯하게 대화하고 문장을 써내고 그림을 그리고 작곡을 한다고 AI에게 생각이 있는 건 아니다. 텍스트 데이터에 기반한 알고리즘으로 만들어낸 결과물은 성능 좋은 연산의 결과이다. AI는 그저 주어진 문제에 최적의 값을 최선을 다해 찾아내는 것 뿐이다. 챗GPT 의 난제인 환각현상 (hallucinatin) 또한 최선의 문장을 만드는 과정에서 나타난 부작용이다.

의식이 없는 AI에겐 상식도 없다. 인간이면 누구나 아는 '아군 지휘관이 죽으면 전쟁에서 지고 전쟁에서 패하면 미사일 폭격 따위는 아무 의미도 없다'는 상식이 AI드론에게는 없다. 때문에 AI 드론은 오로지 미사일 폭격만을 위해 인간 통제관을 제거하는 터무니없는 일을 저질렀다. 판단의 과정이나 기준이 사람과 다른 만큼 기술을 개발하든 프로그램을 설계하든 최우선되어야 할 가치가 무엇인지 명확하게 부여해야 할 뿐 아니라 제대로 지켜지는지 모니터링 되어야 한다.

둘째, AI의 섣부른 의인화는 금물이다. 벨기에에서는 30대 남성이 AI 챗봇에 가스라이팅당해 스스로 목숨을 끊었다. 평소 기후위기론에 빠져 비관적으로 살던 그는 가족과 멀어진채 AI챗봇 대화만 이어갔다고 한다. 월300달러로 만든 가상의 남편과 결혼한 여성의 이야기도 보도되었다. 인간의 언어를 모방해 인간의 감정을 혼란에 빠뜨리는 일련의 사건들은 AI를 의인화해 감정을 이입한 탓이다. 우리는 아무 생각 없이 텍스트를 쏟아내는 기계를 만들었지만 그 기계의 마음을 상상하는 것을 멈추는 법을 지금이라도 배워야 한다.

셋째, 최우선은 인간이다. AI로 인해 우리가 마주할 문제는 한 번도 경험하지 못한 문제이면서 동시에 한 두 사람이 해결할 수 없는 지금까지와는 완전히 다른 문제이기도 하다. 하지만 AI 기술도 인간의 보다 나은 삶을 위해 만들어졌다는 점을 중심에 두면 기술의 오남용과 악용을 어느 정도 예방할 수 있지 않을까?

지금 봐도 1942년 처음 로봇3원칙을 언급한 SF소설가 아이작 아시모프의 혜안은 참으로 놀랍다. 

1. 로봇은 인간을 다치게 해선 안되며, 행동하지 않음으로써 인간이 다치도록 방관해서도 안된다.

2. 법칙 1에 위배되지 않는 한, 로봇은 인간의 명령에 복종해야만 한다.

3. 법칙 1, 2에 위배되지 않는 한 로봇은 스스로를 보호해야만 한다.

아시모프는 1985년 위 3대 원칙에 인류 집단 안전을 위한 0 번째 법칙을 추가했다. '로봇은 인류에게 해를 가하거나, 해를 끼치는 행동을 하지 않음으로써 인류에게 해를 끼치지 않는다'

◇하민회 이미지21대표(코가로보틱스 마케팅자문) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표, 코가로보틱스 마케팅자문△경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

[뉴스핌 베스트 기사]

사진
[변상문의 화랑담배] "국내 진공작전을 서둘러라" 변상문의 '화랑담배'는 6·25전쟁 이야기이다. 6·25전쟁 때 희생된 모든 분에게 감사드리고, 그 위대한 희생을 기리기 위해 제목을 '화랑담배'로 정했다. 이런 상황에서 임시정부 주석 김구는, '선열의 피로써 세우고, 애국지사들이 생명을 걸고 수호한 대한민국 임시정부를 3천만 국민에게 바치기 전에는 물러설 수 없다는 것을, 대내외에 천명할 필요가 있다'라고 판단했다. 김구는 1945년 8월 11일 국무회의를 개최하여 '광복군 국내정진군' 창설 안을 통과시켰다. 8월 13일 광복군 제2지대장 이범석 장군을 사령관으로 임명하였다. '광복군 국내정진군' 임무는 '즉시 서울로 진격하여 조선 총독 아베노부유키(阿部信行)로부터 무조건 항복을 받고 일본군사령부를 접수'하는 것이었다. 이는 빨리 광복군을 국내로 진입시켜, 미국 협력하에 일본군 무장을 해제하고, 치안을 유지하여 건국의 기틀을 다지도록 하기 위함이었다.  '광복군 국내정진군' 이범석 사령관은, 사령관으로 임명받자마자 주요 직위자들을 소집하여 아래와 같이 지시하였다. "오늘 또는 내일 중으로 여기 모인 동지들과 함께 국내로 들어갈 계획입니다. 오늘(8월 11일) 아침 임시정부는 나에게 국내정진군 사령관 직책을 맡겨주었습니다. 국내에 누구보다도 빨리 들어갈 수 있는 길이 생겼습니다. 다름 아니라, 미국 중국전구사령부가 곧 사절단을 서울로 들여보낼 예정입니다. 우리도 그편에 편승하라는 지시가 하달되었습니다. 우리의 임무는 대단히 무겁습니다. 첫째 국내에 진입하는 대로 일본군에게 강제로 징병당한 우리 병사들을 인수하는 것입니다. 둘째 일본군 무기를 접수하는 것입니다. 셋째 국민 자위군을 조직하는 것입니다. 넷째 불순 정치 세력이 작용할 수 없는 분위기를 만드는 것입니다. 다섯째 국내의 애국지사들과 긴밀히 협조하여 임시정부와 광복군이 환국할 수 있는 발판을 마련하는 것입니다. 미군 사절단 임무는 '국내 포로수용소(지금의 서울 신광여자중·고등학교 자리)에 있는 연합국 포로 보호입니다. 지금부터 국내진공작전을 서둘러 주시기 바랍니다" 맨 앞줄 좌로부터 박찬익, 조완구, 김구, 이시영, 차이석. 두 번째 줄 맨 왼쪽 성주식, 김문호, 신정숙, 김붕준. 맨 뒷줄 왼쪽부터 조성환, 조소앙, 지청천, 이범석, 이름 미상. [사진= 위키백과] 1945년 8월 18일 05:00 이범석 장군 등 '광복군 국내정진군'을 태운 미 C46형 항공기가 중국 서안 비행장을 이륙하였다. 하늘은 구름 한 점 없이 맑았다. 하늘과 바다를 구별할 수 없는 벽천(碧天)이었다. 항공기가 갑자기 고도를 낮추기 시작했다. 잔잔하고 파란 바다에 조그마한 섬들이 뚜렷이 보였다. 인천 앞 바다였다. 초시계 바늘은 12:00를 지나고 있었다. 이범석 장군이 붉어진 눈에 손수건을 갖다 댔다. 조국을 떠난 지 만 30년 만에 고국으로 돌아오는 감격의 눈물이었다. 이 장군은 종이에 무엇인가를 열심히 적고 있었다. 보았노라 우리 연해의 섬들을왜놈의 포화 빗발친다 해도비행기 부서지고 이 몸 찢기어도찢긴 몸 이 연해에 떨어지리니물고기 밥이 된들 원통치 않으리우리의 연해 물 마시고 자란 고기들그 물고기 살찌게 될테니... 서해를 건너며 '광복군 국내정진군'은 5분 간격으로 일본군 측에 무전을 타전했다. 그러나 일본군 측은 아무런 회신을 보내지 않았다. 고도를 바짝 낮춘 항공기가 한강을 따라 영등포 상공에 이르렀을 때 일본군 측에서 "여의도에 착륙하라"라는 답전이 왔다. 이때 모습을 장준하는 그가 쓴 '돌베게'에서 다음과 같이 기록했다. "영등포를 지났다. 그러나 또 한 번 선회한다. 아니 두 번, 폭음이 커진다. 여의도 활주로를 향해 허전허전하게 수송기가 꺼지는 듯이 고도를 낮추었다. 일장기를 붙인 수많은 일군 비행기가 기창으로 지나갔다. 중형전차도 보였다. 이제 곧 일본군이 나타나겠구나. 그들의 얼굴을 맞보게 되리라. 주먹이 쥐어졌다. 무기를 쥔 손이 땀에 스몄다. 덜컹하고 활주로에 수송기가 닿았다. 가벼운 진동에 몸이 흔들렸다. 납덩이 속을 밀치고 나가듯이 순간순간이 이어지며 비행기가 앞으로 나아갔다. 프로펠러가 소리를 뿜으면서 기수가 돌려졌다. 어느 한 격납고 앞 광장에서 비행기가 멎었다. 숨이 탁 막혔다. 기체 안의 공기가 갑자기 없어진 듯이 가슴이 답답해 왔다. 이윽고 문이 열렸다. / 변상문 국방국악문화진흥회 이사장   2025-09-22 08:00
사진
李대통령 22~26일 유엔총회 참석 [서울=뉴스핌] 박찬제 기자 = 이재명 대통령이 80차 유엔총회 고위급 회기 참석을 위해 오는 22일부터 26일까지 미국 뉴욕을 방문한다. 이 대통령은 유엔총회 기조연설을 하고 대한민국 대통령으로는 처음 안전보장이사회 토의를 주재한다. 위성락 대통령실 국가안보실장은 19일 오후 용산 대통령실 기자간담회에서 이 대통령의 유엔총회 참석 일정을 밝혔다. 이 대통령은 우선 22일 뉴욕에 도착해 세계경제포럼 의장인 래리 핑크 블랙록 회장을 만나 인공지능(AI)과 에너지 전환에 관한 협력 방안을 논의한다. 이 대통령은 미국 상·하원 의원단을 접견해 한미관계 발전을 위한 의회의 역할도 당부한다. 뉴욕에 거주하는 한인동포 간담회도 한다. 여러 세대에 걸쳐 다양한 분야에서 활동하는 뉴욕 한인 동포들과 자리한다. [워싱턴 로이터=뉴스핌] 이재명 대통령이 25일(현지시간) 미국 워싱턴 D.C. 백악관에서 도널드 트럼프 대통령과 정상회담을 앞두고 인사를 나누고 있다. 2025.08.26 photo@newspim.com 다음 날인 23일에는 유엔총회 고위급 회기 기조연설을 한다. 이 대통령은 190여 개 국가 정상들 중 7번째로 기조연설에 나선다.  위 실장은 "전 세계 정상이 모이는 자리인 만큼 대한민국 대외정책을 천명하는 주요 무대가 될 것"이라며 "민주주의 대한민국 복귀를 선언하고 한반도 정책 등 한국 정부의 외교 비전을 제시하고 인류 평화와 번영을 이뤄나가기 위한 방안을 설명할 것"이라고 말했다. 23일 오후에는 안토니우 구테흐스 유엔 사무총장을 면담하고 글로벌 현안 대응과 관련해 유엔 중심의 다자주의 강화 방안을 논의한다. 한반도 평화 정착을 위한 유엔 총장의 지지도 당부할 예정이다. 저녁에는 미 조야의 오피니언 리더와 만찬을 하면서 한미관계 발전 방안에 대한 제언을 듣고 의견을 나눈다.  뉴욕 방문 사흘째인 24일 오후 3시에는 이 대통령이 한국 대통령으로는 처음으로 유엔 안보리 공개 토의를 주재한다. AI와 국제평화 안보 주제 회의에서 '모두의 AI 기조와 국제사회 평화 안보 공동 대응'에 대한 논의를 주도할 예정이다. 마지막 날인 25일 오전에는 미 금융가 월가와 한국 금융계 인사들이 참여하는 대한민국 서밋 행사에 참석한다. 이 대통령은 글로벌 핵심 투자자들을 만나 한국 정부의 정책을 소개하고 한국에 대한 투자를 요청할 방침이다. 위 실장은 "이 자리를 통해 코리아 디스카운트를 넘어서 '코리아 프리미엄'을 본격적으로 알려 연중 최고가를 경신 중인 한국 증시에도 활력이 돌 것으로 기대한다"고 설명했다.  pcjay@newspim.com 2025-09-19 14:46
기사 번역
결과물 출력을 준비하고 있어요.
기사제목
기사가 번역된 내용입니다.
종목 추적기

S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

결과물 출력을 준비하고 있어요.

긍정 영향 종목

  • Lockheed Martin Corp. Industrials
    우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

부정 영향 종목

  • Caterpillar Inc. Industrials
    우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
안다쇼핑
Top으로 이동