한국의 자율주행이 드디어 실험실에서 거리로 나오고 있다.
2024년 9월부터 17개월간 무료로 운행해온 자율주행 택시가 유료 서비스로 전환됐다. 운영사 SWM과 카카오모빌리티가 투입한 차량 7대가 평일 밤 10시부터 새벽 5시까지 강남구 일대를 달리게 된다. 시용하려면 카카오T 앱에서 '서울자율차'를 누르면 된다. 17개월간 7,754건을 운행하는 동안 자율주행 기술로 인한 사고는 단 한 건도 없었다.
광주광역시는 국내 최초 '자율주행 실증도시'로 지정됐다. 국비 610억 원을 투입해 올해 8월부터 자율주행차 200대를 도시 전역에 단계적으로 풀 계획이다. 광주 국가AI데이터센터의 GPU 자원을 활용해 주행 데이터를 실시간 학습시키고, 가상 환경에서 다양한 시나리오를 병행 검증하는 것이 핵심이다.
하지만 업계 내부의 목소리는 조심스럽다. 이미 미국, 중국과의 격차가 크게 벌어진 상태이기 때문이다. 구글 알파벳의 자율주행 자회사 웨이모는 현재 미국 6개 도시에서 매주 40만 건 이상의 유상 운행을 제공하며, 올해 2월 기업 가치 약 183조 원을 인정받아 도쿄와 런던 진출을 확정했다. 한국이 강남에 7대로 첫발을 내딛을 때 웨이모는 이미 다른 대륙을 향해 달리고 있는 셈이다.
격차는 기술만이 아니다. 진짜 심각한 건 데이터다.
자율주행 AI를 가르치는 일은 사람에게 운전을 가르치는 것과 근본적으로 다르다. 사람은 수십 시간의 도로 연습을 거쳐 면허를 딴다. 여기서 핵심은 '경험의 양'이 아니라 '판단력'이다.
하지만 AI는 다르다. 수백만 건의 주행 상황을 반복함으로써 패턴을 익힌다. 문제는 현실 도로에서 수집한 데이터의 99%가 '아무 일도 없는 평범한 주행'이라는 점이다.
자율주행 AI가 진짜 위험한 순간은 평범하지 않을 때 찾아온다. 폭설 속 신호등이 반쯤 가려진 교차로, 새벽 3시 빗길의 갑작스러운 보행자, 좁은 골목에서 역 주행하는 오토바이. 이런 '엣지케이스'는 현실 도로에서 아주 드물게 발생하기 때문에 실 주행 데이터만으로는 AI에게 충분히 가르칠 수 없다.
여기서 합성 데이터가 등장한다. 개념은 이렇다.
1단계, 패턴 학습: AI가 실제 도로 데이터를 학습해 "이 도로에서는 이런 일이 일어난다"는 통계적 패턴을 익힌다.
2단계, 가상 세계 구축: 통계적 패턴을 바탕으로 현실과 구별하기 어려운 가상의 도로 환경을 만든다. 비가 오는 강남, 눈 쌓인 광주 외곽, 안개 낀 고속도로 터널 입구 등의 방식이다.
3단계, 반복 훈련: 구축한 가상 환경에서 100년에 한 번 일어날 사고 시나리오를 하루에 수천 번 반복 재현한다. 인명 피해 없이 실제 안전 주행을 위해서이다.
4단계, 검증: 합성 데이터로 훈련된 AI를 실제 도로 데이터로 다시 검증한다. 현실과 얼마나 가까운지 재 확인하는 과정이다.
자율주행을 위한 합성데이터는 원본 데이터의 복사본이 아니라 '신호와 패턴의 모사'다.
웨이모가 샌프란시스코 도심 가상 환경을 통째로 복제해 시뮬레이션을 돌리는 것도, NVIDIA가 자체 시뮬레이션 플랫폼 '코스모스'를 구축하고 2025년 합성 데이터 전문 기업 그레텔을 인수한 이유도 여기에 있다. 가트너는 2026년까지 AI 프로젝트에 사용되는 데이터의 약 75%가 합성 데이터로 채워질 것이라 전망한다.
단, 여기엔 매우 중요한 전제가 있다. 합성 데이터는 반드시 실제 인간 데이터를 기반으로 삼아야 한다는 점. AI가 AI가 만든 데이터만으로 반복 학습하면 출력이 점점 획일화되고, 현실과 동떨어진 패턴을 학습하게 된다. 이를 '모델 붕괴(Model Collapse)'라 한다.
옥스퍼드, 케임브리지 공동 연구진은 AI 생성 데이터만으로 학습을 반복할 경우 모델이 영구적으로 품질과 다양성을 잃는다는 것을 실증했다. 합성 데이터는 실제 도로 주행 데이터를 보완하는 도구 여야지, 대체재가 되어서는 안 된다는 의미다.
한국 자율주행 산업의 현황은 이중적이다. 한국자동차연구원에 따르면 국내 시장은 2025년 3조 6,000억 원에서 2035년 26조 원 규모로 성장할 전망이다. 강남 로보택시, 광주 실증도시, 현대차그룹의 2030년까지 AI 자율주행 부문 대규모 투자까지 움직임은 분주하다.
문제는 데이터 생태계다. 구조적 공백이 선명하게 드러난다.
미국에는 Gretel, MOSTLY AI, Datagen처럼 합성 데이터 생성을 전문으로 하는 스타트 업이 즐비하다. 한국에는 사실상 없다. 국내 자율주행 기업들은 합성 데이터를 자체 개발하거나, NVIDIA 코스모스 같은 외산 플랫폼에 의존하고 있는 셈이다. '자율주행 기술 주권'을 말하면서, 그 기술을 만드는 데이터 도구는 여전히 외국산에 의존하는 구조적 아이러니다.
실 주행 데이터도 절대량이 부족하다. 국내 글로벌 7위 자율주행 기업 오토노머스에이투지((Autonomous A2Z) 의 누적 주행거리는 93만 4,000km다. 웨이모가 누적한 자율주행 공도 주행 2억 마일(약 3억 2,000만km)과는 비교가 어렵다.
데이터 활용 구조도 틈이 많다. 카카오모빌리티, SWM, 오토노머스에이투지 등 국내 기업들은 각자의 데이터를 따로 쌓고 있다. 합성 데이터 파이프라인은 '좋은 것이 무엇인지 이미 아는' 충분한 실제 데이터가 깔려 있을 때 비로소 효과적으로 작동한다. 기반이 빈약하면 합성 데이터를 아무리 많이 만들어도 모델 붕괴로 직결되기 쉽다.
광주 실증도시가 주목받는 이유도 여기에 있다. 200대가 쌓을 실 주행 데이터와, 국가AI데이터센터가 병행할 가상 환경 시나리오 검증을 동시에 돌린다는 구상은 이 구조적 공백을 처음으로 정면 돌파하는 시도다. 카카오모빌리티가 15만 건 이상의 자율주행 AI 학습 데이터셋을 무료 공개하고 국책과제에 참여한 것도 같은 방향이다.
자율주행 분야에서 합성데이터는 비용 절감 도구가 아니다. 기술 주권의 문제다.
미국과 중국이 자국 도로 환경 기반의 합성 데이터 파이프라인을 구축하는 동안 한국이 실차 테스트에만 의존한다면 격차는 더 벌어진다.
결국 경쟁력은 세 축의 균형에 달렸다. 실도로의 특징을 쌓는 '한국형 주행 데이터', 극한 시나리오를 가상으로 구현하는 '합성 데이터 파이프라인', 그리고 그 두 데이터를 검증하는 '인간 전문가의 판단'이다. 어느 하나가 빠지면 나머지 둘도 제대로 작동하지 않는다.
자율주행 기술 주권이란 단지 차를 스스로 만드는 것이 아니다. 그 차를 가르치는 데이터를, 그 데이터를 만드는 도구를, 그 도구를 검증하는 사람을 모두 우리 손안에 두는 것이다.
강남 밤거리를 달리는 자율주행 택시는 이미 우리 곁에 있다. 하지만 그 차가 아직 겪지 않은 사고, 아직 보지 못한 도로를 미리 학습시키는 것. 그리고 그 학습 도구조차 우리 것으로 만드는 일. 그것이 지금 한국 자율주행 산업에 주어진 가장 조용하고, 가장 중요한 과제다.
◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등
