[김정호의 4차혁명 오딧세이] 인공지능 반도체의 미래

기사입력 : 2019년02월18일 08:00

최종수정 : 2019년02월25일 13:18

인공지능 가능케 하는 '퍼셉트론' 아십니까?

현재 인공지능의 핵심으로 등장하는 딥러닝 알고리즘은 퍼셉트론(Perceptron)이라고 불리는 인공 신경망 모형에 기초하고 있다.

김정호 카이스트 교수

퍼셉트론은 인공신경망의 한 종류로서, 1957년에 코넬 항공 연구소의 프랑크 로젠블라트(Frank Rosenblatt)에 의해 고안됐다.

이것은 가장 간단한 인공 신경망의 형태로 동물의 신경계를 본 따서 고안되었다. 이러한 퍼셉트론의 동작 방식은 지금 인공지능 딥러닝의 기초가 된다.

퍼셉트론에서 각 노드의 가중치와 입력치를 곱한 것을 모두 합한 값이 활성함수에 의해 판단되는데, 그 합한 값이 임계치를 넘으면 뉴런이 활성화 되고, 그 신호가 다음 단계로 전달된다. 뉴런이 활성화되지 않으면 신호는 다음 단계로 전달되지 않는다.

딥러닝으로 표현되는 최근 인공지능 구조는 이러한 퍼셉트론을 기본 구조로 해서 여러 층의 연결망을 이룬다.

인공지능 기초 단위인 퍼셉트론 (Perceptron)의 구조. [출처=Towards Data Science]

4차 산업혁명 시대의 디지털 데이터는 묶음 형태로 존재한다. 영상 데이터 형태가 그렇고 빅데이터 자체가 그렇다. 그래서 인공지능이 다루는 입출력 데이터는 ‘벡터’ 혹은 다차원 ‘행렬’ 형태를 갖게 된다. 인공지능을 컴퓨터 소프트웨어 코드로 구현하는 과정을 보면, 그 과정에서 수 많은 ‘벡터’ 혹은 ‘행렬” 데이터를 곱하고 더하기를 반복한다고 볼 수 있다. 퍼셉트론 기능에 곱셈과 덧셈이 필요하기 때문이다.

그런데 한 개의 A 행렬과 다음 B 행렬이 곱해질 때, 하나 하나 숫자가 순서대로 곱해지는 것이 아니라 동시에 이루어 진다. 그리고 더해서 수많은 퍼셉트론 배치 자체가 병렬적이고 학습 계산 자체가 병렬적이다. 그 결과 인공지능 알고리즘 구현과정에서 필요한 다차원 디지털 행렬의 곱셈, 덧셈 과정은 매우 병렬적이다. 그래서 기존의 영상 신호 병렬 처리에 유리한 그래픽 프로세서(GPU) 반도체가 요즈음 인공지능 계산에 편리하게 사용되고 있다.

이러한 배경으로 미래의 인공지능 프로세서를 AIP(Artificial Intelligence Processor) 라고 부른다면 이 인공지능 반도체에서는 데이터 병렬 처리 기능이 최대화 되는 구조가 되어야 한다고 본다. 거기에 더해서 계산과정에서의 결과를 메모리 소자에 빠르게 기억해야 한다. 그래서 처리 속도를 높이기 위해서는 물리적으로 기억 소자의 위치가 프로세서에 병렬적이면서도 동시에 극단적으로 더욱 근접하게 배치되어야 한다. 그래서 병렬처리 성능이 지금의 GPU보다 100 배 이상 향상되어야 한다.

또한 계산과 기억을 하기 위해 걸리는 지연시간(Latency)도 지금보다 100 분의 1 이상으로 줄여야 한다. 다음으로 전력 소모가 지금의 100 분의 1 이하로 줄여져야 한다. 그래야 인공지능 컴퓨터가 배터리로 구동되는 자율주행자동차, 손안의 컴퓨터인 스마트폰 안으로 들어올 수 있다. 그래야 4차 산업혁명이 완성된다.

인공지능 반도체의 두 가지 발전 방향

이러한 미래 인공지능 반도체의 요구 조건을 만족하기 위해서는 필자는 두 가지 개발 방향을 제시한다.

이 두 가지 방향으로 GPU 와 메모리 사이의 지속적이고 극단적 병렬화 방법과 퍼셉트론의 개념을 반도체 내부 회로나 소자로 구현하는 방법이다.

먼저, 가장 먼저 가능성이 높고 10년 내로 활발히 개발과 사업화가 진행될 방향은 GPU 프로세서와 디램(DRAM) 메모리의 급격한 병렬화 확대이다. 현재의 대표적인 인공지능 반도체인 HBM(High Bandwidth Memory)의 경우 지금은 GPU와 디램 사이의 연결선의 개수가 약 1000 개 수준이다. 미래에는 이 병렬 연결선이 십 만개, 백 만개까지 증가해서 지금보다 병렬화 수준을 더 급속하게 늘려야 한다.

그러기 위해서는 반도체의 구조가 지금의 2차원 구조에서 3 차원 구조로 진화해야 한다. 연결선의 구조 자체도 3차원이 되고, 연결선 기판도 실리콘이 되어야 한다. 연결선 하나가 초당 100 기가비트(100GBps) 이상 보낼 수 있는 전자파 도파관 구조로 변해야 한다. 이를 통해서 계산 속도도 늘리면서 동시에 전력소모와 시간 지연을 줄일 수 있다. 경우에 따라 메모리 위에 프로세서가 설치되는 PIM(Processor In Memory) 구조가 3차원적으로 적층될 수 있다.

클라우드 컴퓨팅 시스템과 인공지능 서버용 프로세서는 이러한 구조로 발전해야 한다고 본다. 이렇게 되면 기존의 프로세서 주류가 CPU, AP(Application Processor), GPU 에서 3D HBM 과 PIM이 결합된 구조로 진화할 가능성이 크다. 또한 자율주행자동차, 가전기기 등에도 사용될 전망이다. 구글 TPU(텐서 프로세서 유닛), IBM, 마이크로소프트, 엔비디아 기업 계열은 이 방향으로 인공지능 반도체 기술 개발을 추진할 것으로 예측한다.

병렬화가 극단적으로 증가하는 미래 인공지능 반도체의 발전 방향. [출처=KAIST]

인공지능 클라우드 서버에 사용되는 구글 TPU 모듈 사진, [출처=Wired]

다음의 방법은 인공지능 핵심 소자인 퍼셉트론을 실리콘 반도체 내부의 회로(Circuit)나 소자(Device)로 구현하는 방향이다. 프로세서와 메모리가 분리되지 않고 한 곳에 복합된다.

그러려면 간단한 행렬 계산과 더하기가 반도체 내부 회로나 소자 자체적으로 수행 가능해야 한다. 간단한 기억 소자도 같이 있어야 한다. 그리고 이러한 간단한 계산 회로와 기억 소자가 마이크로미터 단위(100 만 분의 1 미터)의 크기로 반도체 공간 안에 같이 구현할 수 있어야 한다. 그러니 신 소자와 신 물질이 개발되어야 한다. 이 방법이 구현되면 병렬 데이터가 외부 메모리로 들락거리지 않아도 되기 때문에 병렬성이 더욱 극대화 되면서 동시에 전력 소모, 시간 지연 문제가 해결 될 수 있다. 이러한 시도의 대표적 인공지능 반도체를 뉴로모픽칩(Neuromorphic Chip)이라고 부르기도 한다.

이 인공지능 반도체는 전력 소모가 작아야 하는 손안의 핸드폰으로 인공지능이 들어가는데 꼭 필요한 반도체이다. 스마트 IoT 센서에도 필요한 인공지능 반도체이다. 이러기 위해서는 현재의 실리콘 프로세서나 메모리가 갖고 있는 소자 구조와 물질 그리고 공정이 혁신적으로 바뀌어야 한다.

하지만 이 구조의 단점은 속도가 느리고, 인공지능 알고리즘과 프로그램을 마음대로 바꿀 수 없어 시스템 유연성(Flexibility)이 크게 약화된다. 그래서 응용 분야의 제한이 있을 수 있다. 대표적인 스마트폰 관련 회사인 삼성전자, 애플, 화웨이(Huwawei), 퀄텀 등에서 적극적으로 개발할 필요가 있는 방식이다. 다만 연구와 개발에 장기간이 소요될 전망이다.

반도체 회로와 소자를 이용해 구현하는 인공지능 반도체 뉴로모픽칩, [출처=IEEE Spectrum]

반도체 내부 아날로그 회로를 이용해서 퍼셉트론을 구현하는 인공지능 반도체, [출처=KAIST]

인공지능 반도체는 새로운 기회

미래 인공지능 반도체 방향으로 제시한 두 가지 방향은 각각 장단점을 갖고 있다. 알고리즘 구현의 유연성(Programmability), 현재 기술의 성숙도, 성능, 전력소모, 대량 생산 인프라의 존재 여부, 시장의 크기, 가격, 수율, 안전성에 따라 어느 방법이 더 유망하고 실현 가능한지 달라질 전망이다. 필자는 단기적으로는 병렬화가 증가한 3D HBM-PIM 구조가 당분간 인공지능 프로세서 시장을 주도할 것으로 전망한다. 그리고 장기적으로는 물질과 공정의 혁신으로 새로운 저전력 인공지능 반도체가 나타날 것으로 본다. 이 단계가 되면 모든 사물에 인공지능 기능이 들어가게 된다.

삼성전자, SK 하이닉스로 대표되는 한국 반도체 산업은 반도체 메모리로 집중 성장해 왔다. 4차 산업혁명의 중심인 빅데이터를 기록하기 위해, 그리고 인공지능 서버에는 반도체 메모리의 성능 요구 조건이 계속 증가하고 있다. 또한 그 수요도 지속적으로 증가할 전망이다. 하지만 4차 산업혁명 시대의 또 다른 반도체 산업 성장하는 기회가 바로 ‘인공지능 반도체’이다. 창의적이고 혁신적인 기술 투자와 인력 양성을 통해서 이 절호의 기회를 잡을 수 있어야 한다. 인텔, IBM, AMD, 엔비디아를 뛰어 넘는 인공지능 프로세서 기업이 한국에서 나오기를 고대한다. 새로운 기회의 땅이다.