[서울=뉴스핌] 이나영 기자= AI 모델 경량화 및 최적화 기술 기업 노타가 세계적인 머신러닝 학회 ICML 2026의 'Efficient Qwen Competition'에서 3위를 차지했다고 13일 밝혔다.

회사에 따르면 노타는 단일 엔비디아 A10G GPU 환경에서 오픈소스 AI 모델 'Qwen3.5-4B'을 실행하면서 평균 6.978배 빠른 추론 성능을 기록했다. 이 대회는 AI 답변의 정확도는 유지하면서 응답 속도를 높이는 기술을 겨루는 것으로, 전 세계 40여 개 팀이 참가했다.

노타는 자체 양자화 기술로 모델의 메모리 사용량과 연산량을 줄이고, 추측적 디코딩 기술을 결합해 추론 속도를 향상시켰다. 추측적 디코딩은 초안 모델이 답변 후보를 빠르게 생성한 뒤 본 모델이 이를 검증하는 방식이다.

여기에 슬라이딩 윈도우 어텐션 기법을 적용해 불필요한 연산을 줄였으며, 양자화 기술은 후속 학습을 통해 성능을 보완함으로써 정확도 저하를 최소화했다.

ICML은 머신러닝과 인공지능 분야를 대표하는 세계적 학회로, 이번 대회가 열린 AdaptFM(Resource-Adaptive Foundation Model Inference) 워크샵은 제한된 컴퓨팅 자원에서 대규모 AI 모델을 효율적으로 실행하는 기술을 주제로 한다. 아마존과 메타를 비롯한 글로벌 기업 및 주요 연구기관 연구자들이 조직위원으로 참여하고 있다.

노타는 이번 수상과 함께 ICML 2026 AdaptFM 워크샵에서 MoE(Mixture of Experts) 구조 대규모 언어 모델 양자화 관련 논문 2편이 채택됐다. 해당 논문은 여러 전문가 모델 가운데 필요한 일부만 선택해 동작하는 MoE 구조의 특성을 활용해 적은 메모리와 연산 자원만으로도 성능 저하를 최소화하는 최적화 기술을 제안했다. 노타는 앞서 엔비디아 네모트론(Nemotron) 해커톤에서도 데이터 기반 MoE 양자화 기술로 트랙 우승과 종합우승을 차지한 바 있다.

김태호 노타 CTO 겸 공동창업자는 "이번 성과는 글로벌 AI 생태계에서 활용되는 대표적인 오픈소스 AI 모델인 큐웬을 대상으로 노타의 추론 최적화 기술력을 검증받은 사례"라며 "앞으로도 다양한 AI 서비스와 온디바이스·엣지 AI 환경에 최적화 기술을 적용해 나갈 것"이라고 말했다.

한편 노타는 ICML 2026 기간 중 서울 삼성동 코엑스 인근에서 'Nota AI - Korea Efficient Days'를 개최해 오픈AI, 구글, 퀄컴 등의 기업 관계자와 글로벌 연구자, 엔지니어들에게 효율적 AI의 연구 동향과 산업 적용 가능성을 소개했다.

노타는 다양한 하드웨어 환경에서 AI 모델을 효율적으로 실행할 수 있는 경량화 및 최적화 기술을 개발하고 있으며, 온디바이스 AI와 피지컬 AI를 비롯해 대규모 언어 모델 추론 최적화 분야까지 기술 적용 범위를 지속적으로 확대하고 있다.

nylee54@newspim.com