[서울=뉴스핌] 송주원 기자 = 한국교육과정평가원은 서·논술형 평가에 인공지능(AI) 자동채점을 활용하기 위한 기술적 가능성과 교육적 책임을 논의하는 세미나를 개최한다고 11일 밝혔다.

평가원은 이날 오후 2시 서울 중구 프레지던트호텔에서 '서·논술형 평가 AI 자동채점이 나아갈 길을 모색하다: 기술의 발전을 넘어 교육적 책임으로'를 주제로 세미나를 연다.

AI가 학생 답안을 얼마나 정확하게 채점할 수 있는지를 넘어 채점 결과의 신뢰성과 설명가능성, 책임성을 확보하고 교사의 역할을 어떻게 설정할지가 핵심 논의 대상이다.

세미나 1부에서는 AI 자동채점 기술의 학교 적용 방안을 살핀다. 김승주 평가원 연구진은 대규모언어모델(LLM) 시대에도 기존 머신러닝 방식과 답안 특징을 분석하는 '채점자질' 기반 접근이 필요하다고 봤다. LLM의 판단을 그대로 수용하기보다 별도의 기준으로 결과를 검증하고 점수와 채점 근거를 구분할 수 있어야 한다는 취지다.

신중휘 평가원 연구진은 교사가 AI 채점 과정에 개입하는 '휴먼 인 더 루프(Human-In-The-Loop)' 방식을 제시한다. AI가 판단하기 어려운 답안을 교사가 직접 검토한 뒤 이를 다시 학습 데이터에 반영하는 방식이다. 연구에서는 교사의 판단을 추가한 능동학습 방식이 AI 예측 결과만 다시 학습하는 방식보다 성능 개선 효과가 큰 것으로 나타났다.

생성형 AI를 활용해 점수와 함께 학생별 피드백을 제공하는 가능성도 검토됐다. 이정훈 평가원 연구진은 LLM 기반 자동채점에서 인간 채점 결과와 일정 수준의 일치 가능성을 확인했지만 동일 답안을 반복 채점할 때 결과가 달라지는 등 안정성 문제가 나타났다고 분석했다. 이에 AI가 1차 채점과 피드백을 맡고 교사가 이를 검토·수정하는 교사-AI 협력형 방식이 대안으로 제시됐다.

2부에서는 AI 자동채점 학습용 데이터의 '골드 스탠다드' 구축과 검색증강생성(RAG) 기반 활용, 고영향 AI로서 자동채점이 갖춰야 할 제도적 조건을 다룬다. 전체 프로그램은 자동채점 기술과 데이터·제도 분야 6개 발표와 종합토론으로 구성됐다.

박종임 평가원 연구위원은 "학생 평가에 활용되는 자동채점은 고영향 인공지능 판단 대상인 만큼 인간 교사의 검토 절차, 설명가능성 확보, 편향 점검이 중요하다"라며 "AI 과의존과 탈숙련화를 방지하기 위해 교사의 평가 전문성 신장을 위한 지원이 함께 이루어져야 한다"고 강조했다.

김문희 평가원장은 "AI 자동채점은 교사를 대체하는 기술이 아니라 교사의 평가 전문성을 강화하는 지원 도구여야 한다"라며 "교육 분야 AI 활용에 대해 균형 있는 시각에서 논의하는 계기가 되기를 기대한다"고 말했다.

jane94@newspim.com