대학생들은 AI와 교수자 중 누구의 평가를 더 신뢰할까. 대학 글쓰기 수업 평가에서 대학생들은 교수보다 AI의 평가가 더 공정하다고 인식하는 것으로 나타났다.
한국교육과정평가원(원장 김문희)은 손원숙 경북대 교수(교육학과)와 김해숙 경북대 박사수료가 수행한 ‘AI 평가와 교수자 평가에서 대학생이 인식하는 평가 공정성의 차이’ 연구 결과를 발표했다.
연구진은 “AI 평가와 교수자 평가는 평가 수행 방식과 판단 근거에서 구조적인 차이를 보인다”며 “AI 평가는 데이터 기반의 일관성과 객관성을 강점으로 하는 반면, 교수자 평가는 맥락적 이해와 교육적 전문성을 바탕으로 한 해석과 판단을 특징으로 한다”고 밝혔다.
연구는 실제로 경험할 수 있는 대학 글쓰기 수업 평가 상황을 반영한 내용을 기반으로 평가목적인 진단·형성·총괄에 따라 3개의 평가 상황 시나리오를 구성했다. 일반대 재학생을 대상으로 세 개의 독립적인 표본을 활용했으며, 연구 1은 390명, 연구 2는 267명, 연구 3은 253명이 대상이다.
진단평가 시나리오에서는 학기 초 맞춤형 학습 지원을 위한 글쓰기 기초 능력을 평가하기 위한 상황을, 형성평가 시나리오는 학기 중 수업 참여도, 과제에 대한 피드백, 토론 기여도 등을 반영해 학습 과정을 진단하는 상황을 제시했다.
총괄평가 시나리오는 학기 말에 글쓰기 역량을 종합적으로 평가하기 위해 서술형 글쓰기 과제로 학습 성취 수준을 평가하고, 그 결과를 최종 성적에 반영하는 상황을 제시했다.
조사 결과 신뢰도는 AI가 0.803~0.885로 교수자 0.794~0.870에 비해 높게 나타났다. 연구진은 “대학교 글쓰기 평가 상황에서 AI 평가가 교수자 평가보다 공정성 인식이 전반적으로 더 높게 나타났으며, 이러한 경향은 진단·형성·총괄평가 전반에 걸쳐 일관되게 확인됐다”며 “이는 학습자가 평가 공정성을 판단할 때 평가자 유형이 지닌 절차적 특성, 특히 객관성과 일관성에 대한 기대를 중요한 기준으로 활용하고 있음을 시사한다”고 밝혔다.
또한 AI 신뢰가 낮은 집단에서는 교수자 평가를 AI 평가보다 더 공정하게 인식한 반면, AI 신뢰가 중간 또는 높은 집단에서는 AI 평가를 교수자 평가보다 더 공정하게 인식하는 것으로 나타나 AI 신뢰도가 공정성에 밀접한 영향을 미치는 것으로 나타났다.
피드백 제공 효과도 평가자가 AI인지 교수인지에 따라 달라졌다. 학생들은 AI 평가 상황에서는 피드백 제공이 평가 과정에 대한 이해를 높이고 불확실성을 완화함으로써 공정성 인식을 향상시킨다고 봤다. 반면 교수자 평가에서는 피드백 제공 여부가 공정성 인식에 큰 영향을 미치지 않거나, 오히려 부정적인 인식을 유발하는 가능성도 있는 것으로 나타났다.
연구진은 “교수자 평가자에 대한 기본적인 신뢰가 이미 형성되어 있기 때문에 피드백의 추가적 효과가 제한적일 수 있으며, 피드백의 내용이나 방식에 따라 평가의 공정성에 대한 재해석이 이루어질 가능성으로 설명될 수 있다” 했다.
따라서 AI 기반 평가에서는 공정성 인식을 제고하기 위한 핵심 요소로서 피드백 제공을 적극적으로 고려할 필요가 있고, 교수자 평가에서는 피드백 제공 여부보다는 그 질과 전달 방식에 대한 보다 정교한 접근이 요구된다고 밝혔다.
또 AI로 교수자 평가를 대체하기보다는 객관적 기준이 적용되는 영역과 맥락적 해석이 필요한 영역을 구분할 필요가 있다고 봤다. 이에 따라 각각 적합한 평가 주체를 배치해 평가의 신뢰성과 타당성을 동시에 확보할 수 있다고 제안했다.
임효진 기자 goodnews@kyosu.net
