전체메뉴

검색
팝업창 닫기
이메일보내기

챗GPT는 수포자?…수능 수학 낙제점

[연세대 연구팀 수능 응시 실험]

확률 통계·미적분 등서 모두 오답

20문제 중 6문제만 맞춰 9등급

외국어 영역선 2등급 받아 선전





인공지능(AI) 챗봇 서비스 챗GPT에게 국내 수능 수리 및 외국어영역 시험을 보게 한 결과, 외국어 영역에서는 2등급, 수리 영역에서는 9등급을 받았다. 앞서 챗GPT는 미국 의사 시험, 로스쿨과 경영전문대학원(MBA) 등 전문직 시험에 통과해 세상을 놀라게 했지만 챗GPT가 약하다고 평가되는 수학 능력에서는 수능의 벽을 넘지 못한 것으로 분석된다.

전문 시험평가 및 기술검증 기관 애나와 연세대 인공지능대학 소속 김시호 교수 연구팀은 챗GPT에게 2023년도 수능 문제를 풀게 하는 실험을 진행했다고 6일 밝혔다. 수리·외국어 영역이 대상이고 그림이 포함돼 입력할 수 없는 문항은 제외됐다.

수능 외국어 영역 문항에 대한 챗GPT의 답변.사진제공=애나




외국어영역의 경우 듣기 평가는 16 문제 중 14 문제, 독해 평가는 17 문제 중 13 문제에 정답을 맞춰 합산 점수 82점을 획득했다. 수능 2등급 수준의 능력이다. 문단에 함축된 의미 추론, 요지 파악, 글의 목적과 주제 파악 등 난이도가 높은 문제에서 모두 정답을 맞췄다.

반면 수학 시험에서는 상반된 결과가 나왔다. 공통 과목 분야 20문제 중 6문제에 정답을 맞췄지만 확률과 통계, 미적분학, 기하 분야의 문제는 전부 오답을 출력했다. 합산 16점을 얻어 9등급으로 평가됐다.

딥러닝 기반의 언어모델인 챗GPT의 연산 능력은 한자리 숫자의 곱셈 정도는 풀지만 두 자리 수 곱셈에서는 오답을 낼 정도로 정확도가 떨어진다. 최근 챗GPT를 만든 오픈AI는 지난달 30일 공식 홈페이지를 통해 챗GPT의 수학적 기능을 향상했다고 밝히기도 했다.

이상호 애나 최고기술책임자(CTO)는 “챗GPT는 문장에 대한 요약, 추론 등에 대해서는 매우 뛰어난 능력을 보이고 있으며 이러한 요약, 추론 기능을 활용하여 응용할 수 있는 서비스가 무궁무진할 것으로 보인다”며 “산업계에서는 이에 맞추어 인재 채용에 대한 요구 사항이 머지않아 바뀌게 될 것이다”고 말했다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
# 관련태그
#챗GPT, #오픈AI, #수능
주소 : 서울특별시 종로구 율곡로 6 트윈트리타워 B동 14~16층 대표전화 : 02) 724-8600
상호 : 서울경제신문사업자번호 : 208-81-10310대표자 : 손동영등록번호 : 서울 가 00224등록일자 : 1988.05.13
인터넷신문 등록번호 : 서울 아04065 등록일자 : 2016.04.26발행일자 : 2016.04.01발행 ·편집인 : 손동영청소년보호책임자 : 신한수
서울경제의 모든 콘텐트는 저작권법의 보호를 받는 바, 무단 전재·복사·배포 등은 법적 제재를 받을 수 있습니다.
Copyright ⓒ Sedaily, All right reserved

서울경제를 팔로우하세요!

서울경제신문

텔레그램 뉴스채널

서울경제 1q60