디지틀조선TV 유튜브 바로가기

AI 국어영역 평가‥어느 정도 수준일까?

이승재 기자 ㅣ ministro0714@chosun.com
등록 2019.03.22 18:08

[기자]
지난해 대학수학능력시험 국어영역은 역대 최고난도로 불리며 악명을 떨쳤죠. 인간이 풀기에 시간도 촉박하고 지문이 너무 어렵다는 말이 나왔는데요.


인공지능이 문제를 푼다면 어떻게 될까요? 인공지능의 국어능력은 어느 수준일지 알아보겠습니다.


[앵커]
인공지능이 국어시험을 본다니 어디서 진행하는 건가요?


[기자]
LG CNS에서 진행하는 ‘코쿼드’라는 시험입니다. 네이버, 카카오 등 15개 팀의 인공지능들이 약 3900개의 문제를 10분 안에 다 풀어야 하는데요. 문제 수준은 간단한 것도 있지만 중고등학생 수준의 문제도 있습니다. 당연히 인간에게는 불가능한 시험이고 인공지능이기 때문에 가능한 거죠.


100점 만점에 91.2점 이상을 받으면 언어 능력이 일반 성인 수준으로 인정받게 됩니다. 반면 82.99점을 못 넘으면 인공지능으로도 인정받지 못하게 됩니다.


[앵커]
91.2점이라는 기준은 어떻게 나온 건가요?


[기자]
4년제 대학을 졸업한 성인 6명에게 한 문제당 30초 제한을 걸고 일주일 동안 시험을 봤더니 평균점수가 91.2점이었다고 합니다.


[앵커]
어떤 문제가 등장하는지 예시 하나만 줘보세요~


[기자]
예를 들어 "그루트는 애니메이션 TV 프로그램, 장난감, 그리고 트레이딩 카드 같은 마블과 관련된 다양한 상품에 등장했다. 빈 디젤은 2014년 개봉하는 영화 가디언즈 오브 더 갤럭시에서 목소리 녹음과 모션 캡처를 통해 그루트의 성우를 맡았다. 그루트 목소리는 누가 연기했는가?" 같은 문제입니다. 물론 아까도 말씀드렸다시피 훨씬 어려운 지문들도 많습니다.


[앵커]
결과는 어떻게 됐나요?


[기자]
2위가 92.42점을 기록한 네이버, 3위가 92.1점을 기록한 카카오였습니다. 광주과학기술원이 만든 인공지능이 91.24점을 기록해 6위였는데 여기까지가 성인 수준의 커트라인이었습니다.


[앵커]
네이버와 카카오가 각각 2, 3위라면 1위는 누구였나요?


[기자]
익명으로 지원한 팀의 인공지능이었는데 점수가 무려 94.08점이었습니다. 유일한 94점대였죠.


[앵커]
그 익명의 팀이 어디일지 정말 궁금하네요. 이런 시험은 왜 진행하는 건가요?


[기자]
인공지능의 언어능력과 사고력을 객관적으로 측정해야 더 다양한 분야에 활용할 수 있기 때문입니다. 나중에는 훨씬 질문이 복잡해 질 것으로 업계는 전망하고 있습니다.


예를 들면 회사 인사 규정집을 학습한 뒤 “금요일에 자녀를 어린이집에서 일찍 데려와야 하는데 조금 일찍 퇴근할 수 있을까요?”라는 질문에 답을 내는 것입니다.


인공지능이 발달하면 사내 규정집을 외울 필요 없이 바로 인공지능에 실시간으로 질문할 수 있게 되겠죠.


[앵커]
네, 인공지능의 학습력이 어디까지 향상될 수 있을지, 그 활용 범위는 어디까지 확장될지 기대가 됩니다.

최신기사


    최신 뉴스 더보기




        많이 본 뉴스

          산업 최신 뉴스 더보기

            많이 본 뉴스