AI 모델 오케스트레이션 평가 지표 논문 채택
실제 서비스 환경 반영한 벤치마크 제시
에이전틱 AI 기술 경쟁력 입증
/카카오 제공
카카오가 글로벌 AI 학회에서 연구 경쟁력을 인정받았다.
카카오는 자체 개발한 인공지능(AI) 모델 평가 지표 ‘오케스트레이션 벤치마크’가 세계 3대 AI 학회로 꼽히는 ICLR 2026에 채택됐다고 3일 밝혔다.
ICLR은 인공지능 표현 학습 분야의 최고 권위 학술대회로, 올해는 약 19000편의 논문이 접수돼 이 중 상위 28%만이 통과했다.
이번 연구는 대형 언어모델이 여러 작업을 스스로 계획하고 도구를 활용하는 ‘에이전틱 AI’ 성능을 실제 서비스 환경에 가깝게 평가하는 데 초점을 맞췄다. 기존 벤치마크가 단일 작업 중심이었다면, 카카오의 프레임워크는 복합적인 사용자 요청과 작업 간 의존 관계까지 반영한 것이 특징이다.
벤치마크는 여행·쇼핑·금융 등 17개 서비스 도메인과 100여 개 가상 도구로 구성됐으며, 모든 데이터는 수작업 검증을 거쳐 신뢰도를 높였다. 한국어와 영어를 모두 지원하고, 한국어의 경우 문화적 맥락까지 고려했다.
카카오 관계자는 “에이전틱 AI가 실제 서비스에서 안정적으로 작동하는지를 검증할 수 있는 핵심 도구”라며 “관련 연구를 지속해 기술 고도화를 추진하겠다”고 말했다.
Copyright ⓒ 디지틀조선일보 - 디지틀조선TV