NIA-업스테이지, 2023 올해의 한국어 LLM 시상식 개최

Open Ko-LLM 리더보드 부문별 1위 모델(야놀자, 이든티앤에스) 선정

[보안뉴스 박미영 기자] 한국지능정보사회진흥원(이하 NIA)과 업스테이지는 지난 5일 ‘2023년 올해의 LLM’ 시상식을 개최하고 우수 모델 2개를 선정했다고 밝혔다.

우수 모델은 NIA와 업스테이지가 운영 중인 ‘Open-Ko LLM 리더보드(이하 리더보드)’를 통해 접수된 1,134개 LLM(2024.2.9. 마감 기준)을 대상으로 5개 성능 지표에 따라 성능을 측정해 선정했다.

‘Open Ko-LLM 리더보드’는 글로벌 최대 AI 개발자 오픈소스 커뮤니티인 허깅페이스의 LLM 리더보드(영어 버전)를 벤치마크해 구축한 최초의 한국어 초거대 언어 모델 성능 평가 체계다.

대화(chat) 기반 AI 모델은 좋은 사전학습 모델을 기반으로 튜닝을 진행하는 것이 중요하므로, 이번 시상은 근간이 되는 ‘사전학습(Pretrained) 모델’과 응용을 하는 ‘파인튜닝(Finetuning) 모델’로 분야를 나눠 가장 우수한 점수를 획득한 모델을 선정해 시상했다. 그 결과 사전학습 모델 부문에서는 ‘야놀자’가, 파인튜닝 부문에서는 ‘이든티앤에스’가 1위를 차지하고 NIA 원장상을 수상했다.

리더보드의 목적은 한국어 LLM 평가 생태계 구축이며, 생태계의 핵심은 ‘표준화(Standardization)’이다. NIA와 업스테이지는 이러한 표준화를 잘 이뤄낼 수 있도록 다양한 능력을 평가할 수 있는 평가지표를 추가하고, 평가방식 등을 지속적으로 개선해 나갈 계획이다.

또한 NIA는 국내 자연어처리 분야의 최정상급 교수님들로 구성된 리더보드 운영위원회를 통해 리더보드의 활성화와 발전 방향을 도출해 나갈 예정이다.

NIA 황종성 원장은 “국내 리더보드에서 우수한 성적을 보인 기업이 글로벌 리더보드에서도 독보적인 위치를 차지하는 등 Open Ko-LLM 리더보드의 수준이 매우 높아지고 있다. 앞으로도 국내 기업의 초거대 언어모델 역량 강화와 민관 협력을 위해 적극 지원하겠다”고 밝혔다.

각 부문 1위를 수상한 ‘야놀자’와 ‘이든티앤에스’는 “자사의 초거대 언어모델 성능과 기술력을 인정받을 수 있는 기회가 주어져 매우 기쁘며 지속적으로 발전시켜 나가겠다”고 소감을 밝혔다.
[박미영 기자(mypark@boannews.com)]

3월 15일부터 시행되고 있는 개정 개인정보보호법과 관련해 가장 까다롭고 이행하기 어려운 조항은 무엇인가요?
	인공지능(AI) 등 자동화된 결정에 대한 정보주체 권리 구체화
	접근권한 관리 등 개인정보 안전성 확보조치 강화 및 고유식별정보 관리실태 정기조사
	영향평가 요약본 공개제도 도입 등 개인정보 영향평가제도
	영상정보처리기기 및 안전조치 기준
	개인정보 보호책임자의 전문성 강화 위한 전문CPO 지정
	국외 수집·이전 개인정보 처리방침 공개 등 개인정보 처리방침 평가제도
	손해배상책임 의무대상자 변경 및 확대
	공공기관 개인정보 보호수준 평가 확대
	기타(댓글로)