.jpg)
국립국어원의 자원 활용, 한국어에 최적화된 차세대 언어 모델 개발
[보안뉴스 박미영 기자] SK텔레콤이 지난 7일 국립국어원과 업무협약을 체결하고, 국립국어원의 언어 정보를 활용해 한국어에 최적화된 차세대 인공지능(AI) 언어 모델을 개발하기로 했다.
차세대 AI 한국어 모델은 사람의 능력 수준으로 평가되는 GPT-3와 유사한 성능을 발휘하는 한국어 범용 언어 모델(이하 GLM, General-Purpose Language Model)로, 언어 관련 문제풀이·글짓기·번역 및 주어진 문장에 따라 간단한 코딩을 수행할 수 있는 GPT-3의 기능을 한국어에서도 구현할 수 있게 된다. ‘GPT-3’는 Open AI가 개발한 영어 기반의 최신 AI 언어 모델로, 기존 GPT-2보다 자연스러운 언어 표현이 가능하고 범용적 사용이 가능하다.
GLM은 일상의 감성대화·다양한 업종의 고객센터 대화뿐 아니라 시사·문학·역사·게임에 이르기까지 다양한 영역의 언어 활동에 적용될 수 있으며, 이를 기반으로 새로운 산업 분야에 추가 활용될 수 있을 것으로 기대된다.
SKT가 개발하는 GLM은 1,500억개의 매개변수를 가진 거대 언어 모델로 개발될 예정이다. 최신 언어 모델인 GPT-3가 1,750억개의 매개변수를 가지고 있어 이전 버전인 GPT-2보다 100배 이상 크고 보다 높은 정확도와 넓은 활용도를 갖고 있는 점을 감안하면, GLM은 한국어 AI 언어 모델의 결정판이 될 것으로 예상된다.
SKT는 올해 말까지 GLM을 개발해 내부 서비스를 통해 모델 성능을 검증한 후 상용화를 진행할 예정이며, 다양한 서비스에도 적용할 계획이다. 또한 한국어 언어 모델 성능 평가 방법 개발 및 한국어 데이터 품질 평가 연구도 추진할 예정이다.
SKT는 2018년부터 AI 언어 모델을 개발해 왔으며, 2019년 KoBERT를 개발해 챗봇 등에 활용하고 있다. 2020년 4월 KoGPT-2를 개발 완료해 챗봇의 대화를 보다 자연스럽게 발전시켰으며, 2020년 10월에는 뉴스나 문서를 고품질 요약문으로 만들어 내는 능력 등 텍스트 처리 역량이 뛰어난 KoBART를 개발해 자연어 이해/처리 영역의 기술력을 강화해 왔다.
이와 함께 국립국어원은 ‘2021년 국어 정보처리 시스템 경진대회’를 SKT의 AI 언어 모델을 활용해 AI의 언어소통 능력을 겨루는 방식으로 개편해 한글 주간에 개최하기로 했다.
SKT 데이비스 에릭 하트먼 Language Superintelligence Labs장은 “SKT는 한국어에 최적화된 인공지능 언어 모델을 선제적으로 개발해 한국어의 정보화에 이바지하고 있다”며, 이번 국립국어원과의 협력을 계기로 한국어의 과학화, 세계화에도 기여할 계획”이라고 밝혔다.
국립국어원 정희원 어문연구실장은 “앞으로도 인공지능 개발에 필요한 언어 정보자원을 지속적으로 발굴해 관련 산업계와 학계에서 유용하게 활용될 수 있도록 시스템을 구축해 나가겠다”고 말했다.
[박미영 기자(mypark@boannews.com)]
[보안뉴스 박미영 기자] SK텔레콤이 지난 7일 국립국어원과 업무협약을 체결하고, 국립국어원의 언어 정보를 활용해 한국어에 최적화된 차세대 인공지능(AI) 언어 모델을 개발하기로 했다.
[사진=SK텔레콤]
차세대 AI 한국어 모델은 사람의 능력 수준으로 평가되는 GPT-3와 유사한 성능을 발휘하는 한국어 범용 언어 모델(이하 GLM, General-Purpose Language Model)로, 언어 관련 문제풀이·글짓기·번역 및 주어진 문장에 따라 간단한 코딩을 수행할 수 있는 GPT-3의 기능을 한국어에서도 구현할 수 있게 된다. ‘GPT-3’는 Open AI가 개발한 영어 기반의 최신 AI 언어 모델로, 기존 GPT-2보다 자연스러운 언어 표현이 가능하고 범용적 사용이 가능하다.
GLM은 일상의 감성대화·다양한 업종의 고객센터 대화뿐 아니라 시사·문학·역사·게임에 이르기까지 다양한 영역의 언어 활동에 적용될 수 있으며, 이를 기반으로 새로운 산업 분야에 추가 활용될 수 있을 것으로 기대된다.
SKT가 개발하는 GLM은 1,500억개의 매개변수를 가진 거대 언어 모델로 개발될 예정이다. 최신 언어 모델인 GPT-3가 1,750억개의 매개변수를 가지고 있어 이전 버전인 GPT-2보다 100배 이상 크고 보다 높은 정확도와 넓은 활용도를 갖고 있는 점을 감안하면, GLM은 한국어 AI 언어 모델의 결정판이 될 것으로 예상된다.
SKT는 올해 말까지 GLM을 개발해 내부 서비스를 통해 모델 성능을 검증한 후 상용화를 진행할 예정이며, 다양한 서비스에도 적용할 계획이다. 또한 한국어 언어 모델 성능 평가 방법 개발 및 한국어 데이터 품질 평가 연구도 추진할 예정이다.
SKT는 2018년부터 AI 언어 모델을 개발해 왔으며, 2019년 KoBERT를 개발해 챗봇 등에 활용하고 있다. 2020년 4월 KoGPT-2를 개발 완료해 챗봇의 대화를 보다 자연스럽게 발전시켰으며, 2020년 10월에는 뉴스나 문서를 고품질 요약문으로 만들어 내는 능력 등 텍스트 처리 역량이 뛰어난 KoBART를 개발해 자연어 이해/처리 영역의 기술력을 강화해 왔다.
이와 함께 국립국어원은 ‘2021년 국어 정보처리 시스템 경진대회’를 SKT의 AI 언어 모델을 활용해 AI의 언어소통 능력을 겨루는 방식으로 개편해 한글 주간에 개최하기로 했다.
SKT 데이비스 에릭 하트먼 Language Superintelligence Labs장은 “SKT는 한국어에 최적화된 인공지능 언어 모델을 선제적으로 개발해 한국어의 정보화에 이바지하고 있다”며, 이번 국립국어원과의 협력을 계기로 한국어의 과학화, 세계화에도 기여할 계획”이라고 밝혔다.
국립국어원 정희원 어문연구실장은 “앞으로도 인공지능 개발에 필요한 언어 정보자원을 지속적으로 발굴해 관련 산업계와 학계에서 유용하게 활용될 수 있도록 시스템을 구축해 나가겠다”고 말했다.
[박미영 기자(mypark@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
박미영기자 기사보기
[2024-04-16] .jpg)
.jpg)
