[보안뉴스 박미영 기자] 최근 다양한 분야에서 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. 서비스 구축을 위해서는 심층 학습 모델을 훈련해야 하며, 이를 위해서는 충분한 훈련 데이터를 준비해야 한다. 특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데(예를 들어 낙타 사진에 ‘낙타’라고 정답을 적어줌), 이 과정은 일반적으로 수작업으로 진행되므로 엄청난 노동력과 시간이 소요된다. 따라서 훈련 데이터가 충분하지 않은 상황을 효과적으로 타개하는 방법이 요구되고 있다.
카이스트 전산학부 이재길 교수 연구팀이 적은 양의 훈련 데이터가 존재할 때도 높은 예측 정확도를 달성할 수 있는 새로운 모델 훈련 기술을 개발했다고 밝혔다.
심층 학습 모델의 훈련은 주어진 훈련 데이터에서 레이블과 관련성이 높은 특성을 찾아내는 과정으로 볼 수 있다. 예를 들어 ‘낙타’의 주요 특성이 등에 있는 ‘혹’이라는 것을 알아내는 것이다. 그런데 훈련 데이터가 불충분할 경우 바람직하지 않은 특성까지도 같이 추출될 수 있는 문제가 발생한다. 예를 들어 낙타 사진의 배경으로 종종 사막이 등장하기에 낙타에 대한 특성으로 ‘사막’이 추출되는 것도 가능하다. 사막은 낙타의 고유한 특성이 아닐뿐더러 이러한 바람직하지 않은 특성으로 인해 사막이 아닌 곳(예: 동물원)에 있는 낙타는 인식하지 못할 수 있다.
이 교수팀이 개발한 기술은 심층 학습 모델의 훈련에서 바람직하지 않은 특성을 억제해 충분하지 않은 훈련 데이터를 가지고도 높은 예측 정확도를 달성할 수 있게 해준다.
바람직하지 않은 특성을 억제하기 위해서 분포 외(out-of-distribution) 데이터를 활용한다. 예를 들어 낙타와 호랑이 사진의 분류를 위한 훈련 데이터에 대해 여우 사진은 분포 외 데이터가 된다. 이때 이 교수팀이 착안한 점은 훈련 데이터에 존재하는 바람직하지 않은 특성은 분포 외 데이터에도 존재할 수 있다는 점이다.
즉, 위의 예에서 여우 사진의 배경으로도 사막이 나올 수 있다. 따라서 다량의 분포 외 데이터를 추가로 활용해 여기에서 추출된 특성은 영(0) 벡터가 되도록 심층 학습 모델의 훈련 과정을 규제해 바람직하지 않은 특성의 효과를 억제한다. 훈련 과정을 규제한다는 측면에서 정규화 방법론의 일종이라 볼 수 있다. 분포 외 데이터는 쓸모없는 것이라 여겨지고 있었으나, 이번 기술에 의해 훈련 데이터 부족을 해소할 수 있는 유용한 보완재로 탈바꿈될 수 있다.
연구팀은 이 정규화 방법론을 ‘비선호(比選好) 특성 억제’라고 이름 붙이고 이미지 데이터 분석의 세 가지 주요 문제에 적용했다. 그 결과 기존 최신 방법론과 비교했을 때 이미지 분류 문제에서 최대 12% 예측 정확도를 향상했고, 객체 검출 문제에서 최대 3% 예측 정확도를 향상했으며, 객체 지역화 문제에서 최대 8% 예측 정확도를 향상했다.
제1저자인 박동민 박사과정 학생은 “이번 기술은 훈련 데이터 부족 현상을 해결할 수 있는 새로운 방법”이라며, “분류·회귀 분석을 비롯한 다양한 기계 학습 문제에 폭넓게 적용될 수 있어, 심층 학습의 전반적인 성능 개선에 기여할 수 있다”고 밝혔다.
연구팀을 지도한 이재길 교수도 “이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것”이라고 말했다.
한편, 이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다.
카이스트 지식서비스공학대학원에 재학 중인 박동민 박사과정 학생이 제1저자, 송환준 박사·김민석 박사과정 학생이 제2·제3저자로 각각 참여한 이번 연구는 최고 권위 국제학술대회 ‘신경정보처리시스템학회(NeurIPS) 2021’에서 올 12월 발표될 예정이다.
[박미영 기자(mypark@boannews.com)]
[사진=카이스트]
카이스트 전산학부 이재길 교수 연구팀이 적은 양의 훈련 데이터가 존재할 때도 높은 예측 정확도를 달성할 수 있는 새로운 모델 훈련 기술을 개발했다고 밝혔다.
심층 학습 모델의 훈련은 주어진 훈련 데이터에서 레이블과 관련성이 높은 특성을 찾아내는 과정으로 볼 수 있다. 예를 들어 ‘낙타’의 주요 특성이 등에 있는 ‘혹’이라는 것을 알아내는 것이다. 그런데 훈련 데이터가 불충분할 경우 바람직하지 않은 특성까지도 같이 추출될 수 있는 문제가 발생한다. 예를 들어 낙타 사진의 배경으로 종종 사막이 등장하기에 낙타에 대한 특성으로 ‘사막’이 추출되는 것도 가능하다. 사막은 낙타의 고유한 특성이 아닐뿐더러 이러한 바람직하지 않은 특성으로 인해 사막이 아닌 곳(예: 동물원)에 있는 낙타는 인식하지 못할 수 있다.
이 교수팀이 개발한 기술은 심층 학습 모델의 훈련에서 바람직하지 않은 특성을 억제해 충분하지 않은 훈련 데이터를 가지고도 높은 예측 정확도를 달성할 수 있게 해준다.
바람직하지 않은 특성을 억제하기 위해서 분포 외(out-of-distribution) 데이터를 활용한다. 예를 들어 낙타와 호랑이 사진의 분류를 위한 훈련 데이터에 대해 여우 사진은 분포 외 데이터가 된다. 이때 이 교수팀이 착안한 점은 훈련 데이터에 존재하는 바람직하지 않은 특성은 분포 외 데이터에도 존재할 수 있다는 점이다.
즉, 위의 예에서 여우 사진의 배경으로도 사막이 나올 수 있다. 따라서 다량의 분포 외 데이터를 추가로 활용해 여기에서 추출된 특성은 영(0) 벡터가 되도록 심층 학습 모델의 훈련 과정을 규제해 바람직하지 않은 특성의 효과를 억제한다. 훈련 과정을 규제한다는 측면에서 정규화 방법론의 일종이라 볼 수 있다. 분포 외 데이터는 쓸모없는 것이라 여겨지고 있었으나, 이번 기술에 의해 훈련 데이터 부족을 해소할 수 있는 유용한 보완재로 탈바꿈될 수 있다.
연구팀은 이 정규화 방법론을 ‘비선호(比選好) 특성 억제’라고 이름 붙이고 이미지 데이터 분석의 세 가지 주요 문제에 적용했다. 그 결과 기존 최신 방법론과 비교했을 때 이미지 분류 문제에서 최대 12% 예측 정확도를 향상했고, 객체 검출 문제에서 최대 3% 예측 정확도를 향상했으며, 객체 지역화 문제에서 최대 8% 예측 정확도를 향상했다.
제1저자인 박동민 박사과정 학생은 “이번 기술은 훈련 데이터 부족 현상을 해결할 수 있는 새로운 방법”이라며, “분류·회귀 분석을 비롯한 다양한 기계 학습 문제에 폭넓게 적용될 수 있어, 심층 학습의 전반적인 성능 개선에 기여할 수 있다”고 밝혔다.
연구팀을 지도한 이재길 교수도 “이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것”이라고 말했다.
한편, 이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다.
카이스트 지식서비스공학대학원에 재학 중인 박동민 박사과정 학생이 제1저자, 송환준 박사·김민석 박사과정 학생이 제2·제3저자로 각각 참여한 이번 연구는 최고 권위 국제학술대회 ‘신경정보처리시스템학회(NeurIPS) 2021’에서 올 12월 발표될 예정이다.
[박미영 기자(mypark@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
박미영기자 기사보기
.png)
.jpg)
