ETRI, 주위 소리와 자신 목소리의 음높이 분석해 촉각 패턴으로 변환해 주는 ‘촉각 피치 시스템’ 개발
[보안뉴스 박미영 기자] 국내 연구진이 청각장애인들을 위해 촉각으로 소리를 인식할 수 있는 기술을 개발했다. 이로써 청각장애인들이 보다 정확한 음을 내며 원하는 목소리와 노래를 부를 수 있도록 도움을 주는 기술을 개발했다.
한국전자통신연구원(ETRI)은 주위 소리와 자신의 목소리의 음높이(Pitch)를 분석해 촉각 패턴으로 변환해 주는 ‘촉각 피치 시스템’을 개발했다고 밝혔다.
청각장애인들도 인공와우 수술을 받으면 일반인과 원활한 구어 대화가 가능할 정도로 의료와 ICT의 발전이 이뤄졌다. 그러나 아직까지는 의사소통에 필요한 소리의 의미를 파악할 수 있는 정도이며 음의 높낮이를 구분하는 데 한계가 있다. 이로 인해 청각장애인들이 음악을 감상하거나 노래를 부르는 활동에 많은 제약이 있었다.
이를 해결하기 위해 ETRI가 청각이 아닌 촉각 신경을 통해 소리를 들을 수 있는 기술을 개발했다. 음악이나 소리 등 청각 정보로부터 소리의 주파수 신호를 뽑아내 음을 인식한 뒤, 촉각 패턴으로 만들어 착용자의 피부에 전달하는 사용자 인터페이스(UI) 기술이다. 해당 기술을 활용하면 주변 소리나 자신의 목소리에서 나오는 음의 높이를 피부로 느낄 수 있다.
연구진이 고안한 방법은 주변에서 4옥타브 계이름 ‘도’ 소리가 들리면 사용자가 왼손에 낀 장갑을 통해 검지 첫째 마디에 진동이 느껴지도록 하는 방식이다. 이처럼 손의 구조와 인지 용이성을 설계에 반영해 한 손에 3옥타브에 해당하는 36개의 음계를 촉각 패턴으로 표현했다.
손 부위별 진동 위치에 따라 음의 높낮이를 파악할 수 있기에 주변 소리와 내 목소리의 높낮이를 촉각으로 익히는 훈련이 한 달가량 필요하다. 나아가 함께 개발된 학습 방법 및 훈련 과정을 거치면 자신의 목소리를 원하는 음에 맞춰 낼 수도 있다. 청각장애인뿐 아니라 고령인 등도 언어 및 음향 학습 보조수단으로 활용할 수 있다.
연구진은 촉각 피치 시스템의 효과를 관찰하기 위해 강남대와 위탁연구를 수행했다. 임상연구에는 인공와우 수술을 받은 청각장애인 2명이 참여했다. 참가자들은 약 한 달간 15시간 훈련을 통해 촉각을 이용해 음을 이해하고 자신의 목소리로 원하는 음을 낼 수 있는 능력이 약 3배 향상됐다. 뿐만 아니라 촉각으로 훈련한 노래를 정확한 음으로 낼 수 있게 됐다.
기존에도 미국의 스탠포드대(Stanford), 라이스대(Rice), 페이스북(Facebook) 등 여러 기관에서 음성, 텍스트 정보를 촉각으로 전달하는 연구들이 여럿 진행됐다. 하지만 모든 정보를 촉각을 통해서만 전달할 수 있을 정도로 상용화하기엔 아직 많은 후속 연구가 필요한 상황이었다.
이때 ETRI 촉각 피치 시스템은 인공와우 및 보청기 사용자들이 모든 정보가 아니라 음 높낮이라도 파악하기를 원한다는 실제 요구 사항을 토대로 개발한 시스템이다. 덕분에 사용자 환경에 바로 적용할 수 있다는 장점이 있으며 임상을 통해 증명한 연구 중 최초 사례다.
한편, 언어 재활 훈련 과정 중 음악 활동을 병행하면 음성 언어 및 소리에 관한 이해력 발전에 도움이 된다는 기존 연구가 있다. 연구진은 본 기술로 단순히 청각장애인의 음악 활동뿐만 아니라 의사소통을 개선하는데도 크게 도움을 줄 수 있을 것으로 보고 있다.
이렇게 촉각 피치 시스템과 언어 재활 훈련법 병행 연구를 발전시켜 나가면 청각장애인들이 언어뿐 아니라 음악 활동도 동일하게 즐길 수 있을 것으로 기대된다. 연구진은 시스템의 착용성 및 완성도를 개선시키고 보다 효과적인 특수교육법 및 훈련 기법 표준안을 만들기 위해 관련 협회 및 단체와도 협력을 진행할 예정이다.
연구책임자인 신형철 ETRI 휴먼증강연구실장은 “기술을 위한 기술이 아닌 우리 사회 소수자들이 정말로 필요로 하는 적정 기술을 개발하기 위해 노력했다. 본 기술이 실질적으로 여러 사람들을 도울 수 있는 따뜻한 복지 ICT로 많이 활용됐으면 한다”고 밝혔다.
강남대 사회복지학부 이준우 교수도 “일반적으로 청각장애인이 낼 수 있는 소리의 범위가 있다. 본 훈련을 통해 그동안 내기 어려웠던 소리 영역 부분을 낼 수 있다는 자체가 획기적이라 생각한다”고 말했다.
연구진은 향후 더욱 쉽게 훈련을 진행하고 편한 착용이 이뤄질 수 있도록 손목/암밴드 등 웨어러블 형태로 장비를 개발할 계획도 지니고 있다. ETRI는 이외에도 화재 알람이나 교통신호 등 위험 상황을 알리는 소리를 어느 방향, 위치에서 발생했는지 파악해 웨어러블 기기 등을 통해 촉각으로 전달하는 기술을 개발 중이며 청각장애인 대상 필드 테스트를 준비 중이다.
이번 연구는 과학기술정보통신부 ‘신체 기능의 이상이나 저하를 극복하기 위한 휴먼 청각 및 근력 증강 원천기술 개발’ 과제의 일환으로 진행됐다.
[박미영 기자(mypark@boannews.com)]
[보안뉴스 박미영 기자] 국내 연구진이 청각장애인들을 위해 촉각으로 소리를 인식할 수 있는 기술을 개발했다. 이로써 청각장애인들이 보다 정확한 음을 내며 원하는 목소리와 노래를 부를 수 있도록 도움을 주는 기술을 개발했다.
[사진=ETRI]
한국전자통신연구원(ETRI)은 주위 소리와 자신의 목소리의 음높이(Pitch)를 분석해 촉각 패턴으로 변환해 주는 ‘촉각 피치 시스템’을 개발했다고 밝혔다.
청각장애인들도 인공와우 수술을 받으면 일반인과 원활한 구어 대화가 가능할 정도로 의료와 ICT의 발전이 이뤄졌다. 그러나 아직까지는 의사소통에 필요한 소리의 의미를 파악할 수 있는 정도이며 음의 높낮이를 구분하는 데 한계가 있다. 이로 인해 청각장애인들이 음악을 감상하거나 노래를 부르는 활동에 많은 제약이 있었다.
이를 해결하기 위해 ETRI가 청각이 아닌 촉각 신경을 통해 소리를 들을 수 있는 기술을 개발했다. 음악이나 소리 등 청각 정보로부터 소리의 주파수 신호를 뽑아내 음을 인식한 뒤, 촉각 패턴으로 만들어 착용자의 피부에 전달하는 사용자 인터페이스(UI) 기술이다. 해당 기술을 활용하면 주변 소리나 자신의 목소리에서 나오는 음의 높이를 피부로 느낄 수 있다.
연구진이 고안한 방법은 주변에서 4옥타브 계이름 ‘도’ 소리가 들리면 사용자가 왼손에 낀 장갑을 통해 검지 첫째 마디에 진동이 느껴지도록 하는 방식이다. 이처럼 손의 구조와 인지 용이성을 설계에 반영해 한 손에 3옥타브에 해당하는 36개의 음계를 촉각 패턴으로 표현했다.
손 부위별 진동 위치에 따라 음의 높낮이를 파악할 수 있기에 주변 소리와 내 목소리의 높낮이를 촉각으로 익히는 훈련이 한 달가량 필요하다. 나아가 함께 개발된 학습 방법 및 훈련 과정을 거치면 자신의 목소리를 원하는 음에 맞춰 낼 수도 있다. 청각장애인뿐 아니라 고령인 등도 언어 및 음향 학습 보조수단으로 활용할 수 있다.
연구진은 촉각 피치 시스템의 효과를 관찰하기 위해 강남대와 위탁연구를 수행했다. 임상연구에는 인공와우 수술을 받은 청각장애인 2명이 참여했다. 참가자들은 약 한 달간 15시간 훈련을 통해 촉각을 이용해 음을 이해하고 자신의 목소리로 원하는 음을 낼 수 있는 능력이 약 3배 향상됐다. 뿐만 아니라 촉각으로 훈련한 노래를 정확한 음으로 낼 수 있게 됐다.
기존에도 미국의 스탠포드대(Stanford), 라이스대(Rice), 페이스북(Facebook) 등 여러 기관에서 음성, 텍스트 정보를 촉각으로 전달하는 연구들이 여럿 진행됐다. 하지만 모든 정보를 촉각을 통해서만 전달할 수 있을 정도로 상용화하기엔 아직 많은 후속 연구가 필요한 상황이었다.
이때 ETRI 촉각 피치 시스템은 인공와우 및 보청기 사용자들이 모든 정보가 아니라 음 높낮이라도 파악하기를 원한다는 실제 요구 사항을 토대로 개발한 시스템이다. 덕분에 사용자 환경에 바로 적용할 수 있다는 장점이 있으며 임상을 통해 증명한 연구 중 최초 사례다.
한편, 언어 재활 훈련 과정 중 음악 활동을 병행하면 음성 언어 및 소리에 관한 이해력 발전에 도움이 된다는 기존 연구가 있다. 연구진은 본 기술로 단순히 청각장애인의 음악 활동뿐만 아니라 의사소통을 개선하는데도 크게 도움을 줄 수 있을 것으로 보고 있다.
이렇게 촉각 피치 시스템과 언어 재활 훈련법 병행 연구를 발전시켜 나가면 청각장애인들이 언어뿐 아니라 음악 활동도 동일하게 즐길 수 있을 것으로 기대된다. 연구진은 시스템의 착용성 및 완성도를 개선시키고 보다 효과적인 특수교육법 및 훈련 기법 표준안을 만들기 위해 관련 협회 및 단체와도 협력을 진행할 예정이다.
연구책임자인 신형철 ETRI 휴먼증강연구실장은 “기술을 위한 기술이 아닌 우리 사회 소수자들이 정말로 필요로 하는 적정 기술을 개발하기 위해 노력했다. 본 기술이 실질적으로 여러 사람들을 도울 수 있는 따뜻한 복지 ICT로 많이 활용됐으면 한다”고 밝혔다.
강남대 사회복지학부 이준우 교수도 “일반적으로 청각장애인이 낼 수 있는 소리의 범위가 있다. 본 훈련을 통해 그동안 내기 어려웠던 소리 영역 부분을 낼 수 있다는 자체가 획기적이라 생각한다”고 말했다.
연구진은 향후 더욱 쉽게 훈련을 진행하고 편한 착용이 이뤄질 수 있도록 손목/암밴드 등 웨어러블 형태로 장비를 개발할 계획도 지니고 있다. ETRI는 이외에도 화재 알람이나 교통신호 등 위험 상황을 알리는 소리를 어느 방향, 위치에서 발생했는지 파악해 웨어러블 기기 등을 통해 촉각으로 전달하는 기술을 개발 중이며 청각장애인 대상 필드 테스트를 준비 중이다.
이번 연구는 과학기술정보통신부 ‘신체 기능의 이상이나 저하를 극복하기 위한 휴먼 청각 및 근력 증강 원천기술 개발’ 과제의 일환으로 진행됐다.
[박미영 기자(mypark@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
박미영기자 기사보기
[2025-04-07] .jpg)
.png)
