추측적 디코딩 적용...비용 효율 1.91배·서버 처리량 2.22배 향상
소비자급 GPU 활용해 데이터센터 자원 ‘검증 중심’ 운용
[보안뉴스 여이레 기자] 대규모언어모델(LLM) 기반 AI 서비스가 고가의 데이터센터 GPU에 과도하게 의존하면서 운영비 부담과 진입장벽이 커지고 있다. KAIST 연구진이 데이터센터 밖의 저렴한 소비자급 GPU까지 활용해 LLM 추론 비용을 낮추는 기술을 제시했다.
KAIST는 전기및전자공학부 한동수 교수 연구팀이 데이터센터 GPU 사용량을 줄이고, 개인 PC나 소형 서버 등에 탑재된 엣지 GPU를 함께 활용하는 LLM 서빙 프레임워크 ‘스펙엣지’(SpecEdge)를 개발했다고 28일 밝혔다.
스펙엣지는 데이터센터의 대규모 언어모델과 엣지 GPU에 배치된 소형 언어모델이 역할을 분담해 추론을 수행한다. 엣지 GPU가 먼저 확률이 높은 토큰 시퀀스(단어 또는 단어 일부의 연속)를 빠르게 생성하면, 데이터센터 LLM이 이를 일괄 검증하는 방식이다.
연구팀은 이 과정에 ‘추측적 디코딩’(Speculative Decoding)을 적용, 엣지 GPU가 서버 응답을 기다리지 않고 다음 후보 토큰을 계속 생성하도록 설계했다.
기술 검증 결과, 스펙엣지를 적용하면 데이터센터 GPU만으로 추론하는 기존 방식 대비 토큰당 비용을 약 67.6% 절감할 수 있었다.
또 데이터센터 GPU에서만 추측적 디코딩을 수행하는 방식과 비교해 비용 효율성은 1.91배, 서버 처리량은 2.22배 향상된 것으로 나타났다.
일반적 인터넷 환경에서도 원활히 작동, 특수 네트워크 구성 없이 서비스에 적용할 수 있는 가능성을 확인했다고 연구팀은 설명했다.
서버 측은 여러 엣지 GPU에서 들어오는 검증 요청을 효율적으로 처리하도록 구성해 GPU 유휴 시간을 줄이고 동시 처리량을 높였다. 이를 통해 데이터센터 자원을 ‘검증 중심’으로 활용하면서, 전체 LLM 서빙 인프라의 비용 대비 성능을 끌어올리는 구조를 구현했다.
한동수 KAIST 교수는 “데이터센터를 넘어 사용자 주변의 엣지 자원까지 LLM 인프라로 활용하는 것이 목표”라며 “AI 서비스 제공 비용을 낮춰 누구나 고품질 AI를 활용할 수 있는 환경을 만들고자 한다”고 말했다. 연구에는 KAIST 박진우 박사와 조승근 석사과정이 참여했다.
이 연구 결과는 12월 2일부터 7일까지 미국 샌디에이고에서 열린 신경정보처리시스템 학회(NeurIPS)에서 스포트라이트(상위 3.2%)로 발표됐다. 논문명은 ‘SpecEdge: Scalable Edge-Assisted Serving Framework for Interactive LLMs’이다.
이 연구는 정보통신기획평가원(IITP) ‘AI-Native 응용 서비스 지원 6G 시스템 기술개발’ 과제 지원을 받아 수행됐다.
[여이레 기자(gore@boannews.com)]
소비자급 GPU 활용해 데이터센터 자원 ‘검증 중심’ 운용
[보안뉴스 여이레 기자] 대규모언어모델(LLM) 기반 AI 서비스가 고가의 데이터센터 GPU에 과도하게 의존하면서 운영비 부담과 진입장벽이 커지고 있다. KAIST 연구진이 데이터센터 밖의 저렴한 소비자급 GPU까지 활용해 LLM 추론 비용을 낮추는 기술을 제시했다.
[자료: KAIST]
KAIST는 전기및전자공학부 한동수 교수 연구팀이 데이터센터 GPU 사용량을 줄이고, 개인 PC나 소형 서버 등에 탑재된 엣지 GPU를 함께 활용하는 LLM 서빙 프레임워크 ‘스펙엣지’(SpecEdge)를 개발했다고 28일 밝혔다.
스펙엣지는 데이터센터의 대규모 언어모델과 엣지 GPU에 배치된 소형 언어모델이 역할을 분담해 추론을 수행한다. 엣지 GPU가 먼저 확률이 높은 토큰 시퀀스(단어 또는 단어 일부의 연속)를 빠르게 생성하면, 데이터센터 LLM이 이를 일괄 검증하는 방식이다.
연구팀은 이 과정에 ‘추측적 디코딩’(Speculative Decoding)을 적용, 엣지 GPU가 서버 응답을 기다리지 않고 다음 후보 토큰을 계속 생성하도록 설계했다.
기술 검증 결과, 스펙엣지를 적용하면 데이터센터 GPU만으로 추론하는 기존 방식 대비 토큰당 비용을 약 67.6% 절감할 수 있었다.
또 데이터센터 GPU에서만 추측적 디코딩을 수행하는 방식과 비교해 비용 효율성은 1.91배, 서버 처리량은 2.22배 향상된 것으로 나타났다.
일반적 인터넷 환경에서도 원활히 작동, 특수 네트워크 구성 없이 서비스에 적용할 수 있는 가능성을 확인했다고 연구팀은 설명했다.
[자료: KAIST]
서버 측은 여러 엣지 GPU에서 들어오는 검증 요청을 효율적으로 처리하도록 구성해 GPU 유휴 시간을 줄이고 동시 처리량을 높였다. 이를 통해 데이터센터 자원을 ‘검증 중심’으로 활용하면서, 전체 LLM 서빙 인프라의 비용 대비 성능을 끌어올리는 구조를 구현했다.
한동수 KAIST 교수는 “데이터센터를 넘어 사용자 주변의 엣지 자원까지 LLM 인프라로 활용하는 것이 목표”라며 “AI 서비스 제공 비용을 낮춰 누구나 고품질 AI를 활용할 수 있는 환경을 만들고자 한다”고 말했다. 연구에는 KAIST 박진우 박사와 조승근 석사과정이 참여했다.
이 연구 결과는 12월 2일부터 7일까지 미국 샌디에이고에서 열린 신경정보처리시스템 학회(NeurIPS)에서 스포트라이트(상위 3.2%)로 발표됐다. 논문명은 ‘SpecEdge: Scalable Edge-Assisted Serving Framework for Interactive LLMs’이다.
이 연구는 정보통신기획평가원(IITP) ‘AI-Native 응용 서비스 지원 6G 시스템 기술개발’ 과제 지원을 받아 수행됐다.
[여이레 기자(gore@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
여이레기자 기사보기
.gif)
.jpg)
.jpg)
.png)
.png)
