생성형 AI로 댓글 대량 작성...여론 조작 활용 우려
영어 기반 기존 기술은 한국어로 된 AI 댓글 탐지 어려워
KAIST-국보연, 한국어 맞춤형 AI 댓글 판별 기술 개발
[보안뉴스 한세희 기자] 생성형 AI 발달과 함께 AI로 대량 생산된 뉴스 댓글이 여론 조작에 악용된다는 우려도 커지고 있다. 하지만 AI 댓글 탐지 기술은 영어권 댓글을 대상으로 주로 개발돼 짧고 구어체 표현이 많은 한국어 뉴스 댓글에는 적용이 어려웠다.
국내 연구진이 이러한 문제를 해결하기 위해 한국어로 된 AI 작성 댓글을 탐지하는 기술을 처음 개발했다. 김용대 KAIST 전기및전자공학구 교수 연구팀이 국가보안기술연구소와 협력해 개발한 ‘XDAC’ 기술이다.
최근 생성형 AI는 기사 맥락에 맞춰 감정과 논노까지 조절할 수 있다. 사람이 쓴 댓글과 구별 안 되는 댓글을 몇 시간 안에 수십만 개 자동 생성해 여론조작에 악용될 수도 있다.
연구팀은 AI 생성 댓글과 사람 작성 댓글을 사람이 구별할 수 있는지 실험했다. 총 210개의 댓글을 평가한 결과, AI 생성 댓글의 67%를 사람이 작성한 것으로 착각했다. 실제 사람 작성 댓글도 73%만 정확히 구분해냈다. 사람조차 AI 생성 댓글을 정확히 구별하기 어려운 수준에 이르렀다는 의미다. AI 생성 댓글은 오히려 기사 맥락 관련성(95% vs 87%), 문장 유창성(71% vs 45%), 편향성 인식(33% vs 50%)에서 사람 작성 댓글보다 높은 평가를 받았다.
그동안 AI 생성 글 탐지 기술은 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발돼 한국어의 짧은 댓글에는 적용이 어려웠다. 짧은 댓글은 통계적 특징이 불충분하고, 이모지·비속어·반복 문자 등 비정형 구어 표현이 많아 기존 탐지 모델이 효과적으로 작동하지 않는다.
또 현실적인 한국어 AI 생성 댓글 데이터셋이 부족하고, 기존의 단순한 프롬프팅 방식으로는 다양하고 실제적인 댓글을 생성하는 데 한계가 있었다.
이에 연구팀은 △14종의 다양한 LLM 활용 △자연스러움 강화 △세밀한 감정 제어 △ 참조자료를 통한 증강 생성의 네 가지 전략을 적용한 AI 댓글 생성 프레임워크를 개발, 실제 이용자 스타일을 모방한 한국어 AI 생성 댓글 데이터셋을 구축했다. 이중 일부는 벤치마크 데이터셋으로 공개했다.
또 설명 가능한 AI(XAI) 기법을 적용해 언어 표현을 정밀 분석한 결과, AI 생성 댓글에는 사람과 다른 고유한 말투 패턴이 있음을 확인했다.
예를 들어, AI는 "것 같다", "에 대해" 등 형식적 표현을 많이 썼고 접속어 사용률도 높았다. 반면, 사람은 반복 문자(ㅋㅋㅋㅋ), 감정 표현, 줄바꿈, 특수기호 등 자유로운 구어체 표현을 즐겨 사용했다.
특수문자 사용에서도 AI와 사람의 차이가 있었다. AI는 세계적으로 통용되는 표준화된 이모지를 주로 사용하는 반면, 사람은 한국어 자음(ㅋ, ㅠ, ㅜ 등)이나 특수 기호(ㆍ, ♡, ★, • 등) 등 문화적 특수성이 담긴 다양한 문자를 활용했다.
특히 사람 작성 댓글의 26%는 줄바꿈, 여러 칸 띄어쓰기 등 서식 문자를 포함했지만, AI 생성 댓글은 단 1%만 사용했다. ㅋㅋㅋㅋ, ㅎㅎㅎㅎ 등 반복 문자 사용 비율도 사람 작성 댓글이 52%로, AI 생성 댓글(12%)보다 훨씬 높았다.
XDAC는 이러한 차이를 정교하게 반영해 탐지 성능을 높였다. 줄바꿈, 공백 등 서식 문자를 변환하고, 반복 문자 패턴을 기계가 이해할 수 있도록 변환하는 방식이 적용됐다. 또 각 LLM의 고유 말투 특징을 파악해 어떤 AI 모델이 댓글을 생성했는지도 식별 가능하게 설계됐다.
이러한 최적화로 XDAC는 AI 생성 댓글 탐지에서 98.5% F1 점수로 기존 연구 대비 68% 성능을 향상시켰으며, 댓글 생성 LLM 식별에서도 84.3% F1 성능을 기록했다.
고우영 선임연구원은 "이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고, 생성 모델까지 식별할 수 있는 세계 최초 기술"이라며 "AI 기반 여론 조작 대응의 기술적 기반을 마련했다"고 말했다.
연구팀은 XDAC 탐지 기술이 단순 판별을 넘어 심리적 억제 장치로 작용할 수도 있다고 설명했다. 마치 음주단속, 마약 검사, CCTV 설치 등이 범죄 억제 효과를 가지듯 정밀 탐지 기술의 존재 자체가 AI 악용 시도를 줄일 수 있다는 것이다.
XDAC는 플랫폼 사업자가 의심스러운 계정이나 조직적 여론 조작 시도를 정밀 감시·대응하는 데 활용될 수 있으며, 향후 실시간 감시 시스템이나 자동 대응 알고리즘으로 확장 가능성이 크다.
이번 연구는 설명가능 인공지능(XAI) 기반 탐지 프레임워크를 제안한 것이 핵심이다. 내달 27일 열리는 인공지능 자연어처리 분야 학술대회 'ACL 2025' 컨퍼런스에 채택되며 기술력을 인정받았다.
이번 연구는 KAIST 김용대 교수의 지도 아래 국보연 소속이자 KAIST 박사과정인 고우영 선임연구원이 제1 저자로 참여했으며, 성균관대학교 김형식 교수와 KAIST 오혜연 교수가 공동 연구자로 참여했다.
※논문 제목: XDAC: XAI-Driven Detection and Attribution of LLM-Generated News Comments in Korean
[한세희 기자(boan@boannews.com)]
영어 기반 기존 기술은 한국어로 된 AI 댓글 탐지 어려워
KAIST-국보연, 한국어 맞춤형 AI 댓글 판별 기술 개발
[보안뉴스 한세희 기자] 생성형 AI 발달과 함께 AI로 대량 생산된 뉴스 댓글이 여론 조작에 악용된다는 우려도 커지고 있다. 하지만 AI 댓글 탐지 기술은 영어권 댓글을 대상으로 주로 개발돼 짧고 구어체 표현이 많은 한국어 뉴스 댓글에는 적용이 어려웠다.
국내 연구진이 이러한 문제를 해결하기 위해 한국어로 된 AI 작성 댓글을 탐지하는 기술을 처음 개발했다. 김용대 KAIST 전기및전자공학구 교수 연구팀이 국가보안기술연구소와 협력해 개발한 ‘XDAC’ 기술이다.
최근 생성형 AI는 기사 맥락에 맞춰 감정과 논노까지 조절할 수 있다. 사람이 쓴 댓글과 구별 안 되는 댓글을 몇 시간 안에 수십만 개 자동 생성해 여론조작에 악용될 수도 있다.
연구팀은 AI 생성 댓글과 사람 작성 댓글을 사람이 구별할 수 있는지 실험했다. 총 210개의 댓글을 평가한 결과, AI 생성 댓글의 67%를 사람이 작성한 것으로 착각했다. 실제 사람 작성 댓글도 73%만 정확히 구분해냈다. 사람조차 AI 생성 댓글을 정확히 구별하기 어려운 수준에 이르렀다는 의미다. AI 생성 댓글은 오히려 기사 맥락 관련성(95% vs 87%), 문장 유창성(71% vs 45%), 편향성 인식(33% vs 50%)에서 사람 작성 댓글보다 높은 평가를 받았다.
▲AI 댓글 생성 프레임워크 구성 [자료: KAIST]
그동안 AI 생성 글 탐지 기술은 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발돼 한국어의 짧은 댓글에는 적용이 어려웠다. 짧은 댓글은 통계적 특징이 불충분하고, 이모지·비속어·반복 문자 등 비정형 구어 표현이 많아 기존 탐지 모델이 효과적으로 작동하지 않는다.
또 현실적인 한국어 AI 생성 댓글 데이터셋이 부족하고, 기존의 단순한 프롬프팅 방식으로는 다양하고 실제적인 댓글을 생성하는 데 한계가 있었다.
이에 연구팀은 △14종의 다양한 LLM 활용 △자연스러움 강화 △세밀한 감정 제어 △ 참조자료를 통한 증강 생성의 네 가지 전략을 적용한 AI 댓글 생성 프레임워크를 개발, 실제 이용자 스타일을 모방한 한국어 AI 생성 댓글 데이터셋을 구축했다. 이중 일부는 벤치마크 데이터셋으로 공개했다.
또 설명 가능한 AI(XAI) 기법을 적용해 언어 표현을 정밀 분석한 결과, AI 생성 댓글에는 사람과 다른 고유한 말투 패턴이 있음을 확인했다.
예를 들어, AI는 "것 같다", "에 대해" 등 형식적 표현을 많이 썼고 접속어 사용률도 높았다. 반면, 사람은 반복 문자(ㅋㅋㅋㅋ), 감정 표현, 줄바꿈, 특수기호 등 자유로운 구어체 표현을 즐겨 사용했다.
특수문자 사용에서도 AI와 사람의 차이가 있었다. AI는 세계적으로 통용되는 표준화된 이모지를 주로 사용하는 반면, 사람은 한국어 자음(ㅋ, ㅠ, ㅜ 등)이나 특수 기호(ㆍ, ♡, ★, • 등) 등 문화적 특수성이 담긴 다양한 문자를 활용했다.
특히 사람 작성 댓글의 26%는 줄바꿈, 여러 칸 띄어쓰기 등 서식 문자를 포함했지만, AI 생성 댓글은 단 1%만 사용했다. ㅋㅋㅋㅋ, ㅎㅎㅎㅎ 등 반복 문자 사용 비율도 사람 작성 댓글이 52%로, AI 생성 댓글(12%)보다 훨씬 높았다.
▲XDAC 데모. 탐지 및 식별 시연 예시 [자료: KAIST]
XDAC는 이러한 차이를 정교하게 반영해 탐지 성능을 높였다. 줄바꿈, 공백 등 서식 문자를 변환하고, 반복 문자 패턴을 기계가 이해할 수 있도록 변환하는 방식이 적용됐다. 또 각 LLM의 고유 말투 특징을 파악해 어떤 AI 모델이 댓글을 생성했는지도 식별 가능하게 설계됐다.
이러한 최적화로 XDAC는 AI 생성 댓글 탐지에서 98.5% F1 점수로 기존 연구 대비 68% 성능을 향상시켰으며, 댓글 생성 LLM 식별에서도 84.3% F1 성능을 기록했다.
고우영 선임연구원은 "이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고, 생성 모델까지 식별할 수 있는 세계 최초 기술"이라며 "AI 기반 여론 조작 대응의 기술적 기반을 마련했다"고 말했다.
연구팀은 XDAC 탐지 기술이 단순 판별을 넘어 심리적 억제 장치로 작용할 수도 있다고 설명했다. 마치 음주단속, 마약 검사, CCTV 설치 등이 범죄 억제 효과를 가지듯 정밀 탐지 기술의 존재 자체가 AI 악용 시도를 줄일 수 있다는 것이다.
XDAC는 플랫폼 사업자가 의심스러운 계정이나 조직적 여론 조작 시도를 정밀 감시·대응하는 데 활용될 수 있으며, 향후 실시간 감시 시스템이나 자동 대응 알고리즘으로 확장 가능성이 크다.
이번 연구는 설명가능 인공지능(XAI) 기반 탐지 프레임워크를 제안한 것이 핵심이다. 내달 27일 열리는 인공지능 자연어처리 분야 학술대회 'ACL 2025' 컨퍼런스에 채택되며 기술력을 인정받았다.
이번 연구는 KAIST 김용대 교수의 지도 아래 국보연 소속이자 KAIST 박사과정인 고우영 선임연구원이 제1 저자로 참여했으며, 성균관대학교 김형식 교수와 KAIST 오혜연 교수가 공동 연구자로 참여했다.
※논문 제목: XDAC: XAI-Driven Detection and Attribution of LLM-Generated News Comments in Korean
[한세희 기자(boan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
한세희기자 기사보기
[2025-04-07] 
.png)
 th.jpg)
.jpg)
.jpg)
 TH.jpg)
.png)
