앤트로픽 미토스, 양자 위협 방어 알고리즘 약점 찾아냈다

‘클로드 미토스’, PQC 후보 ‘HAWK’ 및 AES 변형 알고리즘 약점 규명
60시간 만에 PQC 알고리즘 키 강도 절반 단축… 실제 운영 시스템 영향은 없어

[보안뉴스=한세희 기자] 앤트로픽은 자사 최첨단 AI 모델 ‘클로드 미토스’가 양자내성암호(PQC) 후보 알고리즘의 취약점을 찾아냈다고 28일(현지시간) 밝혔다. 현재 디지털 시스템 방어에 널리 쓰이는 AES 암호에 대한 효과적 공격법도 찾아냈다.

인공지능(AI)이 소프트웨어 코드의 버그를 찾는 수준을 넘어, 암호 알고리즘 자체의 수학적 구조적 결함까지 스스로 찾아냈다. 다만, 실제 사용 시스템에 대한 영향은 없다는 설명이다.

앤트로픽은 ‘클로드 미토스 프리뷰’를 활용해 차세대 PQC 후보 알고리즘 ‘HAWK’에 대한 새로운 공격 방법을 찾아냈다. HAWK는 양자 위협에 맞서 디지털 서명 안전성을 지키기 위한 알고리즘이다. 미국 국립표준기술연구소(NIST)이 2022년 시작한 PQC 알고리즘 공모에서 3라운드에 진출한 상태다.

미토스는 알고리즘에 활용되는 격자(lattice) 구조에서 기존에 알려지지 않은 약점을 찾아냈다. 이 취약점을 활용한 공격에 대응해 같은 수준의 보안성을 가지려면 HAWK 키 크기가 2배로 늘어나야 해 실효성 있는 방어가 어려워진다.

미토스는 수년 간 학계 검증을 거친 HAWK의 취약점을 60시간 만에 독자적 가설과 연산을 거쳐 발견했다.

대칭키 암호 알고리즘 AES-128의 7라운드 축소 버전 에 대한 ‘중간만남 공격’(Meet-in-the-Middle Attack) 성능도 대폭 개선했다고 앤트로픽은 밝혔다. 클로드는 ‘뫼비우스 브릿지’(Möbius Bridge)라는 지문 인식(fingerprints) 알고리즘을 스스로 고안, 기존 연구 대비 공격 속도를 약 200배에서 최대 800배까지 향상시켰다. AES 축소 버전에 대한 연구는 AES 암호 시스템을 강화하기 위한 연구에 필요하다는 설명이다.

기존 미토스가 찾은 취약점들은 암호 라이브러리에 알고리즘을 잘못 적용해 생긴 것들이었지만, 이번 연구는 알고리즘 자체의 문제를 찾은 것이다.

다만, 이 연구 결과가 현재 실제 상용 운영 중인 컴퓨터 시스템이나 인터넷 보안에 즉각적 위험을 미치지는 않는다고 앤트로픽은 밝혔다. HAWK는 아직 표준으로 채택되지 않은 연구 단계 알고리즘이다. AES 공격 역시 현재 실제 쓰이는 AES에 비해 단순화된 모델에 대한 것이기 때문이다.

이번 성과를 바탕으로 향후 알고리즘이 실제 서비스에 배포되기 전, AI를 활용해 취약점을 선제적으로 탐지하고 보완하는 사전 검증 시스템 구축이 가능할 것으로 기대된다. 앤트로픽은 “장기적으로 언어 모델이 암호 기술을 강하게 검증하고 개선하는 과정에 중요한 역할을 하리라 기대한다”며 “이같은 역량이 일으킬 수 있는 위협에 맞서기 위해 학계와 정부, 산업계의 의견을 모아야 할 것”이라고 밝혔다.

[한세희 기자(hahn@boannews.com)]

AI 및 AI 보안 솔루션이 보안 인력의 업무에 어떤 식으로 영향을 미칠것이라고 생각하시나요
	부족한 인력 보충: 만성적인 인력 부족 문제를 해결하는 보완재 역할을 하고 있다(100% 대체는 불가)
	업무 영역의 분리: AI는 대량 데이터 처리를, 전문가는 고도의 전략적 판단을 맡는 등 역할이 완전히 다르다
	업무 총량의 전이: 단순 업무는 줄었으나, AI 모델 관리·검증 등 새로운 형태의 운영 업무가 발생해 전체 업무량은 비슷하다
	인력 대체 가능: 단순 반복 업무를 넘어 분석/판단 영역까지 대체하여 인력을 줄일 수 있다
	신뢰도 부족: 아직은 AI의 오탐이나 환각(Hallucination) 우려로 인해 사람이 일일이 재검토해야 하므로 실질적인 도움은 적다