차세대 빅데이터 분석 스택 ‘REEF’ 오픈 소스로 공개

분산 데이터 분석 환경에서 다양한 데이터 처리 서비스 지원

[보안뉴스 김태형] 서울대는 컴퓨터공학부 전병곤 교수가 마이크로소프트, UCLA 연구팀과 차세대 빅데이터 분석 스택 REEF(Retainable Evaluator Execution Framework)를 공동 개발해 지난 1월 오픈 소스로 공개했다고 5일 밝혔다.

REEF는 차세대 하둡의 자원 관리기능인 얀(YARN)에서 빅데이터 애플리케이션을 쉽게 개발할 수 있게 통합된 레이어로 구성돼 있다. 분산 데이터 분석 환경에서 기존의 자원을 활용해 다양한 데이터 처리 서비스를 지원하는 것이 강점. 기계 학습, 그래프 처리, 실시간 처리 등을 매우 효율적으로 작업할 수 있다.

따라서 REEF를 사용하면 새로운 데이터 처리 애플리케이션을 훨씬 쉽게 개발할 수 있으며, 기존의 프레임워크를 연결해 활용할 수도 있어 편리하다. 또 서로 다른 데이터 처리 프레임워크들을 통합해 최적화된 데이터 처리 워크플로우를 지원함으로써 데이터 센터 운용비용을 절감하고 전체 분석 시간을 단축할 수 있다.

전병곤 교수는 “이번 REEF는 국내에서도 빅데이터 분석 플랫폼 기반기술을 확보해 빅데이터를 더 효율적으로 분석하도록 만들었다는 데 의의가 있다”며, “앞으로도 빅데이터 분석 플랫폼 전체 스택에 대한 연구를 활발히 진행할 것”이라고 밝혔다.

REEF에 대한 전반적인 소개와 사용 방법은 REEF 홈페이지(www.reef-project.org)에 소개돼 있다. 코드는 아파치 라이선스 2로 공개돼 있으며 Github을 사용해 접근할 수 있다.

전 교수는 서울대 전자공학과를 졸업하고 미국 스탠퍼드대와 캘리포니아대 버클리에서 컴퓨터 공학 석사, 박사학위를 받았다. 인텔, 야후, 마이크로소프트 등 현업에서 활발히 활동하다가 지난해 서울대에 조교수로 부임하며 후학 양성에 힘을 쏟고 있다.

[김태형 기자(boan@boannews.com)]

AI 및 AI 보안 솔루션이 보안 인력의 업무에 어떤 식으로 영향을 미칠것이라고 생각하시나요
	부족한 인력 보충: 만성적인 인력 부족 문제를 해결하는 보완재 역할을 하고 있다(100% 대체는 불가)
	업무 영역의 분리: AI는 대량 데이터 처리를, 전문가는 고도의 전략적 판단을 맡는 등 역할이 완전히 다르다
	업무 총량의 전이: 단순 업무는 줄었으나, AI 모델 관리·검증 등 새로운 형태의 운영 업무가 발생해 전체 업무량은 비슷하다
	인력 대체 가능: 단순 반복 업무를 넘어 분석/판단 영역까지 대체하여 인력을 줄일 수 있다
	신뢰도 부족: 아직은 AI의 오탐이나 환각(Hallucination) 우려로 인해 사람이 일일이 재검토해야 하므로 실질적인 도움은 적다