데이터 과학이 한 때 붐을 일으켰었다. 지금은 조용해졌다. 왜? 수많은 프로젝트들이 실패했기 때문이다. 그러나 데이터 분석의 힘 자체가 부정당해도 되는 건 아니다. 어쩌면 우리가 처음부터 뭔가를 잘못 하고 있었는지도 모른다.
[보안뉴스 문정후 기자] 그 때는 진짜 대단해 보였다. 데이터를 모으고, 신기술로 분석하고, 그럼으로써 통찰을 이끌어내서 사업에 접목하고, 올바른 결정을 내릴 수 있다니, ‘와’하는 소리가 절로 나왔다. 늘 사업을 어렵게 만들었던 난제들은 사라지고 탄탄대로가 펼쳐질 것만 같았다. 불과 몇 년 전의 이야기다. 그런데 지금은 어떤가? 수많은 기업들이 데이터 분석 프로젝트(인공지능 포함)를 더 이상 진행하지 않으며, 그런 시도들에 ‘실패’라는 이름을 붙이고 있다.
가트너(Gartner)는 올해가 끝나기 전까지 데이터 분석을 통해 얻어낸 통찰이라는 것이 실질적인 이윤으로 전환되는 비율은 20% 정도 될 것이라고 예측하고 있다. 수년 전 가트너는 2020년까지 진행되는 인공지능 프로젝트의 80%가 “마법사들만 아는 연금술”로서 존재할 것이라고도 주장했었다. 회의적이라는 것이다. 올해에도 가트너는 퍼센티지까지 밝히지는 않았지만 비슷한 수준의 회의론을 유지하고 있다. 벤처비트(VentureBeat)의 경우도 데이터 과학 프로젝트의 13% 정도만이 실질적인 성과를 낼 것이라고 예측하고 있으며, 실패 확률은 87%라고 짚었다.
이런 상황에서도 디지털 기술에 의한 데이터 과학이나, 데이터 분석을 통한 통찰이니, 인공지능의 마법과 같은 힘이니 하는 것들을 믿고 프로젝트를 진행해야 할까? 아니면 가던 길을 멈추고 추이를 지켜봐야 할까? 몇 년 전 데이터 신기술들이 각광을 받을 때보다 지금이 더 혼란스러운 때로 보이는데 말이다.
데이터 분석과 인공지능, 어디서부터 잘못됐나
예를 들어 아이바이어(iBuyer) 산업을 들여다보자(아이바이어는 디지털 도구로 부동산을 거래하는 산업을 말한다_역주). 이 아이바이어 활동을 하는 기업들로는 질로우(Zillow), 오픈도어(Opendoor), 오퍼패드(Offerpad) 등이 있다. 데이터를 중심으로 부동산 투자 결정을 꽤나 정확하게 내리는 기업들이라고 볼 수 있다. 알고리즘이 집을 분석하고 경쟁력 있는 가격을 결정하면, 그것을 바탕으로 거래를 이뤄내니 꽤나 간단하지 않은가? 이런 단순한 구조에서 데이터 과학이 실패할 일이 뭐가 있을까?
2021년 11월 아이바이어의 제왕인 질로우는 엄청난 손해를 보고 아이바이어 사업에서 손을 뗐다. 그러자 2위였던 오픈도어가 왕좌를 차지했고, 자신의 데이터 분석 기술은 질로우의 그것보다 훨씬 낫다고 자신감 있게 선포했다. 그런데 올해 1월 22일 오픈도어의 주가가 폭락하더니, 뱅크오브아메리카는 “아이바이어 사업 모델은 위험 부담이 높다”고 발표했다. 그리고 정말로 아이바이어 산업이 금전적으로 큰 손해를 보고 있다는 보고서들이 쏟아지기 시작했다. 데이터가 만든 산업의 안타까운 귀결이 아닐 수 없다.
이렇게 데이터 분석과 인공지능이 처참하게 실패할 때 전문가들은 비판할 곳을 아주 쉽게 찾아낸다. 아직 이 분야의 잠재력을 이끌어낼 사람들의 기술이 부족하다는 둥, 예산이 모자란다는 둥, 사업적 전략성이 형편없었다는 둥, 단시안적인 투자 행위가 문제라는 둥 하면서 말이다. 물론 아주 틀린 이야기는 아니다. 데이터 분석이라는 분야의 전망이 아무리 좋다 한들 이러한 문제들이 겹겹이 발생하면 잘 되기가 어렵다. 하지만 정말 이런 요소들만이 실패의 요소들인 걸까? 혹시 우리는 범인을 잘못 찾고 있는 건 아닐까?
데이터 중심 모델에서 결정 중심 모델로
현재 기업들은 ‘통찰’을 얻기 위해 데이터를 모으고 있다. 통찰이 필요한 이유는 하나, 올바른 결정을 내리기 위해서다. 즉 결정이라는 긴긴 과정의 맨 앞에 데이터가 있는 것이다. 나머지는 데이터를 따라 뒤따라오고 말이다.
그런데 이게 정말 기업들이 원하는 걸까? 백지 상태에서 데이터가 가라고 하는 대로 가고 오라 하는 대로 오는 게 정말 기업이 할 일인 걸까? 발상을 조금만 달리하면 오히려 기업의 운영진이 원하는 건 이미 내린 결정에 대하여 데이터가 충분한 근거로서 뒷받침 역할을 해주는 것이 아닐까? ‘일단 사업이라는 건 하고 싶은데, 그게 뭔지 모르겠어서 데이터를 주구장창 수집하고 있어’라는 태도보다 ‘나는 이 방향으로 나아가길 원하는데, 그 근거가 좀 부족하니까 데이터를 모으고 분석해야 해’가 더 올바른 것일 수도 있지 않을까?
즉 데이터가 결정의 과정 맨 앞에서 지휘하는 게 아니라, 결정이 맨 앞에 서서 데이터를 그에 맞게 모으면 어떨까, 라는 것이다. 결국 데이터가 결정을 내리는 게 아니라 경영진의 의도가 - 지난 과거 동안 거의 항상 그래 왔듯이 - 결정을 내리게 하는 것 말이다.
이렇게 결정이 기업의 방향성을 좌지우지 하는 환경에서 데이터 분석 및 활용 프로젝트들은 입맛에 맞는 데이터들만을 다루게 되기 때문에 제어가 간편하고 실패 확률이 낮다. 프로젝트가 나아가는 방향을 제어하는 것도 용이하다. 데이터를 처음부터 백지 상태에서 모으기 시작하는 것보다 나은 결과를 높은 확률로 가져다주는 게 사실이다. 그렇다고 데이터 분석 단계가 불필요해지는 것도 아니다. 여전히 모인 데이터를 분석하여 통찰을 이끌어 내야(즉 데이터 분석 기술을 활용해야) 결정에 대한 뒷받침 역할을 데이터가 할 수 있다. 순서만 조금 바뀌는 것이다.
편견이 섞인 데이터와 잘못된 결정
그렇다고 오해하지는 말라. 경영진의 독단적인 직감에 의한 결정을 끼워 맞추기 위해 억지 데이터들만을 긁어모아, 그 경영진의 비위에 맞는 통찰을 근거로서 제시하는 게 우리가 나아가야 할 방향이라는 건 아니다. 이런 식으로 데이터 과학을 적용할 경우, 알고리즘에 편견만 쌓이고, 나쁜 결정이 내려진다.
제일 처음에 결정을 내린다고 했을 때, 그 결정은 직감이 아니라 과학적이고 수학적인 분석에 의해 어느 정도 도움을 받아야 한다. 경제학, 결정 분석, 행동 경제학, 심리학, 디자인, 철학, 게임 이론 등 직감보다 더 유용하게 쓸 만한 지식 분야가 우리에게는 꽤나 많다. 이렇게만 말하면 아무런 도움이 되지 않는다는 걸 잘 안다. 그래서 필자는 몇 가지 실질적인 자료와 조언을 구할 수 있는 방법을 덧붙이고자 한다.
제일 먼저 캐시 코지르코프(Cassie Kozyrkov)라는 과학자가 쓴 글과 유튜브 영상을 찾아볼 것을 권한다. 구글의 ‘의사결정 인텔리전스’ 부문 수장인 인물로, ‘결정’이라는 것에 대한 적잖은 통찰을 가지고 있는 사람이다. 실질적인 팁도 무수히 많이 제공한다. 그 다음은 제임스 테일러(James Taylor)가 쓴 책 ‘디지털 결정 내리기(Digital Decisioning)’라는 책을 추천한다. 로리엔 프랫(Lorien Pratt)이 쓴 ‘링크(Link)’ 역시 좋은 책이다. 가트너가 이 분야에서 발표한 각종 보고서들도 훌륭하다. 필자가 최근에 쓴 ‘바보들을 위한 의사결정 인텔리전스(Decision Intelligence for Dummies)’도 졸글이긴 하지만 추천하고 싶다.
데이터를 수집하고, 그 안에서 통찰을 찾는다는 건 그림을 막 배운 아이에게 백지를 주면서 아무거나 그리라는 숙제를 주는 것과 같다. 자유 주제로 넘어가기 전에 몇 가지 주제를 선생님이나 부모 편에서 정해주는 게 더 아이의 그림 실력 향상에는 더 도움이 된다. 데이터 분석이라는 분야도 마찬가지다. 지금은 결정부터 내리고 데이터를 수집하는 게 더 적절한 시기다.
글 : 팜 베이커(Pam Baker), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
[보안뉴스 문정후 기자] 그 때는 진짜 대단해 보였다. 데이터를 모으고, 신기술로 분석하고, 그럼으로써 통찰을 이끌어내서 사업에 접목하고, 올바른 결정을 내릴 수 있다니, ‘와’하는 소리가 절로 나왔다. 늘 사업을 어렵게 만들었던 난제들은 사라지고 탄탄대로가 펼쳐질 것만 같았다. 불과 몇 년 전의 이야기다. 그런데 지금은 어떤가? 수많은 기업들이 데이터 분석 프로젝트(인공지능 포함)를 더 이상 진행하지 않으며, 그런 시도들에 ‘실패’라는 이름을 붙이고 있다.
[이미지 = utoimage]
가트너(Gartner)는 올해가 끝나기 전까지 데이터 분석을 통해 얻어낸 통찰이라는 것이 실질적인 이윤으로 전환되는 비율은 20% 정도 될 것이라고 예측하고 있다. 수년 전 가트너는 2020년까지 진행되는 인공지능 프로젝트의 80%가 “마법사들만 아는 연금술”로서 존재할 것이라고도 주장했었다. 회의적이라는 것이다. 올해에도 가트너는 퍼센티지까지 밝히지는 않았지만 비슷한 수준의 회의론을 유지하고 있다. 벤처비트(VentureBeat)의 경우도 데이터 과학 프로젝트의 13% 정도만이 실질적인 성과를 낼 것이라고 예측하고 있으며, 실패 확률은 87%라고 짚었다.
이런 상황에서도 디지털 기술에 의한 데이터 과학이나, 데이터 분석을 통한 통찰이니, 인공지능의 마법과 같은 힘이니 하는 것들을 믿고 프로젝트를 진행해야 할까? 아니면 가던 길을 멈추고 추이를 지켜봐야 할까? 몇 년 전 데이터 신기술들이 각광을 받을 때보다 지금이 더 혼란스러운 때로 보이는데 말이다.
데이터 분석과 인공지능, 어디서부터 잘못됐나
예를 들어 아이바이어(iBuyer) 산업을 들여다보자(아이바이어는 디지털 도구로 부동산을 거래하는 산업을 말한다_역주). 이 아이바이어 활동을 하는 기업들로는 질로우(Zillow), 오픈도어(Opendoor), 오퍼패드(Offerpad) 등이 있다. 데이터를 중심으로 부동산 투자 결정을 꽤나 정확하게 내리는 기업들이라고 볼 수 있다. 알고리즘이 집을 분석하고 경쟁력 있는 가격을 결정하면, 그것을 바탕으로 거래를 이뤄내니 꽤나 간단하지 않은가? 이런 단순한 구조에서 데이터 과학이 실패할 일이 뭐가 있을까?
2021년 11월 아이바이어의 제왕인 질로우는 엄청난 손해를 보고 아이바이어 사업에서 손을 뗐다. 그러자 2위였던 오픈도어가 왕좌를 차지했고, 자신의 데이터 분석 기술은 질로우의 그것보다 훨씬 낫다고 자신감 있게 선포했다. 그런데 올해 1월 22일 오픈도어의 주가가 폭락하더니, 뱅크오브아메리카는 “아이바이어 사업 모델은 위험 부담이 높다”고 발표했다. 그리고 정말로 아이바이어 산업이 금전적으로 큰 손해를 보고 있다는 보고서들이 쏟아지기 시작했다. 데이터가 만든 산업의 안타까운 귀결이 아닐 수 없다.
이렇게 데이터 분석과 인공지능이 처참하게 실패할 때 전문가들은 비판할 곳을 아주 쉽게 찾아낸다. 아직 이 분야의 잠재력을 이끌어낼 사람들의 기술이 부족하다는 둥, 예산이 모자란다는 둥, 사업적 전략성이 형편없었다는 둥, 단시안적인 투자 행위가 문제라는 둥 하면서 말이다. 물론 아주 틀린 이야기는 아니다. 데이터 분석이라는 분야의 전망이 아무리 좋다 한들 이러한 문제들이 겹겹이 발생하면 잘 되기가 어렵다. 하지만 정말 이런 요소들만이 실패의 요소들인 걸까? 혹시 우리는 범인을 잘못 찾고 있는 건 아닐까?
데이터 중심 모델에서 결정 중심 모델로
현재 기업들은 ‘통찰’을 얻기 위해 데이터를 모으고 있다. 통찰이 필요한 이유는 하나, 올바른 결정을 내리기 위해서다. 즉 결정이라는 긴긴 과정의 맨 앞에 데이터가 있는 것이다. 나머지는 데이터를 따라 뒤따라오고 말이다.
그런데 이게 정말 기업들이 원하는 걸까? 백지 상태에서 데이터가 가라고 하는 대로 가고 오라 하는 대로 오는 게 정말 기업이 할 일인 걸까? 발상을 조금만 달리하면 오히려 기업의 운영진이 원하는 건 이미 내린 결정에 대하여 데이터가 충분한 근거로서 뒷받침 역할을 해주는 것이 아닐까? ‘일단 사업이라는 건 하고 싶은데, 그게 뭔지 모르겠어서 데이터를 주구장창 수집하고 있어’라는 태도보다 ‘나는 이 방향으로 나아가길 원하는데, 그 근거가 좀 부족하니까 데이터를 모으고 분석해야 해’가 더 올바른 것일 수도 있지 않을까?
즉 데이터가 결정의 과정 맨 앞에서 지휘하는 게 아니라, 결정이 맨 앞에 서서 데이터를 그에 맞게 모으면 어떨까, 라는 것이다. 결국 데이터가 결정을 내리는 게 아니라 경영진의 의도가 - 지난 과거 동안 거의 항상 그래 왔듯이 - 결정을 내리게 하는 것 말이다.
이렇게 결정이 기업의 방향성을 좌지우지 하는 환경에서 데이터 분석 및 활용 프로젝트들은 입맛에 맞는 데이터들만을 다루게 되기 때문에 제어가 간편하고 실패 확률이 낮다. 프로젝트가 나아가는 방향을 제어하는 것도 용이하다. 데이터를 처음부터 백지 상태에서 모으기 시작하는 것보다 나은 결과를 높은 확률로 가져다주는 게 사실이다. 그렇다고 데이터 분석 단계가 불필요해지는 것도 아니다. 여전히 모인 데이터를 분석하여 통찰을 이끌어 내야(즉 데이터 분석 기술을 활용해야) 결정에 대한 뒷받침 역할을 데이터가 할 수 있다. 순서만 조금 바뀌는 것이다.
편견이 섞인 데이터와 잘못된 결정
그렇다고 오해하지는 말라. 경영진의 독단적인 직감에 의한 결정을 끼워 맞추기 위해 억지 데이터들만을 긁어모아, 그 경영진의 비위에 맞는 통찰을 근거로서 제시하는 게 우리가 나아가야 할 방향이라는 건 아니다. 이런 식으로 데이터 과학을 적용할 경우, 알고리즘에 편견만 쌓이고, 나쁜 결정이 내려진다.
제일 처음에 결정을 내린다고 했을 때, 그 결정은 직감이 아니라 과학적이고 수학적인 분석에 의해 어느 정도 도움을 받아야 한다. 경제학, 결정 분석, 행동 경제학, 심리학, 디자인, 철학, 게임 이론 등 직감보다 더 유용하게 쓸 만한 지식 분야가 우리에게는 꽤나 많다. 이렇게만 말하면 아무런 도움이 되지 않는다는 걸 잘 안다. 그래서 필자는 몇 가지 실질적인 자료와 조언을 구할 수 있는 방법을 덧붙이고자 한다.
제일 먼저 캐시 코지르코프(Cassie Kozyrkov)라는 과학자가 쓴 글과 유튜브 영상을 찾아볼 것을 권한다. 구글의 ‘의사결정 인텔리전스’ 부문 수장인 인물로, ‘결정’이라는 것에 대한 적잖은 통찰을 가지고 있는 사람이다. 실질적인 팁도 무수히 많이 제공한다. 그 다음은 제임스 테일러(James Taylor)가 쓴 책 ‘디지털 결정 내리기(Digital Decisioning)’라는 책을 추천한다. 로리엔 프랫(Lorien Pratt)이 쓴 ‘링크(Link)’ 역시 좋은 책이다. 가트너가 이 분야에서 발표한 각종 보고서들도 훌륭하다. 필자가 최근에 쓴 ‘바보들을 위한 의사결정 인텔리전스(Decision Intelligence for Dummies)’도 졸글이긴 하지만 추천하고 싶다.
데이터를 수집하고, 그 안에서 통찰을 찾는다는 건 그림을 막 배운 아이에게 백지를 주면서 아무거나 그리라는 숙제를 주는 것과 같다. 자유 주제로 넘어가기 전에 몇 가지 주제를 선생님이나 부모 편에서 정해주는 게 더 아이의 그림 실력 향상에는 더 도움이 된다. 데이터 분석이라는 분야도 마찬가지다. 지금은 결정부터 내리고 데이터를 수집하는 게 더 적절한 시기다.
글 : 팜 베이커(Pam Baker), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-04-18] 
.jpg)
.jpg)
.jpg)
