홍수 같은 데이터를 소비하고 통계내어 하루에도 수많은 보고서를 새롭게 발표하는 게 보안 업계의 일이다. 그러나 그런 노력에도 보안 상황이 크게 바뀌지는 않는다. 왜? 데이터 품질에 문제가 있기 때문이다.
[보안뉴스 문정후 기자] 데이터를 누군가에게 제시하거나 보여줄 때 지켜야 하는 원칙들이 있다. 최대한 투명하게, 최대한 이해하기 쉽게 해야 한다는 것이다. 즉 데이터의 출처, 수집 방법, 참여자 정보, 분석 방식 등이 같이 설명되어야 한다고 풀어 설명할 수 있다. 그렇다는 건 애초에 데이터를 처리하는 모든 과정이 실증적이어야 한다는 뜻이다.
그런데 사이버 보안 관련 조직이나 업체들이 이렇게 투명하게 보고서를 작성하는가? 보안 보고서들에 포함되어 있는 내용들은 꽤나 흥미로운 게 맞다. 심지어 아름다운 사진과 삽화, 그래프까지 동원되어 있기 때문에 읽고 싶어지게 만들기도 한다. 하지만 그 데이터들이 어디에서부터 왔으며 어떻게 분석되었는지까지 깔끔하게 정리된 보고서들은 정말 찾기 힘들다. 데이터 출처에 대한 소유권, 저작권 문제가 복잡하게 얽혀있어 투명성의 가치가 오래 전에 뒷전으로 밀려났기 때문이다.
그래서 우리는 대단히 많은 정보, 끝없이 흐르는 정보들 속에 살고 있지만, 그 정보들 하나하나가 큰 의미나 힘을 갖지 못하는 상황에 자꾸만 처하게 된다. ‘정보답지 않은 정보’의 홍수 속에 있는 것이다. 그래서 이 문제를 해결하기 위해 여러 가지 표준이나 제도가 마련되고 있기도 하는데, 그 중에 일부가 네덜란드의 NDN과 미국의 CVE다. 중요한 시도이고, 산업 가운데 통용되고 있지만, 완벽하지는 않은 게 현실이다. 학계에서 괜찮은 보고서들이 나오기는 하지만 그 주기가 너무 길고, 민간 기업들의 그것에는 마케팅적인 의도가 너무 많이 배어 있다.
이에 사이버 보안 데이터 전문가이자 보안 업체 사이버프루프(CyberProof)의 회장 유발 월먼(Yuval Wollman), 카네기멜론대학의 정보시스템 교수 라훌 텔랑(Rahul Telang), BPM의 파트너 프레드 리카(Fred Rica)는 사이버 보안 데이터의 무결성을 지키는 문제에 대한 자신들의 생각을 본지와 공유했다.
사이버 보안 데이터의 현재 상황
사이버 보안이라는 분야는 데이터가 끝도 없이 샘솟는 곳이다. 하지만 그 데이터들 전부 안정적으로 신뢰를 주지는 않는다. 물론 매체 헤드라인에 잘 어울릴 정도로 흥미롭긴하고, 자극적이기까지 하다. 하지만 조금만 더 냉정하게, 정보학과 통계학 관점에서 데이터들을 살펴 보면 허술한 점이 한두 개가 아님을 알 수 있다. 보안 업체들이 제공하는 보고서들 중 상당수가 매번 똑같은 결론만 내리고 있고, 그 결론에 도달하는 방법론에조차 오류가 많으며, 무엇보다 데이터 투명성을 지키지 않는 경우가 대다수다.
텔랑은 “보안 업계의 데이터는 일관성이라는 측면에서 너무나 부족한 면모를 많이 가지고 있기 때문에, 이를 통해 뭔가 결정을 내린다는 게 불가능할 정도”라고 비판한다. 그렇다고 보안 업체들의 보고서들이 도무지 쓸모 없다는 뜻은 아니라고 그는 덧붙인다. “잘못된 절차로 처리된 데이터라도 올바른 결론으로 이어질 때가 있고, 보안 분야에서 결론으로서 나오는 권장 사항들은 과정이야 어쨌든 지킬만한 것들인 게 사실입니다. 하지만 조금만 더 데이터의 질을 높이면 얼마든지 더 나은 상황으로 이어질 수 있다는 게 지금의 아쉬움입니다.”
리카는 “보안 업계가 내는 데이터가 현재로서 거의 대부분 ‘큰 방향에서는 올바르다’고 할 수 있다”고 설명한다. “(보고서마다) 결론들이 매번 대동소이하고 모호하다고는 하지만 커다른 흐름을 반영하고 있는 것은 맞습니다. 우리가 방어를 위해 알아야 할 것들이죠. 하지만 그런 커다란 흐름만으로 지금 우리의 사이버 공간이 안전해지기는 힘듭니다. 보다 세부적이면서 구체적이고, 송곳처럼 정확히 찌르고 들어가는 데이터가 필요합니다.”
그래서 리카는 데이터 출처에 특히 많은 관심을 기울여야 한다고 권장한다. “무역 조직들이나 기타 여러 서드파티들이 제공하거나 발표한 보안 위협 관련 데이터들 중에 정확한 것들이 제법 됩니다. 보안 벤더들에서 나온 데이터나 주장들은 마냥 틀리다고 할 수 없지만 사업적인 의도를 밑바탕에 깐 경우가 많아서 한 번 더 확인하고, 한 번 더 걸러야 할 필요는 분명히 있습니다. 중요한 결정을 할 때 특정 보안 벤더가 내린 데이터만 참고하는 건 지양해야 합니다.”
월먼도 여기에 동의한다. “정부 기관이나 학술 기관 등 이미 널리 알려진 곳들에서 나온 정보들일수록 정확하고 객관적일 때가 많습니다. 기업들의 데이터는 태생상 어쩔 수 없이 특정 주장을 담고 있을 수밖에 없습니다. 다만 꽤나 객관적인 데이터를 있는 그대로 발표하는 보안 업체들도 있기 때문에, 이런 곳들을 잘 찾아서 데이터 공급원으로서 활용하는 것도 괜찮습니다.”
그렇지만 월먼도 이런 정보들 역시 “지나치게 일반적이면서 두루뭉술하다는 함정에서 벗어나지는 못하고 있다”고 귀띔한다. “그래서 커다란 틀에서 참고 정도는 될 수 있어도 개별적인 상황을 해결하기 위한 참고 자료로서는 불충분할 겁니다. 그런 점은 감안하고 정보를 습득하는 게 좋습니다.”
소유권의 문제
기업들에 있어 보안 보고서를 작성한다는 건 수익과 크게 관련이 없는 행위다. 그러므로 꼭 필요한 것만 최소한으로 정리해 작성하려는 경향을 가질 수밖에 없다. 법이나 산업 표준을 통해 정한 것 이상으로 정보를 공유하지 않는 게 보통이다. “사용자 기업들의 경우, 침해 사고가 발생하면 진짜 말을 아끼기 시작하죠. 법에서 꼭 공개하라고 하는 것 빼고는 아무 것도 공개하지 않을 때가 많습니다. 그러니 ‘어느 회사가 어떤 공격에 당했다’는 것 외에 얻어갈 것이 없습니다.” 텔랑의 설명이다.
월먼 역시 텔랑의 말에 동의한다. “보안 강화에 실질적인 도움이 되려면 꼭 필요한 데이터가 있고, 법적으로 기업이 알려야만 하는 데이터들이 있는데, 이 둘 사이 간극이 큰 편입니다. 이 간극이 정보의 품질을 낮게 만들고 있으며, 보안 업계에서 유통되는 정보에 대한 신뢰도를 조금씩 낮추고 있습니다.” 하지만 이를 단순히 기업의 잘못이라고 말하기도 어렵다고 그는 설명을 잇는다. “기업들은 돈을 들여서 정보를 수집합니다. 그러니 무료로 내주기가 어렵죠. 강제된 것만 겨우 공유하는 게 당연할 수밖에 없습니다.”
공유가 잘 안 되는 또 다른 이유는 기업 스스로가 자기들이 보유하고 있는 데이터가 어느 정도이며 무엇인지 정확히 몰라서라고 리카는 지적한다. “사이버 보안 사고에 당한 기업 중에 정신을 제대로 차려서 ‘일단 더 많은 사람들에게 우리의 일을 알려서 피해를 막자’부터 생각하는 곳이 얼마나 될까요? 대부분은 먼저 멀웨어 및 악성 요소 제거와 시스템 복구부터 서두르죠. 그러니 데이터를 제대로 고르고, 품질을 확실히 하나 뒤, 올바른 채널로 공유한다는 절차가 제대로 이행될 리 없습니다.”
데이터를 공유하는 과정 중에 기업만의 데이터 수집 및 분석과 처리 노하우가 같이 공유될 수도 있다는 것 역시 기업들이 보안 데이터의 품질을 높이지 못하게 만든다고 월만은 덧붙인다. “데이터 그 자체만 알리지, 그 데이터를 어떤 식으로 처리했는지는 보여주고 싶지 않은 게 일반적입니다. 그러니 데이터의 투명성이 확보되지 않습니다. 투명성이 확보되지 않은 데이터는 신뢰도가 낮아지고, 따라서 혼란을 가중시킵니다. 결국 보안 업계가 갖은 노력으로 보고서를 작성하고 발표하지만, 그것들이 실질적인 보안 강화에 미치는 영향력은 미미할 수밖에 없는 구조라는 겁니다.”
데이터, 어떻게 처리되는가
월만은 “개인적으로 데이터를 수집하고 처리하고 발표하는 과정 자체가 꼼꼼하며 믿을 만하다고 알려져 있고, 그 소문을 보고서를 통해 완연히 느낄 수 있는 기업에서 나오는 보고서나 데이터는 신뢰하는 편”이라고 말한다. “또한 그렇게 신뢰할 만한 보고서들은 시간도 제 때 맞춰서 나오는 편이고, 당위성도 갖추고 있습니다. 최신 사이버 위협들을 정확하게 적시하고 있고, 커다란 흐름도 놓치지 않습니다. 이 때문에 보다 확실한 결정을 할 수 있게 해 줍니다.”
그렇다고 그런 기관이나 기업에 나오는 데이터라고 해서 100% 신뢰할 수는 없다고 그는 지적한다. “이미 2016년부터 지적되어 온 내용입니다만, 보고서에 직접적이거나 간접적으로 참여하는 사람들이 많으면 많을수록 데이터의 질은 떨어질 수밖에 없습니다. 데이터의 출처가 아무리 투명하게 공개되더라도 말이죠. 보안 데이터를 많은 관계자들이 공유하고, 서로 다른 출처의 정보를 덧붙이면서 전달하면 결국 오류의 가능성이 높아집니다.”
보안 보고서의 내용이 지나치게 일반화 되어 있다는 경향 역시 무시할 수 없는 결함이라고 월먼은 짚는다. “일반적인 내용을 결론으로 가져가면 그 보고서는 틀릴 가능성이 낮아집니다. 하지만 유용해질 가능성도 같이 낮아지죠. 큰 흐름을 짚는 것에 더해 단기적인 트렌드까지 같이 담아낼 때 애매한 정보는 유용한 첩보가 됩니다. 뭔가 ‘이 정보를 가지고 새로운 변화를 시도했어’라는 느낌을 줄 수 있는 것이죠. 그것이 신뢰의 시작이 되고요.”
설문 조사의 함정
보안 기업들이 내놓는 보고서 안을 들여다 보면 각종 설문 조사 결과들로 가득한 것을 알 수 있다. 적어도 한두 개는 포함하는 게 보통이다. 설문 조사가 나쁜 것은 아니다. 주제에 따라 매우 적절할 수도 있다. 하지만 그 어떤 설문 조사라도 ‘적절한 결과’를 내려면 처음 기획부터 실행과 집계까지 많은 연구를 필요로 한다. 아무한테나 가서 질문을 하고 응답을 듣고, 그것을 바탕으로 통계를 낸다고 해서 다 되는 게 아니라는 것이다. 그리고 무엇보다 응답자의 수가 적으면 설문 조사 결과가 의미하는 건 아무 것도 없다고 보는 게 맞다.
월먼은 “사이버 보안 업계의 설문 조사라는 건 대부분의 경우 총합적이거나 포괄적이지 않으며, 그렇기 때문에 오류가 있을 수밖에 없다”는 의견이다. “예를 들어 특정 보안 사안을 두고 200명의 CISO에게 질문을 던져 나온 응답을 통계 수치로 나타낸다면, 그 자료를 믿을 수 있을까요? 편견이 개입했을 가능성이 무척 높지요. 심지어 그 200명이 설문 조사를 실행하는 기업이나 담당자와 잘 아는 사람이라면 어떨까요? 그런데 보안 업계는 이걸 보고서에 내는 경우가 많습니다.”
그래서 월먼은 “설문 조사라는 게 그리 쉽지 않다는 걸 보안 업계가 이해해야 한다”고 강조한다. “누구에게, 얼마나 많은 사람들에게, 어떤 맥락에서, 어떤 질문글을 통해 답변을 얻어낼 것인지가 꼼꼼하게 기획되어야 합니다. 되도록 많은 사람을 만나는 게 중요하고, 어떤 계층으로부터 답을 얻어낼 것인지도 철저하게 고민해야 합니다. 질문의 의도가 너무 뻔히 보이면 질문자가 원하는 답을 해 주는 사람들도 대단히 많기 때문에, 질문 문구나 질문이 들어가는 맥락에 대해서도 연구가 필요하고요. 통계학적인 이해도를 가진 사람이 설문 조사를 설계할 때부터 참가하는 게 좋습니다.”
글 : 리차드 팔라디(Richard Pallardy), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
[보안뉴스 문정후 기자] 데이터를 누군가에게 제시하거나 보여줄 때 지켜야 하는 원칙들이 있다. 최대한 투명하게, 최대한 이해하기 쉽게 해야 한다는 것이다. 즉 데이터의 출처, 수집 방법, 참여자 정보, 분석 방식 등이 같이 설명되어야 한다고 풀어 설명할 수 있다. 그렇다는 건 애초에 데이터를 처리하는 모든 과정이 실증적이어야 한다는 뜻이다.
[이미지 = gettyimagesbank]
그런데 사이버 보안 관련 조직이나 업체들이 이렇게 투명하게 보고서를 작성하는가? 보안 보고서들에 포함되어 있는 내용들은 꽤나 흥미로운 게 맞다. 심지어 아름다운 사진과 삽화, 그래프까지 동원되어 있기 때문에 읽고 싶어지게 만들기도 한다. 하지만 그 데이터들이 어디에서부터 왔으며 어떻게 분석되었는지까지 깔끔하게 정리된 보고서들은 정말 찾기 힘들다. 데이터 출처에 대한 소유권, 저작권 문제가 복잡하게 얽혀있어 투명성의 가치가 오래 전에 뒷전으로 밀려났기 때문이다.
그래서 우리는 대단히 많은 정보, 끝없이 흐르는 정보들 속에 살고 있지만, 그 정보들 하나하나가 큰 의미나 힘을 갖지 못하는 상황에 자꾸만 처하게 된다. ‘정보답지 않은 정보’의 홍수 속에 있는 것이다. 그래서 이 문제를 해결하기 위해 여러 가지 표준이나 제도가 마련되고 있기도 하는데, 그 중에 일부가 네덜란드의 NDN과 미국의 CVE다. 중요한 시도이고, 산업 가운데 통용되고 있지만, 완벽하지는 않은 게 현실이다. 학계에서 괜찮은 보고서들이 나오기는 하지만 그 주기가 너무 길고, 민간 기업들의 그것에는 마케팅적인 의도가 너무 많이 배어 있다.
이에 사이버 보안 데이터 전문가이자 보안 업체 사이버프루프(CyberProof)의 회장 유발 월먼(Yuval Wollman), 카네기멜론대학의 정보시스템 교수 라훌 텔랑(Rahul Telang), BPM의 파트너 프레드 리카(Fred Rica)는 사이버 보안 데이터의 무결성을 지키는 문제에 대한 자신들의 생각을 본지와 공유했다.
사이버 보안 데이터의 현재 상황
사이버 보안이라는 분야는 데이터가 끝도 없이 샘솟는 곳이다. 하지만 그 데이터들 전부 안정적으로 신뢰를 주지는 않는다. 물론 매체 헤드라인에 잘 어울릴 정도로 흥미롭긴하고, 자극적이기까지 하다. 하지만 조금만 더 냉정하게, 정보학과 통계학 관점에서 데이터들을 살펴 보면 허술한 점이 한두 개가 아님을 알 수 있다. 보안 업체들이 제공하는 보고서들 중 상당수가 매번 똑같은 결론만 내리고 있고, 그 결론에 도달하는 방법론에조차 오류가 많으며, 무엇보다 데이터 투명성을 지키지 않는 경우가 대다수다.
텔랑은 “보안 업계의 데이터는 일관성이라는 측면에서 너무나 부족한 면모를 많이 가지고 있기 때문에, 이를 통해 뭔가 결정을 내린다는 게 불가능할 정도”라고 비판한다. 그렇다고 보안 업체들의 보고서들이 도무지 쓸모 없다는 뜻은 아니라고 그는 덧붙인다. “잘못된 절차로 처리된 데이터라도 올바른 결론으로 이어질 때가 있고, 보안 분야에서 결론으로서 나오는 권장 사항들은 과정이야 어쨌든 지킬만한 것들인 게 사실입니다. 하지만 조금만 더 데이터의 질을 높이면 얼마든지 더 나은 상황으로 이어질 수 있다는 게 지금의 아쉬움입니다.”
리카는 “보안 업계가 내는 데이터가 현재로서 거의 대부분 ‘큰 방향에서는 올바르다’고 할 수 있다”고 설명한다. “(보고서마다) 결론들이 매번 대동소이하고 모호하다고는 하지만 커다른 흐름을 반영하고 있는 것은 맞습니다. 우리가 방어를 위해 알아야 할 것들이죠. 하지만 그런 커다란 흐름만으로 지금 우리의 사이버 공간이 안전해지기는 힘듭니다. 보다 세부적이면서 구체적이고, 송곳처럼 정확히 찌르고 들어가는 데이터가 필요합니다.”
그래서 리카는 데이터 출처에 특히 많은 관심을 기울여야 한다고 권장한다. “무역 조직들이나 기타 여러 서드파티들이 제공하거나 발표한 보안 위협 관련 데이터들 중에 정확한 것들이 제법 됩니다. 보안 벤더들에서 나온 데이터나 주장들은 마냥 틀리다고 할 수 없지만 사업적인 의도를 밑바탕에 깐 경우가 많아서 한 번 더 확인하고, 한 번 더 걸러야 할 필요는 분명히 있습니다. 중요한 결정을 할 때 특정 보안 벤더가 내린 데이터만 참고하는 건 지양해야 합니다.”
월먼도 여기에 동의한다. “정부 기관이나 학술 기관 등 이미 널리 알려진 곳들에서 나온 정보들일수록 정확하고 객관적일 때가 많습니다. 기업들의 데이터는 태생상 어쩔 수 없이 특정 주장을 담고 있을 수밖에 없습니다. 다만 꽤나 객관적인 데이터를 있는 그대로 발표하는 보안 업체들도 있기 때문에, 이런 곳들을 잘 찾아서 데이터 공급원으로서 활용하는 것도 괜찮습니다.”
그렇지만 월먼도 이런 정보들 역시 “지나치게 일반적이면서 두루뭉술하다는 함정에서 벗어나지는 못하고 있다”고 귀띔한다. “그래서 커다란 틀에서 참고 정도는 될 수 있어도 개별적인 상황을 해결하기 위한 참고 자료로서는 불충분할 겁니다. 그런 점은 감안하고 정보를 습득하는 게 좋습니다.”
소유권의 문제
기업들에 있어 보안 보고서를 작성한다는 건 수익과 크게 관련이 없는 행위다. 그러므로 꼭 필요한 것만 최소한으로 정리해 작성하려는 경향을 가질 수밖에 없다. 법이나 산업 표준을 통해 정한 것 이상으로 정보를 공유하지 않는 게 보통이다. “사용자 기업들의 경우, 침해 사고가 발생하면 진짜 말을 아끼기 시작하죠. 법에서 꼭 공개하라고 하는 것 빼고는 아무 것도 공개하지 않을 때가 많습니다. 그러니 ‘어느 회사가 어떤 공격에 당했다’는 것 외에 얻어갈 것이 없습니다.” 텔랑의 설명이다.
월먼 역시 텔랑의 말에 동의한다. “보안 강화에 실질적인 도움이 되려면 꼭 필요한 데이터가 있고, 법적으로 기업이 알려야만 하는 데이터들이 있는데, 이 둘 사이 간극이 큰 편입니다. 이 간극이 정보의 품질을 낮게 만들고 있으며, 보안 업계에서 유통되는 정보에 대한 신뢰도를 조금씩 낮추고 있습니다.” 하지만 이를 단순히 기업의 잘못이라고 말하기도 어렵다고 그는 설명을 잇는다. “기업들은 돈을 들여서 정보를 수집합니다. 그러니 무료로 내주기가 어렵죠. 강제된 것만 겨우 공유하는 게 당연할 수밖에 없습니다.”
공유가 잘 안 되는 또 다른 이유는 기업 스스로가 자기들이 보유하고 있는 데이터가 어느 정도이며 무엇인지 정확히 몰라서라고 리카는 지적한다. “사이버 보안 사고에 당한 기업 중에 정신을 제대로 차려서 ‘일단 더 많은 사람들에게 우리의 일을 알려서 피해를 막자’부터 생각하는 곳이 얼마나 될까요? 대부분은 먼저 멀웨어 및 악성 요소 제거와 시스템 복구부터 서두르죠. 그러니 데이터를 제대로 고르고, 품질을 확실히 하나 뒤, 올바른 채널로 공유한다는 절차가 제대로 이행될 리 없습니다.”
데이터를 공유하는 과정 중에 기업만의 데이터 수집 및 분석과 처리 노하우가 같이 공유될 수도 있다는 것 역시 기업들이 보안 데이터의 품질을 높이지 못하게 만든다고 월만은 덧붙인다. “데이터 그 자체만 알리지, 그 데이터를 어떤 식으로 처리했는지는 보여주고 싶지 않은 게 일반적입니다. 그러니 데이터의 투명성이 확보되지 않습니다. 투명성이 확보되지 않은 데이터는 신뢰도가 낮아지고, 따라서 혼란을 가중시킵니다. 결국 보안 업계가 갖은 노력으로 보고서를 작성하고 발표하지만, 그것들이 실질적인 보안 강화에 미치는 영향력은 미미할 수밖에 없는 구조라는 겁니다.”
데이터, 어떻게 처리되는가
월만은 “개인적으로 데이터를 수집하고 처리하고 발표하는 과정 자체가 꼼꼼하며 믿을 만하다고 알려져 있고, 그 소문을 보고서를 통해 완연히 느낄 수 있는 기업에서 나오는 보고서나 데이터는 신뢰하는 편”이라고 말한다. “또한 그렇게 신뢰할 만한 보고서들은 시간도 제 때 맞춰서 나오는 편이고, 당위성도 갖추고 있습니다. 최신 사이버 위협들을 정확하게 적시하고 있고, 커다란 흐름도 놓치지 않습니다. 이 때문에 보다 확실한 결정을 할 수 있게 해 줍니다.”
그렇다고 그런 기관이나 기업에 나오는 데이터라고 해서 100% 신뢰할 수는 없다고 그는 지적한다. “이미 2016년부터 지적되어 온 내용입니다만, 보고서에 직접적이거나 간접적으로 참여하는 사람들이 많으면 많을수록 데이터의 질은 떨어질 수밖에 없습니다. 데이터의 출처가 아무리 투명하게 공개되더라도 말이죠. 보안 데이터를 많은 관계자들이 공유하고, 서로 다른 출처의 정보를 덧붙이면서 전달하면 결국 오류의 가능성이 높아집니다.”
보안 보고서의 내용이 지나치게 일반화 되어 있다는 경향 역시 무시할 수 없는 결함이라고 월먼은 짚는다. “일반적인 내용을 결론으로 가져가면 그 보고서는 틀릴 가능성이 낮아집니다. 하지만 유용해질 가능성도 같이 낮아지죠. 큰 흐름을 짚는 것에 더해 단기적인 트렌드까지 같이 담아낼 때 애매한 정보는 유용한 첩보가 됩니다. 뭔가 ‘이 정보를 가지고 새로운 변화를 시도했어’라는 느낌을 줄 수 있는 것이죠. 그것이 신뢰의 시작이 되고요.”
설문 조사의 함정
보안 기업들이 내놓는 보고서 안을 들여다 보면 각종 설문 조사 결과들로 가득한 것을 알 수 있다. 적어도 한두 개는 포함하는 게 보통이다. 설문 조사가 나쁜 것은 아니다. 주제에 따라 매우 적절할 수도 있다. 하지만 그 어떤 설문 조사라도 ‘적절한 결과’를 내려면 처음 기획부터 실행과 집계까지 많은 연구를 필요로 한다. 아무한테나 가서 질문을 하고 응답을 듣고, 그것을 바탕으로 통계를 낸다고 해서 다 되는 게 아니라는 것이다. 그리고 무엇보다 응답자의 수가 적으면 설문 조사 결과가 의미하는 건 아무 것도 없다고 보는 게 맞다.
월먼은 “사이버 보안 업계의 설문 조사라는 건 대부분의 경우 총합적이거나 포괄적이지 않으며, 그렇기 때문에 오류가 있을 수밖에 없다”는 의견이다. “예를 들어 특정 보안 사안을 두고 200명의 CISO에게 질문을 던져 나온 응답을 통계 수치로 나타낸다면, 그 자료를 믿을 수 있을까요? 편견이 개입했을 가능성이 무척 높지요. 심지어 그 200명이 설문 조사를 실행하는 기업이나 담당자와 잘 아는 사람이라면 어떨까요? 그런데 보안 업계는 이걸 보고서에 내는 경우가 많습니다.”
그래서 월먼은 “설문 조사라는 게 그리 쉽지 않다는 걸 보안 업계가 이해해야 한다”고 강조한다. “누구에게, 얼마나 많은 사람들에게, 어떤 맥락에서, 어떤 질문글을 통해 답변을 얻어낼 것인지가 꼼꼼하게 기획되어야 합니다. 되도록 많은 사람을 만나는 게 중요하고, 어떤 계층으로부터 답을 얻어낼 것인지도 철저하게 고민해야 합니다. 질문의 의도가 너무 뻔히 보이면 질문자가 원하는 답을 해 주는 사람들도 대단히 많기 때문에, 질문 문구나 질문이 들어가는 맥락에 대해서도 연구가 필요하고요. 통계학적인 이해도를 가진 사람이 설문 조사를 설계할 때부터 참가하는 게 좋습니다.”
글 : 리차드 팔라디(Richard Pallardy), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
문가용기자 기사보기
[2024-05-12] 
