언젠가 활용한다고? 방치했다가 보안위험
[일간투데이 정우교 기자] 빅데이터 시대라고 하지만 모든 데이터가 활용되는 것은 아니다. 처리되지 않은 채 미래에 사용할 가능성이 있다는 이유로 삭제되지 않고 방치된 데이터도 존재한다. 이들은 사진, 동영상, 음성 등으로 이른바 '다크데이터(Dark data)'로 불리고 있다.
그러나 열지 않은 서랍 속 물건 사이에서 만원 지폐를 찾을 때처럼 다크데이터는 가치있는 비즈니스데이터가 될 수 있다. 그 순간을 바탕으로 사업방향과 이익창출을 도모하는 사례가 최근 늘고 있다.
■ 다크데이터를 왜 주목하고 있을까?
우선 다크데이터를 주목하는 이유에 대해서 알아보자. 상식적으로 기업의 입장에서 다크데이터는 그저 ‘필요성이 불분명한 데이터’일뿐이다.
글로벌 정보 보안 기업 Veritas와 리서치 기관 Vanson Bourne이 지난해 5월 함께 발표한 데이터 관련 설문조사에서 세계 각지의 기업들은 자신들의 데이터 중 52%를 다크데이터로 분류하고 있다고 전했다. 또한 이대로 둔다면 저장 및 관리에 드는 비용이 2020년에는 3조 3천억달러에 육박할 수 있다고 덧붙였다.
이러한 데이터들은 대체로 부정적인 영향이 많다고 한다. 실제로 CIO 매거진 설문조사 결과를 살펴보면 '스토리지 비용 소모'가 70%(중복응답)로 가장 많았으며 그 뒤로 '보안위험'이 53%를 차지했다.
이를 줄이기 위해 다크데이터를 재분류하고 관리하는 작업이 필요하다고 전문가들은 지적하고 있다.
지난 5월, 테크크런치 등 주요외신들은 애플의 인공지능 스타트업 래티스데이터를 2억달러에 인수했다고 보도했다. 이 기업의 주요기술은 머신러닝을 통해 비정형데이터인 다크데이터를 정형화시켜 '사용할 수 있는 데이터'로 변환시키는 기술이다.
여기서 머신러닝이란 인공지능의 한 분야로 패턴인식과 컴퓨터 학습 이론의 연구로부터 진화한 분야다. 경험한 데이터를 기반으로 학습하고 예측을 수행하며 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라고 할 수 있다.
테크크런치는 래티스데이터가 상용화한 다크데이터 분석툴 '딥다이브'를 통해 인신매매 등 국제 범죄수사, 의학연구 등 다방면으로 활용할 수 있다고 전했다. 이를 토대로 애플의 AI비서 '시리' 기능을 강화시킬 것이라는 관측이 나오기도 했다. 삼성의 빅스비 등 경쟁사를 견제할 준비를 하는 것이 아니냐라는 것이다.
■ 원유 시추 작업과 다크데이터
그 필요성에 대한 판단이 내려지지 않았기 때문에 과거 다크데이터는 어떻게 써야할지 모르는 '미지'의 데이터라고 할 수 있었다. GE는 이 다크데이터를 활용해 산업분야 산업인터넷에 접목시켜 솔루션을 제공하고 있다.
그 중 하나가 '원유 시추' 분야다. 심해 원유 시추 작업에 반드시 필요한 폭발방지장치는 시추 장비에 문제가 생겼을 때 발생할 수 있는 사고에서 장비와 인력을 보호해주는 최후의 수단이라고 한다. 무게 300톤, 설치기간만 1년 반이 소모되고 비용만 약 160억원, 유지·보수 비용도 만만치 않다.
GE 엔지니어들이 개발한 시스템은 센서를 통해 이 장비의 압력, 밸브 위치, 해류 등의 데이터를 분석하고 이 데이터를 활용해 기계의 작동을 모니터하고 예측하는 과정을 거친다. 이를 통해 불필요하게 소모되는 비용을 크게 절감할 수 있는 효과를 가져올 수 있다고 GE측은 밝혔다.
원유시추분야는 사실 국내 상황과 맞지 않다. 그러나 중공업 기업으로만 여겨졌던 GE의 이익 75%가 산업인터넷과 데이터 분석 기술의 결합으로 만든 신규 서비스 영역에서 발생하고 있다는 점을 생각해보면 다크데이터의 가능성의 무한함을 가늠해볼 수 있다. 기술의 결합과 데이터의 활용이 기업의 성장을 결정짓는다는 관점에서 말이다.