'하둡' 창시자 더그 커팅 "이 정도로 성공할 줄 몰랐죠"

[김국배기자] "저는 그게 끝이라고 생각했습니다. 어떤 사람들은 이 기술(하둡·Hadoop)을 다른 분야에도 적용할 수 있다고 얘기했죠. 전 처음엔 전혀 믿지 않았어요."

지난 14일 방한한 '하둡(Hadoop)'의 아버지 더그 커팅(Doug Cutting)을 서울 강남파이낸스센터(GFC)에서 만났다. 2m가 넘는 장신이었다.

하둡은 대용량의 비정형 데이터를 저장하고 분석할 수 있는 오픈소스 기술이다. 그의 아들이 어릴 적 갖고 놀던 노란색 코끼리 장난감에서 이름을 따왔다. 올해는 하둡이 세상에 나온 지 10년째 되는 해다.

기업들은 하둡이 나오기 전에는 엄두도 못내던 어마어마한 양의 데이터를 분석할 수 있게 됐다. 그야말로 하둡이 빅데이터 시장을 이끌고 있는 것이다.

그조차 스스로 "하둡이 이 정도로 성공할 줄 몰랐다"고 말한다.

오픈소스가 SW 개발에 더 나은 방식이라는 점은 확신하면서도 기업(enterprise)에서 쓰기는 어렵다고 여겼기 때문이다.

그는 "엔터프라이즈가 오픈소스 소프트웨어를 이용할 수 있다는 것을 믿지 않았다"고 회고했다.

그는 2006년 야후에 근무할 당시 아파치 하둡을 만들었다. 저렴한 컴퓨팅 장비를 통해서도 대용량 데이터를 병렬 처리할 수 있는 하둡 플랫폼을 고안하고 다른 개발자들도 자유롭게 쓸 수 있도록 소스코드를 공개했다.

하둡이 야후, 페이스북, 링크드인, 트위터 같은 웹 서비스 기업에서 사용되기 시작했지만 그게 전부라고 그는 생각했다. 하둡 전문기업 클라우데라에서 합류를 제안했지만 거절한 이유도 그 때문이다.

하지만 2009년 클라우데라에 입사한 그는 "창립자의 비전이 옳다는 것을 느꼈다"며 "엔터프라이즈도 이 기술을 도입할 준비가 돼 있었다"고 인정했다.

이제는 "하둡과 클라우데라가 '디지털 트랜스포메이션(Digital Transformation)'이라는 하나의 트렌드를 형성했다"고 자평했다.

그는 "비즈니스에서 데이터가 중심이 되고 있다"며 "기업들이 재고관리, 회계뿐만 아니라 핵심 비즈니스 영역의 향상을 위해서 데이터를 활용하고 있다"고 설명했다.

빅데이터 시장의 성장은 클라우데라의 성장으로도 증명된다. 클라우데라에 따르면 매년 고객 수, 수주액이 두 배씩 증가하고 있다. 아시아 태평양 지역의 경우 성장세는 더 가파르다.

하둡의 창시자에서 지금은 클라우데라 수석 아키텍트가 된 그는 1년 전쯤 개발에선 손을 뗐다. 지금은 개발자의 윤리, 사용자와 신뢰 구축 등이 그의 관심사다.

"과거에는 아무도 생각해보지 않은 SW를 개발하는데 주력했습니다. 지금은 오픈소스 생태계에 대한 사람들의 이해를 높이고 건강한 생태계가 될 수 있도록 지원하는 것이 제 역할이라고 생각합니다."