메인 콘텐츠로 건너뛰기

브라이언 데니스 박사 (Dr. Brian Dennis)

Craft of Code
박사 브레인 데니스(Brain Dennis) 박사 - 데이터 머신

데이터 머신의 빅 데이터 처리 방법


매일 출근길에 나설 때면, 브라이언 데니스 박사는 자신이 하는 일이 불법 조직 자금 조달, 인신매매, 사이버 보안, 의사 결정 지원, 의료, 투자, 소송을 비롯한 다양한 문제에 영향을 미친다는 사실에 뿌듯함을 느낍니다.

Data Machines Corp.은 데이터 애널리틱스, 데브옵스(DevOps), 기계 지능, 및 데이터 과학 관련 문제를 처리하여 솔루션을 제공하기 위한 클라우드 아키텍처를 전문적으로 설계, 구축 및 사용하는 데이터 애널리틱스 회사입니다. 매일 2,500명 이상의 연구원, 데이터 과학자와 리서치 트랜지션 파트너가 첨단 R&D 프로젝트에 본사 시스템과 코드를 사용합니다. Data Machines는 주요 테크놀로지의 화이트 라벨 전환에서 정부, 산업 및 학계로 구성된 광범위한 연구팀과 협력하고 있습니다.

Dr. 데니스 박사는 Invincea Labs와 Lockheed Martin의 연구자로 근무했으며, 2018 년 Data Machines에 합류했습니다. 회사의 데이터 엔지니어링 디렉터로 근무하는 데니스 박사는 방위 고등 연구 계획국(DARPA) 같은 기관과 협력하며, 방위 산업 분야에서 데이터 중심 연구를 20년 이상 이어가고 있습니다. 미국 국방부의 연구 개발 기관인 방위 고등 연구 계획국(DARPA)은 군용으로 사용될 새로운 기술 개발을 맡고 있습니다.

데니스 박사는 다음과 같이 말합니다. "DARPA와의 협업이 특히나 흥미로운 이유는 다른 사람들이 앞으로 5년에서 10년은 들어보지 못할 것이나 향후 10년에서 15년 이내에 엄청난 파급력을 가져올 무언가를 위해 연구자들이 최전선에서 일하고 있기 때문입니다." "그리고 우리의 역할은 이런 연구자에게 인프라를 제공하는 것이죠. 우리는 문제 해결에 도움을 주는, 연구 조력자라고 할 수 있습니다. 하루하루가 엄청난 압박과 어려움으로 가득하지만, 결과를 볼 때면 정말 기쁩니다." 

Data Machines가 지원하는 DARPA 프로젝트 중 하나는 "최소 레이블 학습(Learning with Less Labels)" 프로그램입니다. 목표는 동일 결과 도출에 레이블이 붙은 예시를 훨씬 더 적게 사용하는 새로운 방식의 고급 기계 학습 알고리즘을 찾는 것입니다. 

박사 데니스 박사는 프로젝트를 다음과 같이 간략히 설명합니다. "여러분이 어떤 이미지를 분류한다고 생각해 보세요. ‘이건 고양이 사진일까 아니면 개 사진일까?’ 구글이나 페이스북이라면 레이블이 붙은 이미지 예시를 수십억 개씩 가져와서 이 대규모 모델을 학습시키는 방식이 상당히 원활합니다. 하지만 여러분이 구글이나 페이스북이 아니라면 그만한 수의 예시를 얻기란 힘든 일이죠. 사실 정부가 관심을 두는 일부 영역에는 수십억 사례라는 것이 존재조차 하지 않을 수 있습니다. 따라서 이 프로그램의 포커스는 선진 연구원이 이런 알고리즘을 개발해서 레이블이 붙은 예시를 훨씬 더 적게 가지고도 이미지 분류 같은 작업과 동일한 품질을 얻는 것이 가능하다는 사실을 보여줄 방법을 찾는 데 있습니다.

"최소 레이블 학습"은 물체 감지, 이미지 분류 및 기계 번역 등 다측면에 중점을 둔 프로그램입니다. DARPA에 대한 공통적 연구 접근 방식으로, 팀은 다양한 접근 방식을 취하고 있습니다. 일부는 다수의 다양한 기계 학습 알고리즘을 결합하고, 일부는 기술적 프로세스에 깊이 심취하고 있습니다. 또 다른 일부는 엄청난 규모의 컴퓨팅을 사용하기도 하고, 어떤 팀은 하나의 클라우드 GPU 카드에서도 원활히 작동되는 알고리즘 개발에 노력하기도 합니다. 그러고 나면 독립적인 정부 평가팀이 성공적인 접근법을 식별하여 각 팀이 공유된 학습 사항을 기반으로 적응할 수 있도록 돕습니다.

Data Machines은 호주, 캐나다, 이스라엘, 네덜란드 및 미국 전역의 연구원을 포함하여 전 세계의 모든 팀을 지원하는 인프라를 구축하기 위해 계약을 맺습니다.

Data Machines가 Linode를 사용하게 된 이유가 바로 여기 있습니다.

데니스 박사는 다음과 같이 말합니다. "오늘날의 기계 학습은 GPU를 의미합니다. 그래서 모든 연구자가 최대한의 GPU 용량을 확보하고 싶어 하죠. 내부 데이터 센터에서 GPU 일부를 운용하긴 하지만, 전 세계 모든 팀을 지원하기엔 부족했습니다. 바로 그 시점부터 저희는 연구자들이 합리적 가격에 자원을 사용할 수 있는 방법이 없을지를 알아보며 퍼블릭 클라우드 서비스 업체를 찾기 시작했습니다.

"다른 대형 업체의 비싼 가격에 충격을 받고, 제가 거의 10년간 개인적으로 고객이었던 Linode를 살펴보게 되었던 것이죠." 데니스 박사는 말을 잇습니다. 

브라이언 데니스 박사 (Dr. Brian Dennis)

“Linode는 경쟁력 있는 GPU 인스턴스 가격뿐 아니라 내부 데이터 센터용으로 구매한 희소가치가 높은 NVIDIA 카드를 사용하고 있었습니다. 게다가 Linode는 다른 클라우드 업체에서는 찾아보기 힘든 GPU 규모를 제공하죠. 다양한 선택의 유연함은 추후 확장이 필요하거나, 개발에서 테스트 단계로 넘어갈 때 유용합니다."

박사 데니스 박사는 각 프로젝트를 위한 최고의 인프라 솔루션을 선택하는 것이 자신의 역할이라 생각하기에 지속적으로 최선의 선택지를 알아보고 다양한 클라우드 업체를 평가하고 있다고 말합니다. 박사는 말합니다. "우리가 지원하는 각 프로젝트는 모두 유일무이하며, 개별 프로젝트에 맞는 최선의 솔루션, 균형 잡힌 가격, 탄력성, 유연성과 보안성을 두루 주시해야 합니다." "하지만 제가 알게 된 점과 다른 사람들에게 해 주고 싶은 조언은 이렇습니다. 바로, 클라우드 업계 빅 3 업체 외에도 귀사에서 가치 있게 사용할 수 있는 다른 선택지가 있다는 사실입니다. Linode 같은 대체 클라우드 제공 업체는 뛰어난 유연성과 훨씬 더 우수한 반응성을 보장합니다. 다른 클라우드 업체와 계약할 때는 고정관념에서 벗어나야 합니다.

"그리고 Data Machines에서의 경험을 통해, Linode가 비용, 신뢰성, 고객 서비스, 가격 책정 및 배포의 단순성을 포함하여 다양한 혜택을 가져다준다는 것을 말씀드릴 수 있습니다. Linode가 상대적으로 규모는 작지만 쉽게 구축할 수 있는 제대로 집중된 일련의 서비스를 제공한다는 점이 정말 마음에 듭니다. 쓸모없는 추가 사항은 그저 시간만 끌 뿐이죠."

박사 데니스 박사는 Linode가 제공하는 신뢰성과 우수한 고객 서비스가 뛰어난 장점이라고 덧붙였습니다. "Linode는 뛰어난 신뢰성을 보여줬으며, 이는 저희가 상대하는 세계적 수준의 연구자에게 굉장히 중요한 사실입니다. 더불어, Linode의 발 빠른 고객 서비스는 최고 수준입니다. 여러분이 실제 사람과 어울려 일하고 있기에, 정말 까다로운 고객이 있다면, 여러분 입장에서 우수한 서비스를 받는 것은 좋은 일이죠."

공유하기