아시다시피 Dropbox의 인프라스트럭처는 온프레미스 하드웨어와 공공 클라우드를 결합한 하이브리드 모델로 운영되고 있습니다. Dropbox가 자체 구축한 이 엑사바이트(EB)급 인프라스트럭처의 이름은 Magic Pocket입니다. Magic Pocket으로 마이그레이션한 2015년 이후, Dropbox의 주요 목표는 규모에 맞는 용량 확장을 적절하게 관리하는 것이었습니다. 하지만 여기에는 전력 효율성, 탄소 발자국 등의 문제가 뒤따랐습니다. 수억 명의 사용자에게 필요한 기능을 제공할 수 있게 되었지만, 이러한 운영 방식에 대한 책임을 지는 것 역시 Dropbox의 몫이었죠.

팀의 규모가 점점 확장하며 Dropbox는 단지 회사를 지탱하기 위한 것이 아닌 조금 더 효율적인 운영 방식을 모색하기 시작했습니다. Magic Pocket을 구축한 첫해에는 예상치 못했던 높은 운영비로 인해 충격을 받았습니다. 그리고 이 값비싼 비용이 Dropbox와 환경에 미치는 영향을 곰곰이 생각해보게 되었죠. 사내 여러 팀이 똑같은 질문을 하기 시작했고, Dropbox는 야심 찬 지속 가능성 목표를 세우게 되었습니다.

그 결과, 탄소 중립을 위한 여정의 주요 이정표가 세워졌습니다. Dropbox 데이터 센터의 모든 스토리지 서버를 100% 재생 에너지로 실행하겠다는 것이 바로 그것이죠.

Dropbox가 고객 데이터 스토리지에 중점을 두고 지속 가능성 목표를 세운 이유는 2021년 Edelman Trust Barometer 보고서의 설문조사 결과 때문입니다. 이 보고서에 따르면 지속 가능성을 실천하는 기업에 대한 고객의 신뢰도가 5.7% 더 높은 것으로 나타납니다. 고객 신뢰도를 높이는 방법은 간단합니다.

Dropbox 스토리지가 100% 재생 전기로 실행된다는 사실을 알면 고객이 안심하고 데이터를 저장할 수 있을 것이기 때문입니다.

Dropbox는 다양한 전략을 통해 현재의 위치에 도달할 수 있었으며, 이 전략들이 향후 비즈니스 운영의 지속 가능성을 높이는 데에도 기여할 것입니다. 그리고 자화자찬을 하려는 목적이 아니라, 우리가 사는 세상에 진정한 변화를 가져오기 위한 목적으로 이 전략을 여러분과 공유하고자 합니다.

전력 효율 지수(PUE) 극대화

전력 효율 지수(PUE)는 데이터 센터 전력을 얼마나 효율적으로 소비하는지 보여주는 지표입니다. Dropbox는 업계 최고 수준의 PUE를 달성하겠다는 목표를 세우고 기존의 업계 벤치마크를 기준점으로 삼았습니다. 2015년, Dropbox의 PUE 값은 업계 평균 수준을 유지했지만, 우리는 이것으로 만족할 수 없었습니다.

Dropbox는 업계의 모범 사례를 바탕으로 시설 전반의 효율성을 최적화하는 작업을 시작했습니다. 그리고 이를 위해 외기 방식의 에어 이코노마이저와 열 차단 솔루션을 설치해 시설의 전력 효율성을 극대화했습니다.

외기 방식의 에어 이코노마이저

▶ Dropbox 데이터 센터의 하드웨어는 24시간 내내 냉각 장치로 온도를 낮춰야 합니다. 입구 온도를 안정적으로 유지해야 과열로 인한 시스템 중단을 방지할 수 있기 때문이죠. 외기 방식의 에어 이코노마이저를 사용하면 더 낮은 온도로 외부 공기가 시스템에 유입되어 적절한 온도를 유지하는 데 필요한 냉각 장치의 사용을 줄일 수 있습니다. 무더운 날씨로 유명한 미국 산호세의 아파트를 생각하면 이해하기 쉽습니다. 선선한 날씨에는 에어컨을 트는 대신 창문을 열어 놓으면 전력 소비량과 비용을 줄일 수 있으니까요.

열 차단 솔루션

▶ Magic Pocket으로 마이그레이션한 후, Dropbox는 이 창문과 에어컨 사례에 착안해 공기의 흐름으로 인한 문제나 공기 유출에 구애 받지 않고 데이터 센터 전체의 온도를 낮출 수 있었습니다. 하지만 이 방식은 마치 무더운 날씨에 창문을 열고 에어컨을 켜 시원한 공기가 밖으로 새어 나가도록 내버려 두는 것과 같은 이치였습니다. Dropbox는 비효율적인 공기 흐름을 해결할 수 있는지 알아보기 위해 컴퓨터로 열 유체역학 분석을 실행했습니다. 그리고 문제를 개선할 수 있는 중요한 기회를 발견했죠. Dropbox는 기존 시설에 대한 보강을 진행한 다음 이것을 표준으로 삼고 새로 짓는 모든 데이터 센터에 동일한 열 차단 솔루션을 설치했습니다.

전력 효율성 극대화

▶ 업계 전반의 데이터 센터는 특정 출력 범위의 전력을 공급하는 데 맞춰 설계됩니다. 그래서 사용되지 않는 전력의 낭비가 발생하는 데, 이는 비용적으로도, 환경적으로도 큰 손해입니다. Dropbox는 효율성을 유지하면서도 출력 급상승 시 추가 전력을 제공할 수 있는 황금률인 85% 가동량에 도달하는 것을 목표로 세웠습니다.

Dropbox는 이러한 방법을 통해 업계 최고 수준의 PUE로 데이터 센터를 운영하고 있습니다. 2020년까지 Dropbox는 업계 평균보다 17% 낮은 PUE로 데이터 센터를 운영해왔고, 현재 그리고 미래의 데이터 센터 공급업체와 함께 계속해서 협력하며 해결책을 모색해 나갈 것입니다.

전반적인 전력 소비량 최적화

Dropbox의 목표는 단지 전력 효율성만 높이는 것이 아닙니다.

Dropbox의 목표는 전력을 덜 사용하는 것입니다.
Dropbox는 다음과 같은 전략을 바탕으로 전력 소비량을 줄였습니다.

작동하지 않는 호스트의 전력을 빠르게 차단

▶ Dropbox 데이터 센터에는 수명을 다한 서버가 하루가 멀다 하고 쏟아져 나옵니다. 운영 데이터를 수집하는 과정에서 Dropbox는 호스트를 영구 종료하는 시간과 서버의 전력을 차단하는 시간에 차이가 있다는 것을 발견했습니다. 그리고 당시에는 프로비전, 영구 종료 등의 서버 관리 작업 대부분을 엔지니어들이 일일이 처리하고 있었습니다.

사용되지 않는 서버가 계속 실행되는 것을 막기 위해 Dropbox는 본래 서버 프로비전을 위해 개발된 ClusterOps의 Pirlo 시스템을 도입해 작동을 멈춘 호스트의 전력을 자동으로 차단했습니다. 그리고 이 작은 변화만으로 서버당 전력 사용량이 약 5% 감소했습니다.

유휴 상태의 서버를 저전력 상태로 유지

Dropbox 데이터 센터에 구축된 서버는 가용 상태로 표시됩니다. 즉, 서비스가 서버에 특정한 작업을 할당할 때까지 온라인을 유지하되 유휴 상태로 대기하는 것이죠.

Dropbox는 서버를 전반적으로 평가하는 과정에서 유휴 상태의 서버도 랙당 약 5kW의 전력을 소비한다는 사실을 발견했습니다. 그리고 사용하지 않는 서버의 전력 소비량을 줄일 방법을 모색했죠.

현재 Dropbox는 데이터 센터에 ‘HDD 대기’라는 새로운 상태를 도입하고 있습니다. 이 상태는 운영 시스템이 계속 실행되는 상태에서 서버 디스크 드라이브의 회전 속도는 줄이면서 서버가 서비스에 인식 및 할당될 수 있도록 접근성은 유지합니다. HDD 대기 상태는 스토리지 호스트의 전력 소비량을 약 50%, HDFS 호스트의 전력 소비량을 약 25% 절감합니다.

HDD 대기 상태로 절약할 수 있는 전력 소비량은 상당하지만, 여기에도 문제가 있었습니다. 필요할 때 호스트가 서비스에 할당될 수 있도록 하기 위해서는 호스트가 대기하는 동안에도 계속해서 모든 드라이브의 상태를 모니터링해야 합니다. HDD 대기 상태를 도입하기 전에는 드라이브가 계속 회전하고 있었기 때문에 즉각적인 반응이 가능했습니다. 하지만 지금은 쿼리가 실행되면 서버가 회전 속도를 줄인 드라이브를 깨워야 하기 때문에 쿼리를 실행하기까지 더 많은 시간이 걸립니다.

Dropbox는 이 프로세스를 최적화하는 방법을 찾았습니다. 이전에는 쿼리가 연속해서 실행되면 서버가 각 드라이브를 한 번에 하나씩 회전하며 확인해야 다음 단계를 진행할 수 있었지만, 최근 Dropbox는 드라이브 쿼리를 동시에 실행할 수 있는 코드를 적용했습니다. 이 코드를 사용하면 드라이브의 쿼리 수용과 회전이 동시에 진행되어 쿼리 실행 속도가 99% 빨라집니다. 그리고 이 서버의 나머지 대부분의 디스크 드라이브는 계속해서 대기 상태로 유지할 수 있죠.

용량 계획 최적화

갑작스러운 트래픽 급증, 칩 공급 부족으로 인한 랙 전송 지연, 시스템을 비효율적으로 만드는 과도한 유휴 용량과 같은 공급과 수요 측면의 위험을 완화하는 데 필요한 충분한 용량이 얼마인지 가늠하기란 쉽지 않습니다.

Dropbox는 과거 데이터를 바탕으로 Dropbox를 운영하는 데 필요한 적절한 용량을 결정하는 모델을 구축했습니다. 그리고 지속적으로 용량 효율성을 측정해 공급과 수요를 적절하게 조절합니다.

이전에 Dropbox는 과거 데이터와 서비스 업체의 조언을 바탕으로 연간 용량 계획을 세웠습니다. 하지만 팀이 성장하고 전문성이 향상됨에 따라 연 단위로 세웠던 용량 계획을 월 단위로 전환했고, 이와 함께 시스템을 적극적으로 모니터링하며 용량이 적절하게 사용되고 있는지 확인하고 있습니다. 이렇게 하면 더 많은 데이터 포인트에 안정적인 모델을 구축할 수 있어 책임감이 강화될 뿐만 아니라 필요할 때 빠르고 민첩하게 용량 계획을 변경할 수 있습니다.

통합 플랫폼

Dropbox는 언제나 데이터 처리의 모든 측면에서 하드웨어의 활용성을 극대화하기 위해 노력합니다. 여기에는 하드웨어와 운영 시스템에서부터 TCP 혼잡 제어 프로토콜, 압축 알고리즘까지 모든 것이 포함되는데요.

데이터 센터의 경우, Dropbox는 지속적으로 인프라스트럭처를 개선하며 기존에 구매한 서버의 활용성을 극대화하는 방안을 모색하고 있습니다.

그러한 노력의 일환으로 Dropbox는 통합 플랫폼을 Kubernetes로 이전했습니다.

통합 플랫폼을 Kubernetes로 이전하면 다음과 같은 다양한 방면에서 효율성이 향상됩니다.

멀티테넌시

▶ Dropbox는 Kubernetes의 Bin Packing을 사용해 CPU, 메모리, 네트워크 차원의 다양한 서비스를 하나의 서버에서 실행하며 전체적인 리소스 활용을 극대화하고 있습니다.

초과 수용

▶ 필요한 경우, 작업 대기 시간을 악화시키는 일 없이 CPU 등의 일부 리소스 유형을 무리 없이 초과 수용할 수 있어 짧은 간격으로 실행되는 배치 작업의 효율성이 향상됩니다.

백그라운드 작업

▶ 내부 ‘스팟 인스턴스’를 데이터, 메타데이터 검증자 등의 낮은 우선순위 작업에 활용해 전력을 최대로 소비하는 시간에는 가동률을 낮추고, 한가한 시간에는 가동률을 높이며 필요한 전력량과 전력 사용의 효율성을 최적화하고 있습니다.

Dropbox는 내부적으로 사용자 쿼리보다 약 10배 많은 메타데이터 검증 쿼리를 처리하고 있습니다. 이러한 쿼리는 MySQL 복제 검증자(pt-table-checksum), 파일 시스템 검증자, 블록 검증자, 콜드 스토리지 검증자, 보안 검증자 등 다양한 소스에서 전송될 수 있죠. 이 작업을 전력 사용량이 적은 시간에 낮은 우선순위 작업 유형으로 처리하면 효율성이 대폭 향상됩니다.

장치의 고밀화

Dropbox는 동일한 공간의 수용력을 확장해 서버나 랙, 공간을 늘리지 않고도 더 많은 데이터를 저장하고 처리하는 새로운 하드웨어를 지속적으로 검토해 도입하고 있습니다.

보다 자세한 내용은 Magic Pocket 사례 연구에서 확인할 수 있습니다.

같은 양의 하드웨어와 에너지를 더 효율적으로 사용하는 이 고밀화 작업은 Dropbox를 보다 탄소 효율적인 방식으로 운영하는 데 큰 도움이 됩니다.

Dropbox가 최근에 도입한 Magic Pocket 스토리지 플랫폼은 20TB의 드라이브를 사용하며, 기존의 스토리지 플랫폼보다 43% 큰 저장 용량을 제공합니다. 그래서 이제는 하나의 스토리지에 지난 두 세대의 스토리지 플랫폼보다 약 4배나 많은 2PB의 용량을 저장할 수 있습니다.

컴퓨터의 경우, 현재 Dropbox 플랫폼은 하나의 CPU 소켓에서 지난 세대보다 3배 많은 48개의 코어를 사용하고 있습니다.

하드웨어 제조업체는 계속해서 고밀화를 지원하는 새로운 기술을 개발하고 있습니다. 하드 드라이브 공급업체는 최대 35TB의 용량을 제공하는 드라이브를 개발하겠다는 로드맵을 세웠죠. CPU 공급업체의 경우, 이미 128스레드 프로세서를 출시했고, 현재 이보다 더 강력한 코어를 갖춘 프로세스를 개발 중입니다.

서비스를 최적화하면 규모 확장과 멀티테넌시를 통해 고밀화의 이점을 활용할 수 있습니다. 하지만 이러한 추가적인 최적화 작업 없이도 와트당 컴퓨팅 성능은 계속해서 발전하고 있습니다.

재생 전기 100% 사용

Dropbox는 효율성을 극대화하기 위해 운영의 모든 측면을 꼼꼼하게 살펴봤습니다. Dropbox는 운영 전반에 걸쳐 업계 모범 사례를 활용하고 있고, 끊임없이 기존의 방식을 점검하고 있습니다.

Dropbox는 앞으로 스토리지에서부터 시작해 데이터 센터에 사용되는 모든 에너지를 100% 재생 에너지로 전환할 예정입니다.

2021년 현재 Dropbox는 재생 에너지에 막대한 비용을 투자하고 있으며, 지속 가능성에 투자하는 여러 기업들 중 하나로 Goldman Sachs 보고서에 언급되기도 했습니다.

또한, Dropbox는 스토리지 플랫폼에서 직접적으로 사용되는 전력을 100% 탄소 중립으로 전환하겠다는 목표를 달성하기 위해 최선을 다하고 있습니다.

이 여정을 스토리지 플랫폼에서부터 시작하는 이유는 이것이 고객들에게 매우 중요한 요소인 동시에, Dropbox에도 그에 못지않게 중요하다는 사실을 잘 알고 있기 때문입니다.

현재까지의 성과

Dropbox는 지난 1년 반 동안 데이터 센터의 탄소 발자국을 15% 줄였습니다. 하지만 데이터 센터에서 사용되는 전기를 모두 재생 에너지로 바꾸는 작업은 이제 막 첫걸음을 디뎠을 뿐입니다. Dropbox 데이터 센터는 하이브리드 모델로 운영되기 때문에 Dropbox의 온프레미스 시설뿐만 아니라 전 세계적으로 지속 가능성 목표를 달성하기 위해서는 공공 클라우드 파트너들과의 긴밀한 협력이 필요합니다.

 

지금은 행동으로 옮겨야 할 때

점점 더 많은 기업이 지속 가능성을 위한 여정을 시작하고 있으며, Dropbox는 이들에게 쉬운 길을 택하지 말고 탄소 상쇄에만 집중하라는 메시지를 던지고 있습니다.

Dropbox는 모든 기업이 내부적인 혁신을 통해 데이터 센터의 탄소 발자국을 최소화하는 방법을 찾을 수 있을 것이라고 믿습니다.

현재 미국에서 소비되는 에너지의 80%는 기후 변화에 영향을 주는 화석 연료 기반이고, 재생 에너지가 차지하는 비율은 단 10%에 불과합니다. 탄소 배출량 감소와는 상관이 없는 탄소 배출권과 Dropbox가 추구하는 탄소 상쇄 간의 차이점은 모두가 알아야 하는 중요한 내용입니다. 그러나, 전 세계의 탄소 상쇄량을 모두 합쳐도 이상적인 지구를 만드는 데는 역부족입니다.

Dropbox가 추구하는 변화에 관심이 있다면 Bill Gates의 새로운 저서 기후 재앙을 피하는 법을 읽어보세요. 이 책은 소규모의 스타트업도 더 건강한 지구를 위한 변화에 기여할 수 있다며 그 방법들을 소개합니다.

지역 상공회의소가 나무를 심도록 촉구하는 것, 고밀화와 같은 친환경 기술의 얼리 어댑터가 되는 것, 혁신 기술을 상용화하는 데 필요한 입증된 기술을 확보하지 못한 정부 지원 대상 연구자들과 협력하는 것 등에 이르기까지 우리가 취할 수 있는 방법은 다양합니다.

Bill Gates는 책에서 이렇게 말합니다.

“쉬운 방식으로는 문제를 해결할 수 없다. 이 말은 더 많은 위험을 감수해야 한다는 의미이다… 기후 변화 대응에 투자를 하는 기업과 그 경영자는 보상을 받아 마땅하다.”

감사합니다.

Dropbox 요금 및 기타 관련 문의는 여기를 클릭해주세요.