10 MLOps를 위한 인프라와 도구

이 장에서는 ML 시스템에 적합한 인프라를 설정하는 방법을 알아본다.

회사마다 인프라 요구 사항이 다르다.

각 회사에 필요한 인프라는 개발하는 애플리케이션의 개수와 전문성 수준에 따라 다르다. 요구 사항이 특수하다면 고도로 전문화된 자체 인프라를 개발해야 한다.

전문화된 인프라 중 일부가 나중에 공개돼 다른 회사에 채택되는 일은 보편적이다. 예를 들어, 구글은 내부 클라우드 인프라를 대중 상대로 확장해 구글 클라우드 플랫폼(GCP)을 만들었다.

스펙트럼 중간에 있는 회사에서는 ML을 합리적인 규모로 사용해 이상 거래 탐지 모델, 가격 최적화 모델, 고객 이탈 예측 모델, 추천 시스템 등 일반적인 애플리케이션을 만든다. ‘합리적인 규모’란 데이터를 하루에 기가바이트나 테라바이트 단위로 처리함을 뜻한다.

ML 세계에서 인프라란 ML 시스템의 개발과 유지 관리를 지원하는 기본 시설의 집합이다. ‘기본 시설’이 무엇인지는 회사마다 다르다.

ML을 위한 인프라에는 네 가지 레이어가 있다.

  • 스토리지와 컴퓨팅: 스토리지 레이어에서는 데이터가 수집되고 저장되며, 컴퓨팅 레이어는 모델 훈련, 피처 연산, 피처 생성 등 ML 워크로드를 실행하는 데 필요한 연산 자원을 제공한다.
  • 자원 관리: 자원 관리는 사용 가능한 연산 자원을 최대한 활용할 수 있도록 워크로드 일정을 수립하고 오케스트레이션하는 도구로 구성된다. (ex. Airflow, Kubeflow, Metaflow)
  • ML 플랫폼: 모델 스토어, 피처 스토어, 모니터링 도구 같은 ML 애플리케이션 개발을 위한 도구를 제공한다. (ex. SageMaker, MLflow)
  • 개발 환경: 일반적으로 코드가 작성되고 실험이 실행되는 곳이다. 코드는 버전 관리 및 테스트가 수행돼야 하며 실험은 추적돼야 한다.

데이터와 연산은 ML 프로젝트에 반드시 필요한 필수 자원이므로 스토리지와 컴퓨팅 레이어는 ML을 적용하려는 모든 회사의 인프라 기반을 형성한다. 이 레이어는 데이터 과학자에게 가장 추상적인 것이기도 하다.

10.1 스토리지와 컴퓨팅

ML 시스템은 대량의 데이터로 작동하며 이 데이터는 어딘가에 저장돼야 한다.

스토리지 레이어는 데이터가 수집되고 저장되는 곳으로, 가장 단순한 형태는 하드 드라이브 디스크(HDD)나 솔리드 스테이트 디스크(SSD)다.

스토리지 레이어는 한곳에 있을 수도 있고(예컨대 모든 데이터가 아마존 S3이나 스노우플레이크에 있는 경우) 다양한 위치에 분산돼 있을 수도 있다.

스토리지 레이어는 프라이빗 데이터 센터의 온프레미스에 있을 수도 있고 클라우드에 있을 수도 있다. 과거에는 기업이 자체 스토리지 레이어를 관리하려고 노력했지만 지난 10년 동안에는 스토리지 레이어가 대부분 상품화되고 클라우드로 이동했다.

컴퓨팅 레이어는 회사가 접근할 수 있는 모든 연산 자원과 그 사용법을 결정하는 메커니즘이다. 컴퓨팅 레이어는 어떤 작업을 실행하는 엔진으로 볼 수 있으며 가장 단순한 형태는 모든 연산을 수행하는 단일 CPU 코어 혹은 GPU 코어다. 가장 흔한 형태는 AWS 일래스틱 컴퓨트 클라우드(Elastic Compute Cloud, EC2)나 GCP와 같이 클라우드 공급업체가 관리하는 클라우드 컴퓨팅이다.

컴퓨팅 레이어를 보통 더 작은 연산 유닛으로 분할할 수 있으며, 유닛들을 동시에 사용할 수 있다. 예를 들어, CPU 코어는 동시 스레드 두 개를 지원하며 각 스레드는 자체 작업을 실행하는 연산 유닛으로 사용된다. 반대로 여러 CPU 코어를 결합해 더 큰 작업을 실행하기 위한 더 큰 연산 유닛을 형성할 수도 있다.

AWS 스텝 펑션(Step Functions)나 GCP 클라우드 런(Cloud Run)과 같이 특정 단기 작업을 위한 연산 유닛을 생성할 수 있다. 이 유닛은 작업이 완료되면 제거된다. 연산 유닛은 가상 머신처럼 보다 ‘영구적으로’, 즉 작업에 얽매이지 않도록 생성할 수도 있다. 보다 영구적인 연산 유닛을 ‘인스턴스’라고도 한다.

하지만 컴퓨팅 레이어가 항상 스레드나 코어를 연산 유닛으로 사용하지는 않는다. 코어 개념을 추상화해 다른 연산 유닛을 사용하는 컴퓨팅 레이어도 있다. 예를 들어, 스파크와 레이 같은 연산 엔진은 ‘작업(Job)’을 유닛으로 사용하며 쿠버네티스는 컨테이너에 대한 래퍼, 즉 ‘포드(Pod)’를 배포 가능한 형태의 가장 작은 유닛으로 사용한다. 포드 하나에 여러 컨테이너가 있을 수 있지만 동일한 폳에서 서로 다른 컨테이너를 독립적으로 시작하거나 중지할 수는 없다.

작업을 실행하려면 먼저 필요한 데이터를 연산 유닛 메모리에 적재한 다음 해당 데이터에서 필요한 연산(덧셈, 곱셈, 나눗셈, 합성곱 등)을 실행해야 한다. 예를 들어, 두 배열을 더하려면 먼저 둘을 메모리에 적재한 다음 덧셈을 수행해야 한다. 연산 유닛에 두 배열을 적재할 만큼 충분한 메모리가 없고 메모리 부족 연산을 처리해주는 알고리즘이 없다면 작업은 불가능하다. 따라서 연산 유닛을 특징지을 때는 주로 메모리 크기와 작업 실행 속도라는 두 가지 지표를 사용한다.

메모리 지표는 기가바이트 같은 단위로 지정하며 평가는 대개 단순하다. 메모리가 8기가바이트인 연산 유닛은 메모리가 2기가바이트인 연산 유닛보다 더 많은 데이터를 메모리에서 처리할 수 있으며 보통 더 비싸다. 일부 회사에서는 연산 유닛의 메모리 크기뿐 아니라 데이터를 메모리 안팎으로 적재하는 속도 또한 중요시한다. 따라서 일부 클라우드 공급업체는 인스턴스가 ‘고대역(heigh bandwidth) 메모리’를 갖추고 있다고 광고하거나 인스턴스의 I/O 대역폭을 지정할 수 있게 한다.

작업 속도는 좀 더 논쟁의 여지가 있다. 가장 일반적인 지표는 초당 부동 소수점 연산(floating point operations per second, FLOPS)다. 이름에서 나타내듯 이 지표는 연산 유닛이 초당 실행 가능한 부동 소수점 작업 수를 의미한다. 하드웨어 공급업체에서 GPU, TPU 또는 IPU(지능형 처리 장치)가 teraFLOPS(1조 FLOPS) 등 엄청난 수의 FLOPS를 갖췄다고 광고하는 모습을 볼 수 있을 거다.

하지만 이 지표는 논쟁의 여지가 있다. 첫째, 회사에 따라 무엇을 작업으로 간주할지가 서로 다를 수 있다. 예를 들어, 머신이 두 작업을 하나로 융합하고 이 융합한 작업을 실행한다면 이것은 한 번으로 간주해야 할까요 혹은 두 번으로 간주해야 할까요? 둘째, 연산 유닛이 1조 FLOPS를 처리할 수 있다고 해서 1조 FLOPS 속도로 작업을 실행할 수 있다는 뜻은 아닙니다.

작업에서 수행할 수 있는 FLOPS 수와 연산 유닛이 처리할 수 있는 FLOPS 수의 비율을 사용률이라고 한다. 예를 들어, 인스턴스가 100만 FLOPS를 수행할 수 있는데 작업이 30만 FLOPS로 실행된다면 사용률은 30%다. 물론 사용률은 높을수록 좋지만 100%를 달성하기는 거의 불가능하다. 그리고 사용률은 다음 작업을 수행하기 위해 메모리에 데이터를 얼마나 빨리 적재할 수 있는지에 따라서도 달라진다. 따라서 I/O 대역폭이 중요하다.

새로운 연산 유닛을 평가할 때는 해당 연산 유닛이 일반 워크로드를 수행하는 데 걸리는 시간을 평가하는 것이 중요하다.

FLOPS에 대해 고민하는 것은 그다지 유용하지 않으므로, 많은 사람이 연산 성능을 평가할 때 간단히 연산 유닛이 가진 코어 개수만 살펴본다. 예를 들어, CPU 코어 4개와 8기가바이트 메모리를 가진 인스턴스를 사용할 수 있다. AWS는 가장 CPU를 의미하는 vCPU 개념을 사용한다는 점을 유의하기 바란다. 이는 실용적인 목적하에 물리적 코어의 절반 정도로 생각할 수 있다. 아래 그림은 AWS EC2와 GCP에서 제공하는 가속화된 컴퓨팅 인스턴스가 제공하는 코어 개수와 메모리 크기를 나타낸다.

10.2 개발 환경

10.3 자원 관리

10.4 머신러닝 플랫폼

10.5 구축 vs. 구매

10.6 정리