ETL 과 ELT (+Amazon Redshift)

ETL 과 ELT

ELT(Extract, Load, Transform)와 ETL(Extract, Transform, Load)은 데이터 웨어하우스에 데이터를 이동시키는 두 가지 일반적인 디자인 패턴으로, 이 두 패턴의 주요 차이점은 데이터 처리 파이프라인에서 변환(transformation)이 언제 발생하는지에 있습니다.

1. ETL(Extract, Transform, Load): 이 방식에서는 데이터가 웨어하우스에 로드되기 전에 변환이 이루어집니다. ETL은 소스 시스템에서 데이터를 추출하고, 그 데이터를 정제 및 변형한 후, 마지막으로 그 결과를 데이터 웨어하우스에 로드하는 방식입니다. 이 방식은 미리 정의된 비즈니스 규칙에 따라 데이터를 정제하고 변형할 필요가 있을 때 유용합니다.

2. ELT(Extract, Load, Transform): 이 방식에서는 웨어하우스에 데이터를 로드한 후에 변환이 이루어집니다. ELT는 소스 시스템에서 데이터를 추출하고, 그 데이터를 먼저 데이터 웨어하우스에 로드한 후, 필요에 따라 웨어하우스 내에서 데이터를 변형하는 방식입니다. 이 방식은 대용량의 비정형 데이터를 처리해야 하는 빅 데이터 환경에서 유용하며, 데이터의 형식이나 구조가 미리 예측되지 않는 상황에서 효과적입니다.

따라서, 어떤 상황에서 ELT와 ETL을 구분하여 사용해야 하는지는 주로 데이터의 양, 복잡성, 변환의 필요성 등에 따라 달라집니다. 일반적으로, ETL은 작거나 중간 규모의 정형 데이터셋에 대한 복잡한 변환을 수행해야 할 때, ELT는 큰 규모의 데이터셋이나 덜 구조화된 데이터를 다루어야 할 때 더욱 유용하다고 할 수 있습니다.

첫 번째 패턴인 ETL은 데이터 웨어하우스로 데이터를 로드하기 전에 데이터를 변환합니다. 두 번째 패턴인 ELT는 데이터를 데이터 웨어하우스에 로드하고, 익숙한 SQL 구문과 대규모 병렬 처리(MPP; Massively Parallel Processing) 아키텍처의 성능을 사용하여 데이터 웨어하우스 내에서 변환을 수행합니다

Redshift Spectrum

Amazon Redshift는 AWS에서 완전히 관리되는 데이터 웨어하우스 서비스입니다. 분산형, 대규모 병렬 처리(MPP), 공유 없는 아키텍처(?)를 사용합니다. Redshift Spectrum은 Amazon Redshift의 기본 기능으로, Amazon S3의 데이터 레이크에 저장된 모든 데이터에 대해 현재 사용 중인 BI 애플리케이션과 SQL 클라이언트 도구를 이용해 Amazon Redshift의 SQL을 실행할 수 있게 해줍니다.

일반적인 패턴은 Amazon Redshift에 로컬로 저장된 자주 액세스하는 핫 데이터와 Amazon S3에 비용 효율적으로 저장된 웜 또는 콜드 데이터를 모두 포함하는 쿼리를 실행하는 것입니다. 외부 테이블에 대해 스키마 바인딩이 없는 뷰를 사용하면, 여러 유스 케이스에 대해 클러스터와 S3에서 컴퓨트 리소스와 저장소를 독립적으로 확장할 수 있게 됩니다.

Redshift Spectrum은 Apache Parquet, Avro, CSV, ORC, JSON 등과 같은 다양한 구조화된 및 비구조화된 파일 형식을 지원합니다. Amazon Athena, Amazon EMR, Amazon SageMaker와 같은 다른 서비스들이 S3 데이터 레이크에서 직접 액세스할 수 있습니다.

Concurrency Scaling

동시성 스케일링을 사용하면, Amazon Redshift는 자동적 및 탄력적으로 쿼리 처리력을 확장하여 수백 개의 동시 쿼리에 대해 일관되게 빠른 성능을 제공합니다. 동시성이 증가함에 따라, 대기 시간 없이 빠르게 처리할 수 있도록 스케일링 리소스가 Amazon Redshift 클러스터에 추가됩니다. 작업 부하 수요가 줄어들면, Amazon Redshift는 비용을 절약하기 위해 자동으로 동시성 스케일링 리소스를 종료합니다.

Data Lake Export

Amazon Redshift는 이제 분석을 위한 효율적인 열 기반 저장 형식인 Apache Parquet 형식으로 S3의 데이터 레이크에 쿼리 결과를 언로드하는 것을 지원합니다. Parquet 형식은 텍스트 형식에 비해 언로드하는 데 최대 두 배 더 빠르며, S3에서 최대 여섯 배 더 적은 저장 공간을 소비합니다. 또한 하나 이상의 파티션 열을 지정하여 언로드된 데이터가 S3 버킷의 폴더에 자동으로 파티션되도록 할 수 있습니다. 이로 인해 쿼리 성능이 향상되고 언로드된 데이터의 다운스트림 소비 비용이 감소합니다.

Use Cases: ELT using Amazon Redshift

The following diagram shows how Redshift Spectrum allows you to simplify and accelerate your data processing pipeline from a four-step to a one-step process with the CTAS (Create Table As) command.

Use Cases: ETL using Amazon Redshift

As shown in the following diagram, once the transformed results are unloaded in S3, you then query the unloaded data from your data lake either using Redshift Spectrum if you have an existing Amazon Redshift cluster, Athena with its pay-per-use and serverless ad hoc and on-demand query model, AWS Glue and Amazon EMR for performing ETL operations on the unloaded data and data integration with your other datasets (such as ERP, finance, and third-party data) stored in your data lake, and Amazon SageMaker for machine learning.

Analyze requirements to decide ELT versus ETL

Amazon Redshift의 MPP 아키텍처와 Spectrum 기능은 대규모 관계형 및 SQL 기반 ELT 워크로드(조인, 집계)에 대해 효율적이며 잘 설계되어 있습니다. Amazon Redshift를 이용하여 효율적인 ELT 솔루션을 설계하려면 다음을 신중하게 고려해야 합니다.

• Type of data from source systems (structured, semi-structured, and unstructured)

• Nature of the transformations required (usually encompassing cleansing, enrichment, harmonization, transformations, and aggregations)

• Row-by-row, cursor-based processing needs versus batch SQL

• Performance SLA and scalability requirements considering the data volume growth over time

• Cost of the solution

Reference (Original Content)

ETL and ELT design patterns for lake house architecture using Amazon Redshift: Part 1 | Amazon Web ServicesAmazon Web Services