ETL

Extract Transform Load

ETL and ELT

• ETL은 데이터를 추출(extract), 변환(transform), 그리고 적재(Load)하는 과정을 의미함

• 여러 데이터 소스로 부터 데이터를 통합하는 프로세스에 해당함

• 데이터 웨어하우스 혹은 유사한 시스템에 적재하는 과정으로 볼 수 있(대형 중앙 집중식 리포지토리에 결합하는 과정)

• 추출, 변환, 적재(ETL)는 데이터를 특정 소스에서 타겟 시스템으로 정기적으로 이동하는 방식을 규정한

데이터 추출(Extract)

• 스테이징 영역 혹은 랜딩 존이라고 부르는 곳에 데이터 추출된 데이터를 일시적으로 저장함

• 데이터 스테이징 영역은 일시적인 경우가 많음

• 데이터 추출이 완료되면 콘텐츠는 제거됨(단, 문제 해결을 위헤 데이터가 보존될 수 있음)

데이터 변환(Transform)

• 데이터 정리 -> 오류를 제거하고 데이터의 포맷을 알맞게 매핑

• 데이터 중복 제거

• 데이터 형식 수정 -> 날짜, 시간, 단위 값을 일관된 형식으로 변환

• 그 외 고급 데이터 변환 -> 새로운 값을 계산, 서로 다른 데이터 소스의 동일한 데이터를 연결, 열 데이터를 다른 여러 열로 나누는 작업, 많은 데이터 값을 더 작은 데이터 세트로 줄이는 요약, 데이터 암호화

데이터 로딩(Loading)

• 변환된 데이터를 데이터 스테이징 영역에서 타겟 데이터 웨어하우스로 이동하는 단계

• 로드 작업은 최초 데이터 적재 시 전체 로드하거나 그 이외에는 변경된 증분 값 정도만 로드하는 식으로 이루어진다

• 데이터가 초당 수백만 개의 이벤트로 구성된다면 스트림 처리를 위한 작업이 이루어져야 함

ELT

• 추출, 적재, 전환(ELT)은 전환과 적재 작업의 순서를 바꾼 것으로 ETL의 확장 기능으로 다루어짐

• 쉽게 말해서 타겟 데이터베이스, 데이터 웨어하우스가 전환(transform)작업을 지원하는, 그러한 처리 능력을 제공하는 경우를 의미함

• 클라우드 인프라 도입이 증가하며 함께 생겨난 개

• ELT는 원시 데이터를 최대한 남겨두고 원하는 시점에 변환하는 작업을 수립하도록 하므로 대량의 비정형 데이터에 적합하다고 합니다

• ETL은 처음부터 분석이 실행되어 적재되기 때문에 많은 사전 작업이 요구됩니다

• 최근에는 ELT 방식이 좀 더 표준화된 것으로 확인됩니다

ETL vs. ELT

• ETL과 ELT의 가장 명확한 차이는 작업 순서에 있습니다

• ELT는 원본 위치에서 데이터를 복사하거나 추출하지만, 변환을 위해 스테이징 영역에 로드하는 대신 원시 데이터를 직접 목표 데이터 저장소에 로드하여 필요에 따라 변환합니다

• 두 과정 모두 데이터베이스, 데이터 웨어하우스, 데이터 레이크와 같은 다양한 데이터 저장소를 활용하지만, 각 과정은 장단점이 있습니다

• ELT는 출처에서 직접 로드할 수 있기 때문에 대용량, 비구조화된 데이터셋에 특히 유용합니다

• ELT는 데이터 추출과 저장에 대한 초기 계획이 별로 필요하지 않기 때문에 빅 데이터 관리에 더 이상적 입니다

• ETL 과정은 시작 시점에서 더 많은 정의가 필요합니다

• 추출할 특정 데이터 포인트와 서로 다른 출처의 시스템을 통합하는데 필요한 잠재적 "키"를 식별해야 하고, 그 작업이 완료된 후에도 데이터 변환을 위한 비즈니스 규칙을 구성해야 합니다

• 클라우드 데이터베이스의 채택이 증가함에 따라 ELT가 점점 더 인기를 얻고 있지만, 이는 더 새로운 프로세스이기 때문에 여전히 일부 단점들이 존재합니다

Reference

ETL이란 무엇인가요? - 추출, 전환, 적재 설명 - AWSAmazon Web Services, Inc.

What is ETL (Extract, Transform, Load)? | IBMwww.ibm.com

ETL and ELT design patterns for lake house architecture using Amazon Redshift: Part 1 | Amazon Web ServicesAmazon Web Services