개발 지식/DevOps

OLAP vs OLTP

통사부 2025. 3. 2. 19:22
728x90

1. OLAP(Online Analytical Processing) 개요

OLAP(Online Analytical Processing)은 대량의 데이터를 빠르게 분석하고 집계하는 시스템이다.
기존의 OLTP(Online Transaction Processing) 시스템과는 목적이 다르며,
OLAP은 복잡한 데이터 분석 쿼리를 효율적으로 수행하는 데 최적화되어 있다.

 

OLAP vs OLTP 비교

구분 OLTP (전통적 RDBMS) OLAP (분석 데이터베이스)
목적 트랜잭션 처리 (INSERT, UPDATE) 데이터 조회 및 분석
데이터 저장 방식 행(Row) 기반 저장 열(Column) 기반 저장
쿼리 성격 CRUD (INSERT, UPDATE, DELETE) 복잡한 집계 쿼리 (GROUP BY, SUM, COUNT)
속도 대량 데이터 조회 시 느림 대량 데이터 조회 및 집계 연산 최적화
예시 MySQL, PostgreSQL, Oracle ClickHouse, Apache Druid, BigQuery

 

OLAP 시스템은 일반적으로 BI(Business Intelligence) 분석, 데이터 웨어하우스 구축, 실시간 로그 분석 등에 활용된다.
대표적인 OLAP 엔진으로는 ClickHouse, Apache Druid, Amazon Redshift, Google BigQuery 등이 있다.

2. OLTP(RDBMS)와 OLAP의 데이터 저장 방식 비교

1) OLTP - Row 기반 저장 방식

기존 RDBMS(MySQL, PostgreSQL 등)는 행(Row) 기반 저장 방식을 사용한다.

id 상품명 카테고리 가격 등록날짜
1 TV 가전 100만원 2024-03-01
2 노트북 전자 150만원 2024-03-02
3 냉장고 가전 200만원 2024-03-03
4 핸드폰 모바일 90만원 2024-03-04 
SELECT SUM(가격) FROM 상품 WHERE 카테고리 = '가전';
  • OLTP에서는 행(Row) 단위로 데이터를 저장하므로,
    해당 쿼리를 실행하면 모든 행을 조회한 후 특정 열(가격)을 합산해야 한다.
  • 데이터가 많아질수록 성능이 저하되며, 대량의 데이터 조회 시 속도가 느려진다.

2) OLAP - Column 기반 저장 방식

OLAP 시스템에서는 열(Column) 기반 저장 방식을 사용한다.
같은 데이터를 OLAP에서 저장하면 다음과 같은 형태가 된다.

상품명 카테고리 가격 등록날짜
TV 가전 100만원 2024-03-01
노트북 전자 150만원 2024-03-02
냉장고 가전 200만원 2024-03-03
핸드폰 모바일 90만원 2024-03-04 
SELECT SUM(가격) FROM 상품 WHERE 카테고리 = '가전';
  • ClickHouse에서는 필요한 컬럼(가격)만 조회하기 때문에 연산 속도가 훨씬 빠르다.
  • OLTP에서는 모든 행을 읽어야 하지만, OLAP에서는 해당 컬럼만 읽으면 되므로 훨씬 효율적이다.

OLAP에서는 데이터를 컬럼(Column) 단위로 저장하므로,
SUM(가격) 같은 집계 연산이 훨씬 빠르게 수행된다.

3) OLTP vs OLAP 저장 방식 비교

저장 방식 읽어야 하는 데이터 양 장점 단점
OLTP (행 기반 저장) 전체 행을 읽어야 함 트랜잭션에 적합 대량 데이터 분석 속도 저하
OLAP (열 기반 저장) 특정 컬럼만 읽음 집계 쿼리 속도 빠름 실시간 트랜잭션 처리에 부적합
OLTP는 실시간 데이터 변경이 많은 시스템(ex: 쇼핑몰, 은행 시스템)에 적합
OLAP은 데이터 분석이 필요한 시스템(ex: 매출 분석, BI 시스템)에 적합

3. ClickHouse란?

ClickHouse는 Yandex에서 개발한 오픈소스 OLAP 데이터베이스로,
대량의 데이터를 빠르게 조회하고 분석하는 데 최적화되어 있다.
기존 RDBMS(OLTP)와 비교했을 때 읽기 성능이 압도적으로 빠르며, 집계 연산을 효율적으로 수행할 수 있다.

 

ClickHouse의 주요 특징

  1. 컬럼 기반 저장(Columnar Storage)
    • MySQL, PostgreSQL 같은 RDBMS는 행(Row) 단위 저장 방식을 사용하지만,
      ClickHouse는 열(Column) 단위 저장 방식을 사용하여 데이터 조회 및 집계 성능을 극대화한다.
  2. 빠른 데이터 조회 및 분석 속도
    • ClickHouse는 수십억 건 이상의 데이터를 초 단위로 조회 가능하다.
    • OLTP 시스템에서 10분 이상 걸리는 쿼리도 ClickHouse에서는 1~2초 내에 실행된다.
  3. 분산 처리 및 확장성
    • ClickHouse는 분산 환경을 지원하여 여러 개의 노드에서 데이터를 병렬로 처리할 수 있다.
    • 대규모 데이터 분석에 적합하며, 스케일아웃(Scale-out)이 가능하다.
  4. 실시간 데이터 적재 및 분석 가능
    • Kafka, S3와 같은 데이터 소스로부터 실시간 데이터 스트리밍을 지원한다.
    • 빠르게 데이터를 적재하면서 동시에 분석할 수 있다.
  5. 다양한 압축 알고리즘 지원

데이터 저장 시 LZ4, ZSTD, Delta, Gorilla 등의 압축 알고리즘을 지원하여 저장 공간을 효율적으로 관리할 수 있다.

4. ClickHouse 활용에 적합한 환경

ClickHouse의 장단점을 고려할 때, 다음과 같은 경우에 활용하는 것이 적절하다.

활용 사례 적합 여부 설명
실시간 데이터 분석 적합 Kafka와 연동하여 빠른 데이터 분석 가능
대량 데이터 조회 및 집계 적합 수억 건 이상의 데이터도 초 단위로 처리 가능
트랜잭션 데이터 처리 부적합 UPDATE, DELETE가 빈번한 환경에서는 비효율적
JOIN이 많은 복잡한 쿼리 제한적 단순한 JOIN은 가능하지만, 복잡한 JOIN은 성능 저하 가능
BI 보고서 생성 적합 데이터 웨어하우스로 활용 가능

 

OLAP는 대량 데이터 분석이 필요한 환경에서 최고의 성능을 발휘하며,
로그 분석, 트래픽 분석, 실시간 데이터 분석이 필요한 환경에서는 필수적인 솔루션이 될 수 있다.

728x90
저작자표시 비영리 변경금지