User Tools

Site Tools


public:iris_etl

Home / Solutions & Products / IRIS Big Data Platform / IRIS ETL

제품개요

IRIS ETL은 정형, 반정형, 비정형 데이터를 수집, GUI기반의 전처리, 빅데이터 저장소로 고속 로딩 등 ETL(Extract, Transform and Load)의 주요 기능을 제공합니다.


IRIS ETL Architecture

  • 데이터 처리 프로세스의 유연한 확장과 신속한 장애복구 대응이 가능한 프레임 워크 구조로 구축하였습니다.

IRIS ETL 주요기능 및 특징

  • 분산수집 구조로 시스템 확장이 용이
  • Rule 기반 재처리 자동화를 통한 완벽한 손실 방지
  • 다양한 데이터 형식 / 프로토콜 지원, 실시간 / 배치처리 지원
  • 설정 정보 암호화를 통한 시스템의 위 변조 방지
  • 재사용이 가능한 컴포넌트 구조

IRIS ETL 프로세스

※ 순서: ① → ② → ③

① 메뉴얼화된 설정 정보로 ETL Job 수행을 구성하는 모델링 작업 수행 → ② ETL 서버에서는 모니터링 및 통계정보를 제공하며, Job 스케줄링과 프로세스 배치 → ③ ETL 컴포넌트에서 프로세스관리, Job 수행결과 보고, 리소스 현황 보고 제공


IRIS ETL GUI 화면

ETL Job 생성 / 테스트 / 빌드

* 사용자가 Job을 설계하고 빌드 가능한 환경 제공

데이터 변환

* GUI환경에서 데이터 가공과 처리가 가능한 환경 제공

ETL 모니터링 기능

* 데이터 적재상태를 확인 할 수 있는 모니터링 화면 제공

Traffic 처리현황 상세

* 시계열 차트로 상태정보를 상세하게 파악할 수 있는 화면 제공


IRIS ETL 관리 및 유지보수

  • 데이터 백업 (BACKUP): 기본 백업 주기 설정으로 적재 작업 전,후 분단위 부터 주단위까지 설정 가능
  • 데이터 삭제 (DELETE): 주기적으로 수집부터 처리, 적재 과정에서 발생되는 임시 파일은 삭제되며 7일 동안 보관

적용분야

  • 이동통신망의 패킷 분석 Log 에 대하여 사용자 관련 분석 데이터를 ETL 시스템에서 전처리
  • 데이터 가공을 위한 사용자 정의 데이터 변환 (In-Memory DB 기반 Data Look-up)
  • 모바일 앱 분석을 위한 데이터 전처리 및 적재

주요레퍼런스

  • 이동통신업체 데이터 전처리 및 적재
  • Finance 분야 로그 데이터 적재 및 변환
  • 공공데이터 적재 및 변환
  • 전력 데이터 적재 및 변환
public/iris_etl.txt · Last modified: 2019/04/18 17:21 by assui