User Tools

Site Tools


public:iris_etl_tools

제품개요 및 특성

IRIS ETL은 정형, 반정형, 비정형 데이터를 수집, GUI기반의 전처리, 빅데이터 저장소로 고속 로딩 등 ETL(Extract, Transform and Load)의 주요 기능을 제공합니다.


IRIS ETL Architecture

  • 데이터 처리 프로세스의 유연한 확장과 신속한 장애복구 대응이 가능한 프레임 워크 구조로 구축하였습니다.

주요 제품 기능

(1) EDA 기반 안정적 처리 프레임워크 제공

  • IRIS ETL은 이벤트 정의 구조의 ETL 프로세스로 각각의 프로세스 모듈인 수집/변환/적재 프로세스의 독립적 이벤트 관리가 가능하며, 프로세스의 실시간 모니터링 및 시작, 종료, 재시작을 통제 합니다.
  • 프로세스 노드의 비정상 종료시 Event Flow가 자동 재실행하여, 종료되기 전 I/O를 복구하여 재 실행된 프로세스 노드로 재전달하여 프로세스 장애에 대응합니다.

☜ Event Flow I/O 처리 흐름도

(2) ETL 프로세스의 Scale-Out 분산 확장 기능

  • IRIS ETL은 시스템 커널 레벨의 표준 스트림 데이터 신호 처리를 수행하며, MQ (Message Queue) 기반의 ETL 프로세스 이벤트 관리를 통해 프로세스의 출력을 다른 여러 프로세스로 분산 처리 가능하여 쉽고 간편한 ETL 프로세스의 Scale-Out 분산 확장 기능을 제공합니다.

☜ ETL 프로세스 Scale-Out 확장 처리 개념도

(3) ETL 프로세스 이벤트 확장 구성 모델

  • IRIS ETL서버의 프로세스 I/O를 관리하여 부하 분산 및 데이터 중복 제어를 위한 Flow Control 기반 분산 처리를 제공합니다.
  • Sharing Model은 큐 메시지를 중복 없이 다음 프로세스로 전달하며, 같은 큐 내에서 입/출력 순서를 보장하고, 서로 다른 큐 내에서의 입/출력 순서는 처리 순서에 의해 결정되고, 주로 여러 이벤트를 동일한 여러 작업으로 분산하여 수행하거나 자동 절체(Fail Over)로 수행할 때 사용됩니다.

☜ Sharing Mode 이벤트 처리

  • Broadcasting Model은 큐 메시지(처리 이벤트)를 연결된 모든 노드(프로세스)로 중복되어 전달하며, 같은 큐 내에서 입/출력 순서를 보장하고, Sharing 모드와 Broadcast 모드를 혼합하여 사용 가능하며, 주로 하나의 이벤트를 종류가 다른 여러 작업으로 나누어 병렬 수행할 때 사용됩니다.

☜ Broadcasting Mode 이벤트 처리

(4) ETL Job 모니터링

  • IRIS ETL은 GUI 환경에서의 ETL 프로세스 관리 및 데이터 변환(가공, 처리)를 위한 개발 환경을 제공합니다. ETL 프로세스의 Job을 설계하고, 실행파일 빌드 가능한 IDE 환경과 ETL 작업 수행을 위한 프로세스 단위 컴포넌트 개발 및 조합을 지원하며, 다양한 컴포넌트를 지원하고, 사용자 정의 함수 및 정규표현을 지원한다. 장애 및 오류 발생 시 재처리 프로세스 설계 지원 및 GUI 환경에서 ETL Job 테스트 및 디버깅을 제공합니다.

☜ ETL JOB 생성 IDE 화면

☜ ETL 데이터 변환 작업 화면

(5) ETL 처리 전 과정의 상태 확인 및 이력 정보 관리 기술

  • Collector별 데이터 적재 상태 확인하기 위한 적재 요청 및 완료 레코드 수 확인, 수집기 별 진행률, 적재 실패 알람 정보를 표기 합니다. 과거이력 조회 기능을 통해 기간별 ETL 처리 결과 이력 조회 및 특정 수집기의 상세정보 확인 할 수 있습니다.
  • ETL 처리 상태 트렌드 모니터링 기능을 통해 시계열 차트로 적재상태 정보 제공 및 요청 건에 대한 처리 비율 확인 기능을 제공하며, 시스템 레벨 모니터링 기능을 통해 모든 프로세스의 상태 정보, 수집 파일 목록, 수집 이력 및 경로, 수집 파일 상세 정, ETL 프로세스의 이벤트 입출력 내역, 시스템 로그 관리 기능을 제공합니다.

☜ IRIS ETL 데이터 수집 상태 모니터링 화면 예시

(6) 관리 및 유지보수

  • IRIS ETL은 관리 포인트를 세분화하여 분단위부터 주단위까지의 유연한 설정을 통한 백업 및 삭제 관리를 지원합니다.
    • 데이터 백업은 IRIS ETL 상태 DB를 HA호스트에 백업 후 ETL 장애시 상태를 회복 할 수 있도록 합니다.
    • 데이터 삭제는 주기적 수집/전처리/적재 과정에서 발생되는 임시 파일 삭제 기능 및 반복적 적재 작업에 따른 ETL Status DB크기 증가 방지를 위한 삭제를 제공합니다.

☜ IRIS ETL 관리화면 예시 – 트래픽 처리현황 상세


public/iris_etl_tools.txt · Last modified: 2021/02/23 11:28 by jhnam

Backlinks to this page
  • public:모비젠-홈페이지-콘텐츠