User Tools

Site Tools


public:iris_etl

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
public:iris_etl [2019/03/15 17:54]
jhnam [IRIS ETL GUI 화면]
public:iris_etl [2019/04/18 17:21] (current)
assui [IRIS ETL GUI 화면]
Line 1: Line 1:
 {{:​public:​icon_home2.png?​nolink&​13|}}<​wrap lo> ​ Home / Solutions & Products / IRIS Big Data Platform / [[IRIS ETL]]</​wrap>​ {{:​public:​icon_home2.png?​nolink&​13|}}<​wrap lo> ​ Home / Solutions & Products / IRIS Big Data Platform / [[IRIS ETL]]</​wrap>​
  
-{{:​public:​pasted:​20181127-161142.png}}+{{:​public:​pasted:​20190417-173942.png?nolink}}
  
-==== 제품개요 ====+===== 제품개요 ​=====
  
 IRIS ETL은 정형, 반정형, 비정형 데이터를 수집, GUI기반의 전처리, 빅데이터 저장소로 고속 로딩 등 ETL(Extract,​ Transform and Load)의 주요 기능을 제공합니다. IRIS ETL은 정형, 반정형, 비정형 데이터를 수집, GUI기반의 전처리, 빅데이터 저장소로 고속 로딩 등 ETL(Extract,​ Transform and Load)의 주요 기능을 제공합니다.
Line 10: Line 10:
  
 ---- ----
-==== IRIS ETL 특징 ====+ 
 +=== IRIS ETL Architecture === 
 + 
 +{{:​public:​pasted:​20190318-170317.png}} 
 + 
 +  * 데이터 처리 프로세스의 유연한 확장과 신속한 장애복구 대응이 가능한 프레임 워크 구조로 구축하였습니다. 
 + 
 +---- 
 +===== IRIS ETL 주요기능 및 특징 ====
 + 
 + 
 +{{:​public:​pasted:​20190329-152447.png}}
  
   * 분산수집 구조로 시스템 확장이 용이   * 분산수집 구조로 시스템 확장이 용이
Line 16: Line 27:
   * 다양한 데이터 형식 / 프로토콜 지원, 실시간 / 배치처리 지원   * 다양한 데이터 형식 / 프로토콜 지원, 실시간 / 배치처리 지원
   * 설정 정보 암호화를 통한 시스템의 위 변조 방지   * 설정 정보 암호화를 통한 시스템의 위 변조 방지
 +  * 재사용이 가능한 컴포넌트 구조
  
-{{ :​public:​pasted:​20190312-133628.png }} 
  
 ---- ----
 ==== IRIS ETL 프로세스 ==== ==== IRIS ETL 프로세스 ====
  
-  * 1. 메뉴얼화된 설정 정보로 ETL Job 수행을 구성하는 모델링 작업 수행 +※ 순: ① -> ② -> ③
-  * 2. ETL 버에서는 모니터링 및 통계정보를 제공하며,​ Job 스케줄링과 프로세스 배치 +
-  * 3. ETL 컴포넌트에서 프로세스관리,​ Job 수행결과 보고, 리소스 현황 보고 제공 +
 {{ :​public:​pasted:​20190312-141402.png?​600 }} {{ :​public:​pasted:​20190312-141402.png?​600 }}
 +
 +① 메뉴얼화된 설정 정보로 ETL Job 수행을 구성하는 모델링 작업 수행 → ② ETL 서버에서는 모니터링 및 통계정보를 제공하며,​ Job 스케줄링과 프로세스 배치 → ③ ETL 컴포넌트에서 프로세스관리,​ Job 수행결과 보고, 리소스 현황 보고 제공
  
 ---- ----
 ==== IRIS ETL GUI 화면 ==== ==== IRIS ETL GUI 화면 ====
  
-=== ETL Job 생성 / 테스트 / 빌드 ​↓ ===+<WRAP group>  
 +<WRAP half column>​ 
 +=== ETL Job 생성 / 테스트 / 빌드 === 
 +{{:​public:​pasted:​20190312-143905.png?​nolink}} 
 +* 사용자가 Job을 설계하고 빌드 가능한 환경 제공 
 +</​WRAP>​
  
-{{:​public:​pasted:​20190312-143905.png?400}}+<WRAP half column>​ 
 +=== 데이터 변환 === 
 +{{:​public:​pasted:​20190312-143914.png?nolink}} 
 +* GUI환경에서 데이터 가공과 처리가 가능한 환경 제공 
 +</​WRAP>​ 
 +</​WRAP>​
  
-  * 사용자가 Job을 설계하고 빌드 가한 환경 ​제공+<WRAP group>  
 +<WRAP half column>​ 
 +=== ETL 모니터링 기능 === 
 +{{:​public:​pasted:​20190312-144025.png?​nolink}} 
 +* 데이터 적재상태를 확인 할 수 있는 모니터링 화면 ​제공 
 +</​WRAP>​
  
 +<WRAP half column>
 +=== Traffic 처리현황 상세 ===
 +{{:​public:​pasted:​20190312-144130.png?​nolink}}
 +* 시계열 차트로 상태정보를 상세하게 파악할 수 있는 화면 제공
 +</​WRAP>​
 +</​WRAP>​
 ---- ----
  
-=== 데이터 변환 ↓ ===+==== IRIS ETL 관리 및 유지보수 ====
  
-{{:​public:​pasted:20190312-143914.png?​400}} +  * 데이터 백업 (BACKUP)기본 백업 주기 설정으로 적재 작업 전,후 분단위 부터 주단위까지 설정 가능 
- +  * 데이터 ​삭제 (DELETE): 주기적으로 수집부터 ​처리, 적재 과정에서 발생되는 임시 파일은 삭되며 7일 동안 보관
-  * GUI환경에서 ​데이터 ​가공과 ​처리가 가능한 환경 ​+
  
 ---- ----
  
-=== ETL 모니터링 기능 ↓ ===+===== 적용분야 =====
  
-{{:​public:​pasted:​20190312-144025.png?​400}} +  * 이동통신망의 패킷 분석 Log 에 대하여 사용자 관련 분석 데이터를 ETL 시스템에서 전처리 
- +  * 데이터 가공을 위한 사용자 정의 데이터 변환 (In-Memory DB 기반 Data Look-up) 
- +  * 모바일 앱 분석을 위한 ​데이터 ​전처리 및 적재
-  * 데이터 적재상태를 확인 할 수 있는 모니터링 화면 제공+
  
 ---- ----
  
-=== Traffic 처리현황 상세 ↓ === +===== 주요레퍼런스 ​=====
- +
-{{:​public:​pasted:​20190312-144130.png?​400}} +
- +
-  * 시계열 차트로 상태정보를 상세하게 파악할 수 있는 화면 제공 +
- +
----- +
- +
-==== IRIS ETL 관리 및 유지보수 ==== +
- +
-  * 데이터 백업 (BACKUP): 기본 백업 주기 설정으로 적재 작업 전,후 분단위 부터 주단위까지 설정 가능 +
-  * 데이터 삭제 (DELETE): 주기적으로 수집부터 처리, 적재 과정에서 발생되는 임시 파일은 삭제되며 7일 동안 보관 +
- +
-----+
  
 +  * 이동통신업체 데이터 전처리 및 적재
 +  * Finance 분야 로그 데이터 적재 및 변환
 +  * 공공데이터 적재 및 변환
 +  * 전력 데이터 적재 및 변환
public/iris_etl.1552640059.txt.gz · Last modified: 2019/03/15 17:54 by jhnam