public:대용량_데이터_아이리스
This is an old revision of the document!
대용량 데이터 인 경우 이슈
분석 과정 : 데이터 모델 생성
- IRIS DB 테이블 선택 시 데이터모델 생성 옵션으로 partition구분일 기준 컬럼이 보이게 선택할 수 있게 한다.
분석 과정 : 검색 메뉴 에서 데이터 모델 선택과 시간범위 설정
- 데이터 모델 중 partition구분일 기준 컬럼이 visible 로 선택된 데이터 모델은 데이터가 입력된 가장 최근 partition 이름과 단위(60분,1분 등) 이 보이게 한다.
- 시간 설정 탭에서 가장 최근 partition 이름과 단위를 기준으로 시간이 설정되기 추가
대용량 데이터 인 경우 방안
샘플링
- 검색 브라우저나 필드별 TOP-10 을 볼 때, 정확한 데이터가 아니라 샘플링으로 대략의 분포를 빠르게 볼 수 있게 한다.
- 주석이나 팝업창, 툴팁 등으로 대용량 데이터의 경우 N-% 샘플링한 표본에서 구한 결과라고 명시한다.
- 샘플링이 적용되는 데이터모델의 기준(파티션 갯수, 시간 범위, 초기 설정값)을 만들고, 옵션에서 해제하기 제공
- 시간 범위 지정 시 파티션 수가 많으면 자동으로 샘플링 한도를 정해서 반응 속도가 너무 느리지 않게…
- 옵션으로 검색 메뉴의 이벤트 수 시계열 챠트를 안 그릴 수 있도록 하는 방안도 필요해 보임
테이블 간 join / 데이터모델 간 merge 등 처리 : 시간 범위를 지정하는 옵션
- join , merge 등으로 2개 이상의 데이터 모델, 테이블 데이터를 가져와야 할 때 미리 시간 범위를 지정한다.
- 이 때 시간 범위는 partition 단위 참조한다.
public/대용량_데이터_아이리스.1533886525.txt.gz · Last modified: 2018/08/10 16:35 by jhnam