분산메모리 기술 적용, 높은 생산성과 운영 효율성 보장

 

▲ 데이터스트림즈 '테라원(TeraONE)'

[컴퓨터월드] 데이터스트림즈의 ‘테라원(TeraONE)’은 빅데이터와 RDBMS를 동시에 처리할 수 있는 아키텍처로 구현된 제품으로, 전통적인 SQL기술과 ETL, CDC, OLAP 기술에 실시간 빅데이터와 거버넌스 기술을 종합적으로 구성한 원스톱(One-Stop) 플랫폼이다.

다양한 데이터를 쉽고 빠르게 수집/저장하는 분산메모리 기술을 적용한 순수 국산 솔루션으로, 사용자 친화적인 GUI를 적용한 분석 스케줄 관리, 분석처리 프로그램 개발, 인프라의 통합 운영 및 모니터링 기능을 제공함으로써 높은 생산성과 운영 효율성을 보장한다. 데이터 라이프 사이클 관리는 물론, 고품질의 분석 결과를 보장하는 데이터 거버넌스 생태계를 구축함으로써 양질의 데이터를 유지하고 분석의 신뢰성을 향상시킬 수 있다.

▲ '테라원' 아키텍처

‘테라원’의 주요 기능

1. 모니터링
- 대시보드(Dashboard) 형태의 모니터링 환경을 통해 name node 및 data node 시스템 정보 제공
- Map / Reduce 작업 개수 및 프로그램 성공/ 실패 정보 제공
- 에코시스템(Ecosystem) 진행 상황 모니터링
- 오퍼레이션 리포트 기능
- 로그/ 이벤트 추적

▲ 1. 모니터링

2. ETL WEB 뷰어
- 웹 브라우저를 통해 ETL 프로그램 수행 및 결과 모니터링 제공
- 작업 성공/실패 유무 관리
- 프로젝트 장애 메시지 제공
- 프로젝트 입/출력 정보 제공 등

▲ 2. ETL WEB 뷰어

3. HIVE 쿼리 브라우저
- HIVE 쿼리 브라우저(Query Browser)를 이용해 HIVE 쿼리 스키마 정보 및 데이터 조회
- 테이블 생성 및 인덱싱(Indexing) 정보 제공

▲ 3. HIVE 쿼리 브라우저

4, 하둡 파일 브라우저(Hadoop File Browser)
- 하둡 디렉토리 관리
- 폴더 생성, 파일명 변경, 복사, 잘라내기, 삭제 기능 등 제공
- 길이 기준으로 파일 보기 기능 제공

▲ 4, 하둡 파일 브라우저(Hadoop File Browser)

5. GUI를 통한 Map/Reduce 구현
- 입/출력 경로 선택을 통한 프로그램 구현
- 로컬(Local)작업 시 일반 프로그램 수행
- 하둡 선택 시 M/R 프로그램을 플랫폼에서 자동생성 수행

▲ 5. GUI를 통한 Map/Reduce 구현

6. HDFS 전송 기능
- 로컬 SAM ↔ 하둡, SQL on Hadoop , RDBMS 데이터를 추출, 병렬 전송 적재하는 기능

▲ 6. HDFS 전송 기능

7. 스케줄링 기능
- 내부 스케줄링을 통한 년/월/일/시/분/초 단위의 배치 스케줄링 기능 제공

▲ 7. 스케줄링 기능

8. GUI 워크플로우
- GUI 워크플로우(Workflow)를 통한 하둡 데이터 간의 연계 기능 제공(성공/ 실패/ 완료)

▲ 8. GUI 워크플로우

9. R 스튜디오(R Studio) 연계 분석
- 데이터 분석 오픈 소스(Open source)인 R을 통한 군집, 상관, 기술 통계 분석 제공
- R 스튜디오(R Studio)를 통한 개발의 편의성 제공

▲ 9. R 스튜디오(R Studio) 연계 분석

 

테라원의 특장점
1. 분산 메모리 기반 실시간 데이터 통합 아키텍처 제공
- 다양한 데이터를 쉽고 빠르게 수집, 저장하는 분산 메모리 기술을 적용해 초기 도입 비용을 최소화한 고성능, 고효율의 빅데이터 통합 아키텍처 제공

2. 통합 데이터 거버넌스 체계 확립
- ‘테라원’의 거버넌스 체계를 통해 수집된 데이터(실시간/배치, 정형/비정형)의 품질을 개선해 양질의 데이터로 분석의 신뢰성 향상

3. 통합 GUI를 적용한 사용의 용이성, 운영 효율성 제공
- 사용자 친화적인 GUI를 적용한 분석 스케줄 관리, 분산 처리 프로그램 개발, 인프라의 통합 운영 및 모니터링 기능을 제공해 높은 생산성과 운영 효율성 제공

4. 분석 데이터 증가에 따른 확장 용이성 제공
- 수집된 데이터는 메모리 클러스터와 HDFS에 저장돼 대용량 데이터 처리 시 높은 성능과 스케일 아웃(Scale-out) 구조로 우수한 노드 확장성 제공

저작권자 © 아이티데일리 무단전재 및 재배포 금지