나만의 데이터 분석 플랫폼 엘라스틱서치

나만의 데이터 분석 플랫폼 엘라스틱서치

부제 키바나와 함께하는 빅데이터 시스템 구축 및 데이터 시각화

저자 주정남

 

출간/배본가능일 2021년 03월 26일

정가 30,000원 

페이지 504

판형 크라운판 (173 * 230)

ISBN 979-11-6592-050-0 (93000)

 

책 소개 

엘라스틱서치의 데이터 시각화 도구인 키바나를 통해
나만의 데이터 분석 플랫폼을 구축해보자!

 

4차 산업 혁명의 핵심으로 많은 주목을 받고 있는 빅데이터를 이야기할 때 항상 화두가 되는 것은 빅데이터 플랫폼의 대표 주자인 하둡 에코 시스템이다. 하지만 최근 빠르게 하둡을 대체할 수 있는 플랫폼으로 엘라스틱서치가 주목받고 있다. 엘라스틱서치는 고속 검색 엔진을 기반으로 한 강력한 시각화 기능을 포함하고 있는데, 바로 엘라스틱서치의 숨은 조력자, 키바나이다.

이 책에서는 엘라스틱서치에 포함되어 배포되는 키바나에 관련된 내용을 다룬다. 또한 사용자가 키바나를 이용하여 마우스만으로도 데이터의 적재와 검색, 시각화를 위한 대시보드를 만들어 낼 수 있는 다양한 기능과 방법들을 담았다. 이 책을 읽은 여러분들이 엘라스틱서치와 키바나를 통해 고품질의 데이터 분석과 시각화를 할 수 있게 되길 바란다.

 

이 책의 특징 
- 엘라스틱서치를 빠르고 쉽게 활용할 수 있는 시각화 도구 키바나를 집중적으로 배운다.
- 데이터 분석가나 개발자의 도움 없이 데이터를 시각화하고 결과물을 응용할 수 있다.
- 마우스만으로 데이터를 적재하고 시각화 대시보드를 구성할 수 있는 방법을 제시한다.

 

이 책이 필요한 독자  
- 엘라스틱서치를 이용하여 데이터 분석 플랫폼을 구성해보고 싶은 분
- 보유 중인 업무 데이터(액셀, CSV)만으로 고품질의 대시보드를 만들어보고 싶은 분
- 운영 중인 시스템을 실시간으로 모니터링할 수 있는 오픈소스 플랫폼을 찾는 분

 

 

독자대상 
초중급 

소스코드 다운로드

 

github.com/bjpublic/elasticsearch

bjpublic/elasticsearch

 

 

저자 소개 

주정남 
2011년부터 관세청 수출입 적하 목록 취합 시스템 구축을 시작으로 관세청의 수출입 관련 업무 전문가이자 개발자로서 경험을 쌓았다. 2017년부터는 관세청의 빅데이터 분석 사업에 개발자로 투입되어 사업을 수행해왔고, 2019년부터는 역할을 확장하여 관세 데이터 분석가로서의 경험을 쌓고 있는 중이다.

지금은 케이씨넷에 근무하면서 성균관대학교 지능정보융합원 데이터사이언스융합학과 석사 과정을 병행하고 있다. 또한 블로그(http://blog.naver.com/xomyjoung) 및 유튜브(https://www.youtube.com/c/주차장TV)를 운영하며 엘라스틱서치를 포함한 다양한 분야를 공부하고 정리한 자료를 공유하고 있다.

2008~2010 이썸테크, 유통망 EDI 중계 시스템 개발 및 유지보수(신세계 I&C)
2010~2011 지프런티어, 웹 포털 사이트 구축 프로젝트 수행
2011~2017 케이씨넷, 관세청 수출입 적하 목록 취합 시스템 구축 및 유지보수
2017~2021 케이씨넷, 관세청 빅데이터 그래프 DB 기반 분석 사업 수행(FINDER 시스템 구축)
- 여행자 동행 관계 분석(금괴, 마약, 가짜 상품 등의 우범자)
- 체납자 관계 분석(우회수입 체납자)
- 적하 목록 연관관계 분석(우범업체와 일반업체 간)

 

목차

PART 01 엘라스틱서치(Elasticsearch) 소개
1 탄생 배경
2 엘라스틱서치 구성 및 소개 
2.1 엘라스틱서치 
2.2 로그스태시(Logstash)
2.3 비츠(Beats) 
2.4 키바나(Kibana)

PART 02 알고 가면 도움이 되는 엘라스틱서치의 API
1 집계합수(Aggregations)
2 검색 기능(Query DSL)
3 스크립트 코딩(Scripting)
4 매핑 API(Mapping API)

PART 03 데이터 분석 플랫폼 구축(Elasticsearch)
1 엘라스틱서치 환경 구축 
1.1 준비물 
1.2 설치 
2 키바나 환경 구축 
2.1 준비물 
2.2 설치 
3 엘라스틱서치 분산 환경 구축 
3.1 준비물 
3.2 설치 
4 로그스태시 환경 구축 
4.1 준비물 
4.2 설치 
5 비츠 환경 구축 
5.1 준비물 
5.2 설치 

PART 04 데이터를 적재하는 노하우
1 데이터 적재를 위한 준비 
2 파일 기반 적재 방법 
3 비츠 기반의 데이터 적재 
4 로그스태시 기반의 데이터 적재 
4.1 다양한 플러그인 
4.2 실습 환경 준비 
5 스프링 프레임워크 기반의 적재

PART 05 적재된 데이터의 확인 및 활용법
1 엘라스틱서치 데이터 점검 방법 
2 키바나의 인덱스 패턴 등록 
2.1 Fields 
2.2 Scripted fields 
2.3 Source filter 
3 데이터를 확인하는 방법 
3.1 메뉴영역 
4 데이터 속성을 점검하는 방법 
4.1 엘라스틱서치 데이터 적재 전에 인덱스를 꼭 만들어라 
4.2 인덱스 자동생성 시 Field별 데이터 타입 확인은 필수 
5 GIS 속성을 사용하는 방법(Geo Point) 
5.1 알고 넘어가기 
5.2 인덱스 준비 
5.3 데이터 준비 
5.4 인덱스 데이터 적재 결과 확인 
5.5 지도 시각화

PART 06 키바나의 강력한 시각화 기능
1 공통 메뉴 
2 Discover 
2.1 조회 기간 설정 
2.2 Search(키워드 검색) 
2.3 Filter(Field별 필터 적용) 
2.4 Index 선택 기능 
2.5 Field 목록 
2.6 시계열 차트 
2.7 데이터 목록 조회 기능 
3 Visualization 
3.1 Lens(Beta) 
3.2 Area 
3.3 Controls(인큐베이팅) 
3.4 Data Table 
3.5 Gauge 
3.6 Goal 
3.7 Heat Map 
3.8 Horizontal Bar 
3.9 Line 
3.10 Maps 
3.11 Markdown 
3.12 Metric 
3.13 Pie 
3.14 Tag Cloud 
3.15 Timelion 
3.16 Vega 
3.16.1 Vertical Bar 
3.17 TSVB 
4 Dashboard 
5 Canvas 
6 Maps 
7 Machine Learning 
8 Metric 
9 Logs 
10 APM 
11 Uptime 
12 SIEM 
13 Dev Tools 
14 Monitoring 
15 Management 

PART 07 키바나의 시각화 결과를 내 시스템에 적용 
1 시각화 기능 임베디드(Export) 
1.1 키바나의 시각화 기능 내보내기 
1.2 외부로 가져온 대시보드 활용 방법 
2 Nginx를 이용한 무인증 키바나 환경 구축

PART 08 적용 사례와 활용 아이디어 소개
1 엘라스틱서치 도입 시 참고할 내용 
2 국내 수출/입 공급망 패턴 분석 사례 
3 데이터 품질 확인을 위한 키바나 활용법 
4 JAVA에서 대시보드를 자동 생성하는 방법(Import/Export)

 

 

출판사 리뷰

엘라스틱서치에 곁들여 배포되는 키바나는 사용자의 편의성을 최대치로 끌어올려 매우 편리한 UI가 특장점인 시각화 플랫폼이다. 키바나 사용자는 키보드를 두드리는 일보다 마우스를 조작하는 일이 더 많다. 엘라스틱서치를 접하는 분들은 데이터 수집 과정에서 반드시 소스 코딩을 해야 한다. 하지만 개인용으로 활용하면서 자신의 데이터를 시각화하는 일에는 마우스 조작만으로도 다채로운 결과를 얻으리라 생각한다.

만일 데이터 분석이 꼭 필요한 일이 생긴다면, 별도의 분석 사업을 수행하든가 시스템을 개편하여 요청에 의해 데이터 분석을 수행해야 할 것이다. 하지만 엘라스틱서치의 쉬운 사용법을 익혀 데이터를 적재하고 시각화해내는 능력을 획득한다면, 앞으로 데이터를 바라보는 시각이나 활용도를 넓히게 될 것이다. 이 책을 통해 많은 분이 데이터 분석과 시각화에 한걸음 더 가까이 다가가길 바란다