Dahum Library/ELK Stack
-
[ELK Stack] Logstash의 특성과 용도Dahum Library/ELK Stack 2020. 1. 8. 16:23
es의 기본적인 이해를 위한 정리는 이쯤 해두고 ELK Stack에서 L에 해당하는 Logstash에 대해서 이야기 해보려고 한다. 우선 앞서 여러번 언급했다싶이 es는 검색엔진 외에도 다양한 데이터소스들이 만들어내는 로그분석시스템으로도 많이 쓰인다. 개인적으론 처음 es를 접했을 때는 검색엔진에대한 이해가 아예 없었어서 이게 그냥 원본 데이터소스(DB같은)에 연동해놓으면 그 안에서 형태소 분석을 하든 뭘 하든 해서 검색을 하는건줄 알았다.(그런것도 있긴 있나..?) 혹은 아예 es가 데이터소스의 역할까지 하는건줄 알았다. (그런 경우도 분명 있다.) 하지만 es의 자체 데이터 보관소인 index는 말그대로 '검색용' 스토리지로 사용될 때가 많고 대부분의 경우 이 스토리지를 별도의 데이터소스와 연동하여 ..
-
[ELK Stack] 검색엔진으로서의 Elasticsearch의 특성-2Dahum Library/ELK Stack 2020. 1. 2. 01:29
1편에 이어서 검색엔진으로서의 Elasticsearch에 대해서 더 얘기해보려고 한다. 내가 생각하는 Elasticsearch이 검색엔진으로 기능하는데 강력하게 작용하는 특성은 아래의 세가지였다. 비정형 데이터를 자유롭게 색인 가능 고성능의 전문검색 지원 강력한 분산 관리/검색 기능 이전편에서 1,2번에 대해서 이야기했고 이번글에서는 3번에 대해서 이야기하려고 한다. 이전글 : [ELK Stack] 검색엔진으로서의 Elasticsearch의 특성-1 사실 앞의 2가지 특성은 모두 es만의 특성이라기에 애매한 부분이 있다. 1번은 결국 비관계형DB구조라는 것이고, 2번째는 es의 베이스가되는 Apache Lucene에 대한 이야기기 때문이다. 하지만 3번 es의 분산시스템에 대한 특성이야말로 es가 강력한..
-
[ELK Stack] 검색엔진으로서의 Elasticsearch의 특성-1Dahum Library/ELK Stack 2019. 12. 29. 12:57
이 블로그의 제 1독자는 나 자신이기 때문에 내게 필요하지 않은 내용들은 기술되지 않을 수 있음. 내가 직/간접적으로 본 ES의 주 용도는 검색엔진보다도 로그와 같은 비정형 데이터들을 모니터링하고 분석하는 시스템이었다. 이는 크게 ES의 주요한 특징 3가지 때문이라고 본다. 비정형 데이터를 자유롭게 색인 가능 고성능의 전문검색 지원 강력한 분산 관리/검색 기능 --> 이건 다음편에서 설명 1번 내용은 말 그대로 요즘 심심치않게 볼 수 있는 Non-RDBMS라는 이야기다. 로그 특성상 어느 소스에서 어떤 형태로 들어올지 모르기 때문에 RDB보다는 Non-RDB가 용이하다. ES는 Document를 JSON형태로 관리한다. 2번은 실상 Lucene의 특성이다. ES는 Apache Lucene기반으로 만들어졌..
-
[ELK Stack] ELK활용하여 검색엔진 만들기-introDahum Library/ELK Stack 2019. 12. 28. 19:44
ELK Stack을 이용하여 검색엔진을 만드는 작업을 했다. 경험도 없고 하나도 모르는 상태에서 시작한 일이라 혼자서 너무너무 삽질을 많이했다. (기본적으로 내 실력도 너무 보잘것 없었고...) 작업이 끝난 지금, 버전이 너무나도 빨리 바뀌고 수많은 기능들이 생기고 사라지는 이새끼를 가지고 나처럼 삽질하고 있을 초보들 그리고 미래의 나를 위해서 공부했던 것들을 좀 정리할까한다. 우선 내가 사용했던 ELK 제품을 포함한 개발 환경은 Elasticsearch 7.3.0 | 7.3.2 Logstash 7.3.0 | 7.3.2 Java 1.8.0_212 InjelliJ Ultimate 2019.3 CentOS 7 Spring Boot 2.1.7 Groovy 2.3.11 Tomcat 8.0.53 Postgresq..