본문 바로가기

로그수집

엘라스틱서치(ELK)로 만드는 모니터링 시스템; 3. Filebeat- App Log수집 엘라스틱서치(ELK)로 만드는 모니터링 시스템1. Elasticsearch, Kibana2. Metricbeat - 시스템관리3. Filebeat - App Log수집4. Logstash - 통합, 운영 3. 파이썬 프로그램 LoggingELK는 PostgreSQL서버와 같은 시스템 모니터링에도 유용하지만, 개발 프로그램의 로그 모니터링에 더 유용한 검색엔진이다. 시계열 기반의 메트릭 정보는 대부분 수치로 이루어진 정형적인 정보이어서, Elasticsearch가 시계열 DB보다 성능이 떨어질 수 있는데, 로그는 글자로 이루어진 비정형 데이터를 기반으로 모니터링을 하기 때문에 검색엔진 Lucene기반의 ELK가 더 나은 분석 결과를 얻을 수 있다. 그래도 성능을 위해 Filebeat의 processors를.. 더보기
엘라스틱서치(ELK)로 만드는 모니터링 시스템; 2. Metricbeat- 시스템관리 엘라스틱서치(ELK)로 만드는 모니터링 시스템1. Elasticsearch, Kibana2. Metricbeat - 시스템관리3. Filebeat - App Log수집4. Logstash - 통합, 운영 2. Beats; 경량 데이터 수집기Elasticsearch와 Kibana를 체험했으면 이제 실제 모니터링 데이터를 넣을 차례이다. ELK에서 모니터링 정보는 Beats를 통해 쉽게 수집할 수 있고, Agent나 Logstash를 이용해 수집하는 것도 가능하다. Logstash는 Beats로 수집된 정보를 변환하거나 데이터 버퍼를 사용해 부하를 조절할 수 있어 Beats와 함께 사용하기도 한다. 최근에는 여러 개의 Beats를 쓰기보다 Elastic Agent를 각각 모니터링 대상 프로그램에 설치하는 것.. 더보기
엘라스틱서치(ELK)로 만드는 모니터링 시스템; 1. Elasticsearch, Kibana 엘라스틱서치(ELK)로 만드는 모니터링 시스템1. Elasticsearch, Kibana2. Meticbeat - 시스템관리3. Filebeat - App Log수집4. Logstash - 통합, 운영 0. 엘라스틱서치 (Elasticsearch)구글이 검색엔진을 발표한 이듬해인 1999년에 Lucene이 최초로 공개되었고, 2001년에 검색엔진을 Java로 재개발된 후, 2005년에 아파치 프로젝트에 합류하게 된다. 하지만, 구글이 큰 성공을 거둔 것과 달리 Lucene 검색엔진은 인기를 끌지 못했다. 생각해 보면, 검색에 대한 개발 요구사항을 맞추기 위해 어려운 Lucene을 설치하고 개발에 적용하기보다, 간단하게 RDB의 비정형 검색기능을 사용하는 방식을 더 선호했기 때문에, Lucene 검색엔진이.. 더보기