[ELK / term] 특정 값과 정확하게 일치하는 데이터를 조회하고 싶을 때
·
ElasticSearch
이번에는 지난번에 사용했던 match 키워드가 있던 자리에 term을 사용해보려고 한다. 이전 블로그에서 사용했던 쿼리를 다시 사용하기 위해 일단 스니펫을 적어두겠다.이전 코드와 다른게 있다면 이번에는 하나가 아닌 두개의 데이터를 타입을 정의하고 넣을것이다. 왜냐하면 term과 terms를 통해 하나 이상의 값이 일치하는 데이터를 조회하는 과정이기 때문이다. boards_id 와 categories 이렇게 두 개를 생성하고자 한다.DELETE /boardsPUT /boards{ "mappings": { "properties": { "boards_id" : { "type": "long" }, "categ..
[ELK / match] 검색 키워드가 포함된 데이터를 조회하고 싶을 때
·
ElasticSearch
검색을 할때 사용할 수 있는 속성은 match가 있습니다. match는 must와 함께 사용하고, text타입의 데이터를 조회text는 유연한 검색에 쓰이는데 must는 score에 영향을 주기 때문 must - score에 영향을 주므로 match 사용 - text 타입 조회filter - score에 영향을 주지 않으므로 term 또는 terms 사용 - text를 제외한 타입 조회 그럼 예시를 통해 확인해보자./boards라는 인덱스를 생성하기 전에 이전에 존재하는 boards를 삭제하고 새로 정의그리고 매핑을 정의한다. 매핑에는 title이라는 데이터를 생성하고 type은 text로 설정DELETE /boardsPUT /boards{ "mappings": { "properties..
데이터 분석을 위한 ElastiSearch의 Query
·
ElasticSearch
ElasticSearch에서 데이터를 추가하거나 삭제, 수정하는 과정에서는 다양한 과정이 거쳐진다. 여기서 다룰 것은 기본적인 CRUD 명령어와 내부 옵션에 대한 설명이다. 1. 인덱스 생성 / 삭제 인덱스 생성PUT /productsPUT /boardsPUT /products_reviews→ 새로운 인덱스를 생성 (테이블 생성과 유사).→ settings 와 mappings 지정 가능. 인덱스 삭제DELETE /productsDELETE /boards→ 인덱스를 완전히 삭제 (문서 + 매핑 모두 제거). 2. 매핑(Mapping) 정의 매핑 추가/수정PUT /products/_mappingPOST /products/_mapping→ 기존 인덱스에 필드 타입 정의 (단, 기존 필드 타입 변경은 불가) ..
[ElasticSearch] ElasticSearch 개념
·
ElasticSearch
ElasticSearchElasticSearch는 많은 데이터를 다루는 검색 엔진으로 고려할 만한 오픈소스 도구이다. ElasticSearch는 ELK 스택(ElasticSearch, Logstash, Kibana, 그리고 Beats)을 구성하는 주요 요소 중 하나로, 다양한 데이터 분석과 검색 작업에서 활용된다.ElasticSearch와 비교할 수 있는 다른 검색 및 데이터 관리 솔루션으로는 Solr, Splunk, MongoDB, 그리고 Cassandra 등이 있다. 이들 솔루션과 비교했을 때 ElasticSearch는 다음과 같은 강점을 가진다:빠른 실시간 검색: ElasticSearch는 검색 속도가 매우 빠르며 실시간 데이터 처리가 가능하다. 이는 Solr와 비슷한 검색 기능을 제공하지만, El..
[Logging] ElasticSearch와 Logstash, Kibana를 사용한 로그 모니터링
·
ElasticSearch
로깅의 필요성그동안 2번의 협업 프로젝트를 진행하면서 프로젝트에 대한 기능을 하나씩 완성해가며 잘 수행되는지 여부를 판단하기 위해서는 상태값과 잘 수행되어 데이터를 받았는지 뿐만 아니라 다양한 부분을 고려해봐야 한다. 내가 프로젝트를 수행하면서 로그로 필요했던 부분은 아래와 같았다.메서드 수행 시간받아오는 데이터와 반환되는 데이터request header, request bodyresponse header, response body, response status code로그 수행 중 변환되는 데이터 값에 대한 추적예외가 발생하는 위치 출력각 레이어 정상 작동 여부로그 수집이 필요한 이유우선 예를 들어 AWS EC2에 접근하여 우리가 저장해둔 로그를 콘솔이나 파일로 들어가서 확인한다고 하자.서버에는 이미 ..