일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- 카프카
- Kafka
- Elk
- coursera
- gradle
- Elasticsearch
- spring-cloud-stream
- spring-kafka
- statestore
- reactive
- enablekafkastreams
- kafka streams
- scala
- confluent
- 한빛미디어
- springboot
- Slick
- Logstash
- play framework
- 플레이 프레임워크
- spring-batch
- RabbitMQ
- schema registry
- kafkastreams
- avo
- scala 2.10
- aws
- kafka interactive query
- kafkastream
- Spring
- Today
- Total
목록Elasticsearch (4)
b
문서 : https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-update-settings.html Cluster update settings API | Elasticsearch Reference [7.5] | Elastic Updates cluster-wide settings. With specifications in the request body, this API call can update cluster settings. Updates to settings can be persistent, meaning they apply across restarts, or transient, where they don’t survive a..
결론부터 얘기하면, 아직은 못쓰겠다. 정확히 말하면 쉽게 사용 가능하지만, 이걸 메인 모니터링으로 사용하기에는 메트릭 종류가 너무 적다 RabbitMQ는 다양한 플러그인을 가지고 있고, 위의 화면처럼 기본적인 모니터링 화면도 제공하고 있다. 하지만 매번, 해당 UI 에 접근한다는 점이 불편했고, 메트릭 수치가 현재것만 볼 수 있다는 점, 그리고 alert/watch 기능을 제공하지 않는 점이 불편해서 다른 모니터링이 필요하였다. (지금에서야 고민하는 이유는... 이 시스템이 담당자가 없고, 모니터링이 없었다. 그래서 오늘 해야겟다고 마음 먹었다) 팀내에서 사용하고 있는 모니터링은 메인 스트림은 Promethus + Grafna / ELK 이다. 이중에서 간편하고 전체 플랫폼을 내가 직접 관리하고 있는 E..
엘라스틱 커뮤니케이서 본 글 ( https://www.facebook.com/groups/elasticsearch.kr/permalink/2277648678987626/ ) random-score로 특정 문서 몇개를 추출 하는 방법에 대한 고민이다. { "size": 1, "_source" : "type", "query": { "function_score": { "random_score": {}, "query": { "bool": { "must_not": { "term" :{ "type": "APPROVAL_REQUESTED" } } } } } } } 이렇게 하여 랜덤으로 문서 1개를 뽑을 수 있을 것 같았다. 하지만 must_not 은 score 를 항상 0 점으로 반환하므로 거기에 random sco..
logstash 에는 이미 kafka input 모듈이 있기 때문에 쉽게 카프카 메시지를 엘라스틱에 저장할 수 있다. ( https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html )몇가지 주의할 점 1) 주문번호등을 Partition Key로 이용할 경우에, 데이터가 어느 파티션에 들어가 있는지, Offset은 얼마인지도 중요한 디버깅 요소가 된다. 이러한 데이터도 함께 elasticsearch 에 넣으려면 add_field를 이용한다. 우선 input 쪽에 아래의 설정을 추가하여 메타 정보를 사용할 수 있게 한다input {kafka {decoreate_events => true}} 그리고 filter 영역에 아래처럼 추가하여..