Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- play framework
- Elasticsearch
- 카프카
- Logstash
- gradle
- enablekafkastreams
- reactive
- scala 2.10
- spring-batch
- confluent
- Elk
- coursera
- springboot
- Kafka
- Spring
- avo
- schema registry
- RabbitMQ
- spring-kafka
- kafka interactive query
- kafka streams
- scala
- 플레이 프레임워크
- Slick
- spring-cloud-stream
- 한빛미디어
- aws
- kafkastream
- statestore
- kafkastreams
Archives
- Today
- Total
목록High Availability (1)
b
kafka stream의 fail-over & high-availability
18/01/30 idea 카프카 자체의 data recovery는 훌륭하다. 당연한게 파일로 저장하고 심지어 여러 셋트로 저장한다. 유실되는 경우는 저장 기간을 넘기거나, 1개의 IDC에만 설치한 후 IDC가 물에 잠기는 방법 뿐이다. 이건 다 아는 얘기고, 문제는 이 kafka 를 기반으로 한 streams 를 서비스 할 때이다. 1. Kafka는 기본적으로 1 개의 TopicPartion 에서 1 개의 Consumer Group의 노드가 접속 한다.2. Kafka Topic은 KStream/KTsble/StateStore 등을 통해서 각각의 topic-partition을 local DB에 싱크를 맞춘후 materilized 한다 (비동기/latency 존재) 우선 1번의 문제부터....1. 해당 To..
Cloud
2018. 1. 30. 19:55