Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- enablekafkastreams
- Spring
- 플레이 프레임워크
- gradle
- Logstash
- confluent
- Elk
- 한빛미디어
- scala 2.10
- kafka interactive query
- Kafka
- springboot
- play framework
- kafkastream
- aws
- spring-batch
- spring-cloud-stream
- 카프카
- Slick
- avo
- scala
- schema registry
- kafka streams
- RabbitMQ
- reactive
- statestore
- kafkastreams
- Elasticsearch
- coursera
- spring-kafka
Archives
- Today
- Total
목록High Availability (1)
b
kafka stream의 fail-over & high-availability
18/01/30 idea 카프카 자체의 data recovery는 훌륭하다. 당연한게 파일로 저장하고 심지어 여러 셋트로 저장한다. 유실되는 경우는 저장 기간을 넘기거나, 1개의 IDC에만 설치한 후 IDC가 물에 잠기는 방법 뿐이다. 이건 다 아는 얘기고, 문제는 이 kafka 를 기반으로 한 streams 를 서비스 할 때이다. 1. Kafka는 기본적으로 1 개의 TopicPartion 에서 1 개의 Consumer Group의 노드가 접속 한다.2. Kafka Topic은 KStream/KTsble/StateStore 등을 통해서 각각의 topic-partition을 local DB에 싱크를 맞춘후 materilized 한다 (비동기/latency 존재) 우선 1번의 문제부터....1. 해당 To..
Cloud
2018. 1. 30. 19:55